本發(fā)明涉及一種進(jìn)行基于可見(jiàn)光的拍攝和基于紅外光的拍攝這兩種拍攝的攝像處理裝置以及攝像處理方法。

背景技術(shù)：

以往，在晝夜連續(xù)進(jìn)行拍攝的監(jiān)視攝像頭等攝像處理裝置中，夜間檢測(cè)紅外光來(lái)進(jìn)行拍攝。作為CCD傳感器、CMOS傳感器的攝像傳感器的受光部的光電二極管能夠接受直至1300nm左右的近紅外的波段的光，因此若為使用這些攝像傳感器的攝像處理裝置，則原理上能夠拍攝直至紅外波段。

另外，人的視覺(jué)靈敏度高的光的波段為400nm～700nm，因此當(dāng)通過(guò)攝像傳感器檢測(cè)出近紅外光時(shí)，通過(guò)人的眼睛觀察時(shí)影像的紅色增加。因此，在白天或室內(nèi)明亮的場(chǎng)所進(jìn)行拍攝時(shí)，為了使攝像傳感器的靈敏度與人類的視覺(jué)靈敏度一致，希望在攝像傳感器的前面設(shè)置用于遮斷紅外波段的光的紅外截止濾波器，來(lái)去除波長(zhǎng)700nm以上的光。另一方面，在夜間或較暗的場(chǎng)所進(jìn)行拍攝時(shí)，需要不設(shè)置紅外截止濾波器地進(jìn)行拍攝。

作為這樣的攝像處理裝置，目前已知手動(dòng)進(jìn)行紅外截止濾波器的安裝/卸載的攝像處理裝置、自動(dòng)插拔紅外截止濾波器的攝像處理裝置。并且，在專利文件1中公開(kāi)了不需要進(jìn)行上述的紅外截止濾波器的插拔的攝像處理裝置。

因此，提出了具有如下光學(xué)濾光片：在可見(jiàn)光波段具有透過(guò)特性，在與可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即第2波段具有透過(guò)特性(例如，參照專利文獻(xiàn)1)。根據(jù)該濾光片，在可見(jiàn)光波段和可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)即紅外側(cè)，離開(kāi)可見(jiàn)光波段的第2波段這雙方，光能夠透過(guò)。例如是如下的光學(xué)濾光片：第2波段與紅外照明的波段重疊，能夠進(jìn)行可見(jiàn)光拍攝和使用紅外光照明的夜間的紅外光拍攝這兩者。以下，將如上述那樣使可見(jiàn)光波段和紅外側(cè)的第2波段的光透過(guò)，遮斷其他波段的光的光學(xué)濾光片稱作DBPF(雙頻帶通濾波器)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利第5009395號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

然而，在對(duì)比文件1的DBPF中，包含在紅外(近紅外)波段中的第2波段的光(包含在紅外波段中的比較狹窄的波段)始終不被遮斷而使光透過(guò)。即，與使用切除(cut)使相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外截止濾波器的情況不同，在可見(jiàn)光波段下的拍攝中，受到不少透過(guò)了第2波段的紅外光的影響。

作為在可見(jiàn)光波段的拍攝，在進(jìn)行彩色拍攝的攝像傳感器中使用彩色濾光片。彩色濾光片與攝像傳感器的各像素對(duì)應(yīng)地以預(yù)定模式配置有紅、綠、藍(lán)各顏色的區(qū)域。在這些各顏色的區(qū)域中，基本上在各顏色的波段具有光的透過(guò)率的峰值，限制(遮斷)其他顏色波段的光的透過(guò)。

但是，在相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)，光透過(guò)率根據(jù)各顏色的區(qū)域和波長(zhǎng)而不同，但基本上使光透過(guò)。因此，使用紅外截止濾波器時(shí)，相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的光被切除因此不存在問(wèn)題，但如上述的DBPF那樣，當(dāng)在紅外側(cè)的第2波段使紅外光透過(guò)時(shí)，該紅外光透過(guò)彩色濾光片后到達(dá)攝像傳感器的光電二極管(受光元件)，從而光電二極管中的光電效應(yīng)引起的電子的發(fā)生量變多。

在此，在進(jìn)行可見(jiàn)光下的彩色拍攝和紅外光照明下的拍攝這兩者時(shí)，例如在以預(yù)定模式配置了紅、綠、藍(lán)各顏色的區(qū)域的彩色濾光片設(shè)置在上述的第2波段具有光透過(guò)率的峰值的紅外光用區(qū)域(紅外區(qū)域)。即，彩色濾光片的排列(模式)由紅R、綠G、藍(lán)B、紅外IR這4個(gè)區(qū)域構(gòu)成。在該情況下，紅外光用區(qū)域遮斷可見(jiàn)光波段的光，主要使第2波段的光透過(guò)，因此考慮利用從接受透過(guò)了彩色濾光片的紅外光用區(qū)域的光的攝像傳感器輸出的紅外光的圖像信號(hào)，從紅、綠、藍(lán)各顏色的圖像信號(hào)去除紅外光分量的方法。

但是，在該情況下，在校正后的R信號(hào)、G信號(hào)、B信號(hào)中產(chǎn)生誤差。例如，在來(lái)自攝像傳感器的各像素的信號(hào)中存在超過(guò)動(dòng)態(tài)范圍的部分的情況下，產(chǎn)生成為高亮部的亮度下降等不自然的亮度電平、高亮部中帶顏色即發(fā)生高亮部不成為白色而成為帶有藍(lán)色等顏色的狀態(tài)等問(wèn)題。

本發(fā)明是鑒于上述問(wèn)題而提出的，其目的是提供一種在代替紅外截止濾波器而使用DBPF的情況下，能夠消除在可見(jiàn)光拍攝時(shí)產(chǎn)生的問(wèn)題的攝像處理裝置和攝像處理方法。

用于解決課題的手段

為了解決上述課題，本發(fā)明的攝像處理裝置的特征在于具備：

攝像傳感器，其對(duì)每個(gè)像素配置了受光元件；

濾光片，其以預(yù)定排列與上述攝像傳感器的上述像素的配置對(duì)應(yīng)地配置多種濾光區(qū)域，且各種上述濾光區(qū)域與可見(jiàn)光波段的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性相互不同，并且各種上述濾光區(qū)域相互大致同樣地在相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)具備使光透過(guò)的紅外光透過(guò)波段，并且在上述可見(jiàn)光波段與上述紅外光透過(guò)波段之間具備遮斷光的光遮斷波段，使可見(jiàn)光的至少一部分和紅外光的至少一部分這兩部分透過(guò)；

光學(xué)系統(tǒng)，其具有在上述攝像傳感器上成像的鏡頭；以及

信號(hào)處理裝置，其對(duì)從上述攝像傳感器輸出的信號(hào)進(jìn)行處理后能夠輸出可見(jiàn)圖像信號(hào)和紅外圖像信號(hào)，

上述信號(hào)處理裝置在從包含可見(jiàn)光分量和紅外光分量的上述信號(hào)去除上述紅外光分量后輸出上述可見(jiàn)圖像信號(hào)時(shí)，在上述信號(hào)達(dá)到上述攝像傳感器的像素飽和電平的情況下，進(jìn)行調(diào)整使從該信號(hào)去除的上述紅外光分量的值下降。

本發(fā)明提供攝像處理裝置的攝像處理方法的特征在于，該攝像處理裝置具備：

攝像傳感器，其對(duì)每個(gè)像素配置了受光元件；

濾光片，其以預(yù)定排列與上述攝像傳感器的上述像素的配置對(duì)應(yīng)地配置多種濾光區(qū)域，且各種上述濾光區(qū)域與可見(jiàn)光波段的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性相互不同，并且各種上述濾光區(qū)域相互大致同樣地在相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)具備使光透過(guò)的紅外光透過(guò)波段，并且在上述可見(jiàn)光波段與上述紅外光透過(guò)波段之間具備遮斷光的光遮斷波段；

光學(xué)系統(tǒng)，其具有在上述攝像傳感器上成像的鏡頭；以及

信號(hào)處理裝置，其對(duì)從上述攝像傳感器輸出的信號(hào)進(jìn)行處理后能夠輸出可見(jiàn)圖像信號(hào)和紅外圖像信號(hào)，

上述信號(hào)處理裝置在從包含可見(jiàn)光分量和紅外光分量的上述信號(hào)去除上述紅外光分量后輸出上述可見(jiàn)圖像信號(hào)時(shí)，在上述信號(hào)達(dá)到上述攝像傳感器的像素飽和電平的情況下，進(jìn)行調(diào)整使從該信號(hào)去除的上述紅外光分量的值下降。

根據(jù)這些攝像處理裝置和攝像處理方法，在包含紅外光分量的各顏色信號(hào)超過(guò)動(dòng)態(tài)范圍而達(dá)到像素飽和電平，由此被削波(clip)的狀態(tài)下，尚未超過(guò)動(dòng)態(tài)范圍而未被削波，在從各顏色信號(hào)減去輸出電平有可能變高的紅外信號(hào)的情況下，各顏色信號(hào)被削波后紅外信號(hào)的輸出電平變高，從而各顏色信號(hào)的輸出電平下降。

由此，在高亮部的亮度下降的情況下，進(jìn)行為了使從顏色信號(hào)減去的紅外信號(hào)的值下而校正的控制，由此顏色信號(hào)如上述那樣被削波時(shí)，能夠防止紅外信號(hào)變高，而導(dǎo)致減去紅外信號(hào)后的顏色信號(hào)的亮度下降。

本發(fā)明的攝像處理裝置優(yōu)選上述濾光片具有：彩色濾光片，其以預(yù)定排列在上述攝像傳感器的各像素配置使與上述可見(jiàn)光的多個(gè)顏色對(duì)應(yīng)的各個(gè)波段的光透過(guò)的區(qū)域和使與上述紅外光對(duì)應(yīng)的波段的光透過(guò)的區(qū)域；以及光學(xué)濾光片，其在可見(jiàn)光波段具有透過(guò)特性，在與上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過(guò)波段的第2波段具有透過(guò)特性，

針對(duì)上述彩色濾光片的上述可見(jiàn)光的各顏色的上述區(qū)域透過(guò)相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的上述紅外光，上述信號(hào)處理裝置進(jìn)行從各顏色信號(hào)減去紅外信號(hào)的減法運(yùn)算，并且，在進(jìn)行上述減法運(yùn)算時(shí)，在上述顏色信號(hào)達(dá)到像素飽和電平的情況下，進(jìn)行為了降低作為從該顏色信號(hào)減去的上述紅外信號(hào)的值而調(diào)整的控制，其中，各顏色信號(hào)是與上述可見(jiàn)光的各顏色的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的各信號(hào)的顏色信號(hào)，紅外信號(hào)是與上述紅外光的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的信號(hào)的紅外信號(hào)。

本發(fā)明的攝像處理裝置的攝像處理方法優(yōu)選，在該攝像處理裝置中，上述濾光片具有：彩色濾光片，其以預(yù)定排列在上述攝像傳感器的各像素配置使與上述可見(jiàn)光的多個(gè)顏色對(duì)應(yīng)的各個(gè)波段的光透過(guò)的區(qū)域和使與上述紅外光對(duì)應(yīng)的波段的光透過(guò)的區(qū)域；以及光學(xué)濾光片，其在可見(jiàn)光波段具有透過(guò)特性，在與上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過(guò)波段的第2波段具有透過(guò)特性，

針對(duì)上述彩色濾光片的上述可見(jiàn)光的各顏色的上述區(qū)域透過(guò)相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的上述紅外光，上述信號(hào)處理裝置進(jìn)行從各顏色信號(hào)減去紅外信號(hào)的減法運(yùn)算，并且在進(jìn)行上述減法運(yùn)算時(shí)，在上述顏色信號(hào)達(dá)到像素飽和電平的情況下，進(jìn)行為了使作為從該顏色信號(hào)減去的上述紅外信號(hào)的值降低而調(diào)整的控制，其中，各顏色信號(hào)是與上述可見(jiàn)光的各顏色的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的各信號(hào)的顏色信號(hào)，紅外信號(hào)是與上述紅外光的上述區(qū)域?qū)?yīng)的基于從上述攝像傳感器的上述像素輸出的信號(hào)的紅外信號(hào)。

根據(jù)這樣的結(jié)構(gòu)，在RGB各顏色信號(hào)的輸出電平和紅外信號(hào)的輸出電平變高時(shí)，在包含紅外光分量的RGB各顏色信號(hào)的輸出電平首先超過(guò)動(dòng)態(tài)范圍而被削波的狀態(tài)下，大致由紅外光分量構(gòu)成的紅外信號(hào)不超過(guò)動(dòng)態(tài)范圍而進(jìn)一步變高，由此在從顏色信號(hào)減去了紅外信號(hào)的狀態(tài)情況下，如果未被削波，則在RGB各顏色信號(hào)的輸出電平進(jìn)一步變高的狀態(tài)下，而RGB各顏色信號(hào)的輸出電平反而下降，能夠防止發(fā)白那樣的高亮部的亮度下降。

優(yōu)選在本發(fā)明的攝像處理裝置中，作為降低上述紅外信號(hào)的值的校正，上述信號(hào)處理裝置控制上述紅外信號(hào)的上述值不高于根據(jù)上述顏色信號(hào)決定的限制值。

優(yōu)選在本發(fā)明的攝像處理方法中，作為降低上述紅外信號(hào)的值的校正，上述信號(hào)處理裝置控制上述紅外信號(hào)的上述值不高于根據(jù)上述顏色信號(hào)決定的限制值。

根據(jù)以上那樣的結(jié)構(gòu)，以限制值限制要從顏色信號(hào)減去的紅外信號(hào)的值，而成為以限制值被削波的狀態(tài)，由此在各顏色信號(hào)達(dá)到飽和電平而被削波的狀態(tài)下，即使不超過(guò)飽和電平的紅外信號(hào)的值變高，要從顏色信號(hào)減去的值也基本上成為限制值，能夠防止減去紅外信號(hào)的顏色信號(hào)的輸出電平降低。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述信號(hào)處理裝置根據(jù)通過(guò)白平衡處理得到的各顏色的增益，對(duì)每個(gè)上述顏色信號(hào)設(shè)定上述紅外信號(hào)的上述限制值。

優(yōu)選在本發(fā)明的攝像處理方法中，上述信號(hào)處理裝置根據(jù)通過(guò)白平衡處理得到的各顏色的增益，對(duì)每個(gè)上述顏色信號(hào)決定上述紅外信號(hào)的上述限制值。

根據(jù)以上那樣的結(jié)構(gòu)，在各顏色信號(hào)，例如RGB各信號(hào)中，能夠分別減去以恰當(dāng)?shù)南拗浦当幌拗频募t外信號(hào)。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述信號(hào)處理裝置控制與從上述顏色信號(hào)的上述像素飽和電平減去上述紅外信號(hào)的上述限制值而得的值對(duì)應(yīng)的信號(hào)飽和電平在各顏色中大致相同。

優(yōu)選在本發(fā)明的攝像處理方法中，上述信號(hào)處理裝置控制與從上述顏色信號(hào)的上述像素飽和電平減去上述紅外信號(hào)的上述限制值而得的值對(duì)應(yīng)的信號(hào)飽和電平在各顏色中大致相同。

根據(jù)這樣的結(jié)構(gòu)，在各顏色信號(hào)中，輸出電平為最高的情況下，即成為信號(hào)飽和電平的情況下，各顏色信號(hào)的輸出電平大致相同，由此成為略白，在高亮部不具有藍(lán)色等顏色，使高亮部變白，由此能夠維持自然的顏色再現(xiàn)性。信號(hào)飽和電平，是指在可見(jiàn)光的各顏色信號(hào)以像素飽和電平被削波的狀態(tài)下，減去了以限制值被限制的紅外信號(hào)時(shí)的值的電平。

優(yōu)選在本發(fā)明的攝像處理裝置中，上述濾光片具有：彩色濾光片，其以預(yù)定排列在上述攝像傳感器的各像素配置使與上述可見(jiàn)光的多個(gè)顏色對(duì)應(yīng)的各個(gè)波段的光透過(guò)的區(qū)域和使將與多個(gè)顏色對(duì)應(yīng)的各個(gè)波段合并后的波段的光透過(guò)的區(qū)域；以及光學(xué)濾光片，其在可見(jiàn)光波段具有透過(guò)特性，在與上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過(guò)波段的第2波段具有透過(guò)特性，

針對(duì)使上述彩色濾光片的上述可見(jiàn)光的各顏色的上述區(qū)域透過(guò)相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的上述紅外光，上述信號(hào)處理裝置根據(jù)與上述區(qū)域?qū)?yīng)的從上述攝像傳感器的上述像素輸出的各信號(hào)求出基于相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外光的紅外信號(hào)，并且在從各顏色信號(hào)減去上述紅外信號(hào)時(shí)，使將與多個(gè)上述顏色對(duì)應(yīng)的各個(gè)波段合并后的波段的光透過(guò)的上述區(qū)域所對(duì)應(yīng)的上述顏色信號(hào)達(dá)到上述像素飽和電平的情況下，進(jìn)行為了降低作為從上述顏色信號(hào)減去的上述紅外信號(hào)的值而調(diào)整的控制。

優(yōu)選在本發(fā)明的攝像處理方法中，上述濾光片具有：彩色濾光片，其以預(yù)定排列在上述攝像傳感器的各像素配置使與上述可見(jiàn)光的多個(gè)顏色對(duì)應(yīng)的各個(gè)波段的光透過(guò)的區(qū)域和使與多個(gè)顏色對(duì)應(yīng)的各個(gè)波段合并后的波段的光透過(guò)的區(qū)域；以及光學(xué)濾光片，其在可見(jiàn)光波段具有透過(guò)特性，在與上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性，在上述第1波段內(nèi)的一部分即作為上述紅外光透過(guò)波段的第2波段具有透過(guò)特性，

針對(duì)使上述彩色濾光片的上述可見(jiàn)光的各顏色的上述區(qū)域透過(guò)相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的上述紅外光，上述信號(hào)處理裝置根據(jù)與上述區(qū)域?qū)?yīng)的從上述攝像傳感器的上述像素輸出的各信號(hào)求出基于相對(duì)于上述可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外光的紅外信號(hào)，并且在從各顏色信號(hào)減去上述紅外信號(hào)時(shí)，使將與多個(gè)上述顏色對(duì)應(yīng)的各個(gè)波段合并后的波段的光透過(guò)的上述區(qū)域所對(duì)應(yīng)的上述顏色信號(hào)達(dá)到上述像素飽和電平的情況下，進(jìn)行為了降低作為從上述顏色信號(hào)減去的上述紅外信號(hào)的值而調(diào)整的控制。

根據(jù)這樣的結(jié)構(gòu)，例如可以代替上述彩色濾光片的紅外光區(qū)域，使用使合并了RGB的光透過(guò)的白平衡(W)，即，使可見(jiàn)光波段的大致全部波段透過(guò)的透明(C)的區(qū)域。在該情況下，例如，可以通過(guò)計(jì)算將可見(jiàn)光波段的光量設(shè)為0，來(lái)求出紅外光的光量。

在該情況下，W(C)的信號(hào)電平接近合并了RGB而得的信號(hào)電平，從而容易達(dá)到像素飽和電平。此時(shí)，RGB的信號(hào)電平不會(huì)達(dá)到像素飽和電平，但如上所述通過(guò)計(jì)算求出紅外光的情況下，紅外光的信號(hào)電平變高，從RGB各信號(hào)除紅外光信號(hào)的情況下，盡管RGB各信號(hào)的信號(hào)電平為上升的狀態(tài)，然而有下降的可能性。因此，W信號(hào)電平達(dá)到飽和時(shí)，進(jìn)行為了使紅外光的信號(hào)電平下降而調(diào)整的控制，從而能夠提高顏色再現(xiàn)性。

此外，在本發(fā)明的上述攝像處理裝置中，上述攝像傳感器具備上述信號(hào)處理裝置，并且

上述攝像傳感器具備：攝像傳感器本體，其從各像素依次輸出信號(hào)；以及上述信號(hào)處理裝置，其輸入從上述攝像傳感器本體輸出的上述信號(hào)。

發(fā)明效果

根據(jù)本發(fā)明，在能夠同時(shí)輸出可見(jiàn)圖像信號(hào)和紅外圖像信號(hào)的攝像處理裝置中，從包含紅外光分量的可見(jiàn)光圖像除去紅外光分量，能夠?qū)崿F(xiàn)高畫(huà)質(zhì)，并且在圖像信號(hào)達(dá)到像素飽和電平的情況下，能夠防止產(chǎn)生亮度反而下降等問(wèn)題。

附圖說(shuō)明

圖1是表示本發(fā)明的第1實(shí)施方式的圖，是表示攝像傳感器的概要圖。

圖2是表示本發(fā)明的第1實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的光譜透過(guò)率的圖表。

圖3是表示本發(fā)明的第1實(shí)施方式的上述攝像傳感器的DBPF、彩色濾光片的光譜透過(guò)率和紅外照明的發(fā)光光譜的圖表。

圖4是表示本發(fā)明的第1實(shí)施方式的上述攝像傳感器的DBPF、彩色濾光片的光譜透過(guò)率和紅外照明的發(fā)光光譜的圖表。

圖5是用于說(shuō)明本發(fā)明的第1實(shí)施方式的攝像傳感器的彩色濾光片的排列的圖，(a)是表示沒(méi)有紅外濾光部的以往的排列的圖，(b)、(c)、(d)是表示具有紅外濾光部的排列的圖。

圖6是表示本發(fā)明的第1實(shí)施方式的具有上述攝像傳感器的攝像裝置的概要圖。

圖7是用于說(shuō)明本發(fā)明的第1實(shí)施方式的上述攝像裝置的信號(hào)處理部的信號(hào)處理的框圖。

圖8是用于說(shuō)明本發(fā)明的第1實(shí)施方式的上述攝像裝置的信號(hào)處理中的內(nèi)裝處理的圖。

圖9是表示本發(fā)明的第2實(shí)施方式的攝像裝置的概要圖。

圖10是用于說(shuō)明本發(fā)明的第3實(shí)施方式的攝像傳感器的彩色濾光片的排列的圖。

圖11是表示上述攝像傳感器的DBPF和彩色濾光片的光譜透過(guò)率的圖表。

圖12是用于說(shuō)明本發(fā)明的第3實(shí)施方式的攝像傳感器的彩色濾光片的排列的圖。

圖13是用于說(shuō)明本發(fā)明的第3實(shí)施方式的彩色濾光片的排列的圖。

圖14是用于說(shuō)明本發(fā)明的第3實(shí)施方式的彩色濾光片的排列的圖。

圖15是用于說(shuō)明本發(fā)明的第3實(shí)施方式的各彩色濾光片的特性的圖。

圖16是用于說(shuō)明本發(fā)明的第3實(shí)施方式的攝像裝置中的信號(hào)處理的框圖。

圖17是用于說(shuō)明本發(fā)明的第4實(shí)施方式的彩色濾光片的排列的圖。

圖18是表示本發(fā)明的第4實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的藍(lán)色B的光譜透過(guò)率的圖表。

圖19是表示本發(fā)明的第4實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的綠色G的光譜透過(guò)率的圖表。

圖20是表示本發(fā)明的第4實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的紅色R的光譜透過(guò)率的圖表。

圖21是表示本發(fā)明的第4實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的透明(clear)C的光譜透過(guò)率的圖表。

圖22是表示本發(fā)明的第5實(shí)施方式的攝像傳感器的框圖。

圖23是表示本發(fā)明的第5實(shí)施方式的攝像傳感器的截面圖。

圖24是表示本發(fā)明的第5實(shí)施方式的攝像傳感器的其他例子的截面圖。

圖25是用于說(shuō)明本發(fā)明的第5實(shí)施方式的攝像傳感器的2個(gè)系統(tǒng)的圖像信號(hào)的輸出的圖。

圖26是表示本發(fā)明的第6實(shí)施方式的攝像裝置的框圖。

圖27是表示本發(fā)明的第6實(shí)施方式的攝像傳感器的概要圖。

圖28是用于說(shuō)明本發(fā)明的第6實(shí)施方式的具有紅外區(qū)域的彩色濾光片的排列模式的圖。

圖29是表示本發(fā)明的第6實(shí)施方式的上述攝像傳感器的DBPF和彩色濾光片的光譜透過(guò)率的圖表。

圖30是用于說(shuō)明本發(fā)明的第6實(shí)施方式的在高亮部亮度下降的理由的R信號(hào)的圖。

圖31是用于說(shuō)明本發(fā)明的第6實(shí)施方式的在高亮部亮度下降的理由的G信號(hào)的圖。

圖32是用于說(shuō)明本發(fā)明的第6實(shí)施方式的在高亮部亮度下降的理由的B信號(hào)的圖。

圖33是用于說(shuō)明本發(fā)明的第6實(shí)施方式的在高亮部亮度下降的理由的IR信號(hào)的圖。

圖34是表示本發(fā)明的第6實(shí)施方式的IR信號(hào)的與RGB各顏色信號(hào)對(duì)應(yīng)的削波電平(clip level)的圖。

圖35是用于說(shuō)明本發(fā)明的第6實(shí)施方式的從RGB的各顏色信號(hào)減去被削波的IR信號(hào)的圖，(a)是表示R信號(hào)的情況的圖，(b)表示G信號(hào)的情況的圖，(c)是B信號(hào)的情況的圖。

圖36是用于說(shuō)明本發(fā)明的第6實(shí)施方式的白平衡處理的圖，(a)表示R-Y信號(hào)和B-Y信號(hào)的平面中設(shè)定為白色的區(qū)域，(b)是表示設(shè)定為白色的亮度電平的范圍的圖。

圖37是用于說(shuō)明本發(fā)明的第6實(shí)施方式的對(duì)IR信號(hào)被減去之后的RGB各信號(hào)的削波的輸出電平一致的方法的圖。

圖38是表示本發(fā)明的第6實(shí)施方式的上述攝像處理裝置的信號(hào)處理部的框圖。

圖39是表示本發(fā)明的第6實(shí)施方式的作為其他例子的信號(hào)處理部的框圖。

圖40是用于說(shuō)明本發(fā)明的第7實(shí)施方式的RGBC的彩色濾光片的飽和電平的圖。

圖41是用于說(shuō)明本發(fā)明的第7實(shí)施方式的通過(guò)計(jì)算求出的IR信號(hào)的信號(hào)電平比實(shí)際的IR信號(hào)高的情況的圖。

圖42是用于說(shuō)明本發(fā)明的第7實(shí)施方式的在高亮部亮度下降的理由的RGBC信號(hào)的圖。

圖43是用于說(shuō)明本發(fā)明的第7實(shí)施方式的分離裝置的框圖。

圖44是用于說(shuō)明本發(fā)明的第7實(shí)施方式的削波電平計(jì)算裝置的框圖。

圖45是用于說(shuō)明本發(fā)明的第7實(shí)施方式的RGBC信號(hào)的削波電平的圖。

圖46是用于說(shuō)明本發(fā)明的第7實(shí)施方式的IR信號(hào)的削波電平的圖。

圖47是用于說(shuō)明本發(fā)明的第7實(shí)施方式的RGBC信號(hào)的削波電平的圖。

圖48是用于說(shuō)明本發(fā)明的第7實(shí)施方式的分離裝置的框圖。

圖49是用于說(shuō)明本發(fā)明的第7實(shí)施方式的RGBCY信號(hào)的削波處理的圖。

圖50是用于說(shuō)明本發(fā)明的第8實(shí)施方式的IR信號(hào)的削波電平的圖。

圖51是用于說(shuō)明本發(fā)明的第8實(shí)施方式的RGBCY信號(hào)的削波處理的圖。

圖52是用于說(shuō)明本發(fā)明的第8實(shí)施方式的分離裝置的框圖。

圖53是用于說(shuō)明本發(fā)明的第8實(shí)施方式的IR信號(hào)生成裝置的框圖。

具體實(shí)施方式

以下，參照附圖對(duì)本發(fā)明的第1實(shí)施方式進(jìn)行說(shuō)明。

如圖1所示，本實(shí)施方式的攝像傳感器(圖像傳感器)1例如具備：作為CCD(Charge coupled Device：電荷耦合器件)圖像傳感器的傳感器本體2；與傳感器本體2的各像素對(duì)應(yīng)，以預(yù)定排列配置了紅(R)、綠(G)、藍(lán)(B)、紅外(IR)各區(qū)域(各顏色的濾光片)的彩色濾光片3；覆蓋傳感器本體2和彩色濾光片3的玻璃罩4；以及在玻璃罩4上形成的DBPF(Dual Band pass filter，雙頻帶通濾波器)5。

傳感器本體2為CCD圖像傳感器，針對(duì)各像素配置有作為受光元件的光電二極管。另外，傳感器本體2也可以是CMOS(Complementary Metal Oxide Semiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器來(lái)代替CCD圖像傳感器。

在傳感器本體2上設(shè)有彩色濾光片3。彩色濾光片3對(duì)彩色濾光片3x增加了IR濾光片，該彩色濾光片3x具有以圖5(a)所示的一般的拜耳陣列針對(duì)各像素排列的R、G、B這3個(gè)濾光片。另外，在拜耳陣列的濾光片中，基本模式由4行(橫向)×4列(縱向)的16個(gè)各顏色的濾光部構(gòu)成，例如，通過(guò)F、行數(shù)和列數(shù)表示各濾光部時(shí)，第1行為F11、F12、F13、F14，第2行為F21、F22、F23、F24，第3行為F31、F32、F33、F34，第4行為F41、F42、F43、F44。

在拜耳陣列中，將F12、F14、F21、F23、F32、F34、F41、F43這8個(gè)濾光部設(shè)為G，將F11、F13、F31、F33這4個(gè)濾光部設(shè)為R，將F22、F24、F42、F44這4個(gè)濾光部設(shè)為B。另外，將G濾光部的數(shù)量設(shè)為R、B濾光部的數(shù)量的2倍是基于人類的眼睛對(duì)綠色有高敏感性。另外，即使將敏感性低的一方設(shè)為高分辨率，通過(guò)人類的眼睛也有可能無(wú)法識(shí)別，但是若將敏感性高的一方設(shè)為高分辨率，則能夠通過(guò)人類的眼睛識(shí)別的可能性高，識(shí)別為更高分辨率的圖像。在拜耳陣列中，在行方向(水平方向)和列方向(垂直方向)分別隔著一個(gè)配置G濾光片而設(shè)為方格狀，在剩余部分相互不相鄰地配置R濾光部和B濾光部。

與此相對(duì)，作為本實(shí)施方式的彩色濾光片3，如圖5(b)所示那樣，將拜耳陣列中的8個(gè)G濾光部中的4個(gè)設(shè)為IR，從而包含R為4個(gè)、G為4個(gè)、B為4個(gè)、IR為4個(gè)的彩色濾光片3a。即，在4行4列的基本排列中，R、G、B、IR這4種濾光部分別被配置4個(gè)，并且相同種類的濾光部彼此以在行方向和列方向上相互不相鄰的方式分離地被配置，在各列中分別配置1個(gè)R、G、B、IR濾光部，隔1行分別配置2個(gè)R、G、B、IR濾光部中的2種濾光部。

具體地，將F11、F13、F32、F34這4個(gè)濾光部設(shè)為R，將F12、F14、F31、F33這4個(gè)濾光部設(shè)為IR，將F21、F23、F42、F44這4個(gè)濾光部設(shè)為G，將F32、F34、F41、F42這4個(gè)濾光部設(shè)為B。

在該情況下，因G濾光部減少，有可能從人類的眼睛觀察到分辨率變差，但均等地配置了包含IR的各顏色，從而插補(bǔ)(內(nèi)插)處理變得容易。此外，在第1、2行和第3、4行，以各顏色的位置在橫向上錯(cuò)開(kāi)一列的方式被配置。換言之，在第1、2行和第3、4行，顏色的配置成為左右反轉(zhuǎn)的配置。

通過(guò)這樣設(shè)置，在4×4的配置中，在各列上各顏色被配置1個(gè)，隔一行各顏色被配置2個(gè)，因此與縱向(垂直方向)相比橫向(水平方向)的分辨率變高，能夠抑制因設(shè)置IR濾光部而導(dǎo)致的水平方向的分辨率的下降。另外，彩色濾光片3a中還包含將圖5(b)所示的彩色濾光片3a的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(b)所示的彩色濾光片3a的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(b)所示的彩色濾光片3a的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，也可以包含向順時(shí)針?lè)较蛐D(zhuǎn)90度而得的彩色濾光片、向順時(shí)針?lè)较蛐D(zhuǎn)270度而得的彩色濾光片。但是，旋轉(zhuǎn)90度和270度而得的彩色濾光片的垂直方向的分辨率變得比水平方向的分辨率高。

此外，在彩色濾光片3中，如圖5(c)所示的彩色濾光片3b那樣，也可以不減少人類的敏感性高的G，而將上述拜耳陣列的彩色濾光片3x的模式的4個(gè)B中的2個(gè)設(shè)為IR。

該彩色濾光片3b在4行4列的基本排列中配置8個(gè)R、G、B、IR這4種濾光部中的G濾光部、4個(gè)R濾光部、2個(gè)B濾光部和2個(gè)IR濾光部，并且以相同種類的濾光部彼此在行方向和列方向上不相鄰地方式分開(kāi)配置。

具體地，在彩色濾光片3b中，將F12、F14、F21、F23、F32、F34、F41、F43這8個(gè)濾光部設(shè)為G，將F11、F13、F31、F33這4個(gè)濾光部設(shè)為R，將F22、F44這2個(gè)濾光部設(shè)為B，將F24、F42這2個(gè)濾光部設(shè)為IR。在該情況下，B的分辨率比拜耳陣列差，但G、R成為與拜耳陣列同樣的分辨率。另外，彩色濾光片3b中還包含將圖5(c)所示的彩色濾光片3b的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(c)所示的彩色濾光片3b的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(c)所示的彩色濾光片3b的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，向順時(shí)針?lè)较蛐D(zhuǎn)90度而得的彩色濾光片、向順時(shí)針?lè)较蛐D(zhuǎn)270度而得的彩色濾光片成為與左右反轉(zhuǎn)而得的彩色濾光片、上下反轉(zhuǎn)而得的彩色濾光片相同的模式。

此外，為了提高IR的分辨率，也可以如圖5(d)所示的彩色濾光片3c那樣不減少G，而將上述拜耳陣列的彩色濾光片3x的模式的4個(gè)B中的2個(gè)設(shè)為IR，4個(gè)R中的2個(gè)設(shè)為IR。即，彩色濾光片3c在4行4列的基本排列中配置8個(gè)R、G、B、IR這4種濾光部中的G濾光部、4個(gè)IR濾光部、2個(gè)R濾光部和2個(gè)B濾光部，并且以相同種類的濾光部彼此在行方向和列方向上不相鄰地方式分開(kāi)配置。

具體地，如圖5(d)所示那樣，在彩色濾光片3c中，將F12、F14、F21、F23、F32、F34、F41、F43這8個(gè)濾光部設(shè)為G，將F11、F33這2個(gè)濾光部設(shè)為R，將F22、F44這2個(gè)濾光部設(shè)為B，將F13、F24、F31、F42這4個(gè)濾光部設(shè)為IR。在該情況下，R和B的分辨率比拜耳陣列下降，但能夠維持G的分辨率，確保IR的分辨率。另外，彩色濾光片3c中還包含將圖5(d)所示的彩色濾光片3b的模式左右反轉(zhuǎn)而得的彩色濾光片、將圖5(d)所示的彩色濾光片3b的模式上下反轉(zhuǎn)而得的彩色濾光片、使圖5(d)所示的彩色濾光片3b的模式旋轉(zhuǎn)180度而得的彩色濾光片。此外，向順時(shí)針?lè)较蛐D(zhuǎn)90度而得的彩色濾光片、向順時(shí)針?lè)较蛐D(zhuǎn)270度而得的彩色濾光片成為與左右反轉(zhuǎn)而得的彩色濾光片、上下反轉(zhuǎn)而得的彩色濾光片相同的模式。

彩色濾光片3的R濾光部、G濾光部和B濾光部分別能夠使用已知的濾光片。本實(shí)施方式中的R濾光部、G濾光部和B濾光部的光譜透過(guò)率如圖2、圖3和圖4的圖表所示。在圖2、圖3和圖4中示出了彩色濾光片3的紅(R)、綠(G)、藍(lán)(B)、紅外(IR)各濾光片的光譜透過(guò)率，縱軸表示透過(guò)率，橫軸表示波長(zhǎng)。圖表中的波長(zhǎng)的范圍包括可見(jiàn)光波段和近紅外波段的一部分，因此，例如表示300nm～1100nm的波長(zhǎng)范圍。

例如，R濾光部如圖表的R(二重線)所示那樣，在波長(zhǎng)600nm成為大致最大的透過(guò)率，在其長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也會(huì)成為透過(guò)率維持大致最大的狀態(tài)。

G濾光部如圖表的G(間隔寬的虛線)所示那樣，在波長(zhǎng)為540nm左右的部分具有透過(guò)率極大的峰值，在其長(zhǎng)波長(zhǎng)側(cè)的620nm左右的部分具有透過(guò)率極小的部分。此外，在G濾光部中，與透過(guò)率極小的部分相比長(zhǎng)波長(zhǎng)側(cè)為上升趨勢(shì)，在850nm左右透過(guò)率成為大致最大。與其相比在長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也可以成為透過(guò)率大致最大的狀態(tài)。B濾光部如圖表的B(間隔窄的虛線)所示那樣，在波長(zhǎng)為460nm左右的部分具有透過(guò)率極大的峰值，在其長(zhǎng)波長(zhǎng)側(cè)的630nm左右的部分具有透過(guò)率極小的部分。此外，與其相比長(zhǎng)波長(zhǎng)側(cè)成為上升趨勢(shì)，在860nm左右透過(guò)率成為大致最大，另外，與其相比在長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也可以成為透過(guò)率大致最大的狀態(tài)。IR濾光部遮斷780nm左右至短波長(zhǎng)側(cè)的光，遮斷1020nm左右至長(zhǎng)波長(zhǎng)側(cè)的光，820nm～920nm左右的部分的透過(guò)率成為大致最大。

R、G、B、IR各濾光部的光譜透過(guò)率并不限定于圖2等所示的光譜透過(guò)率，目前，在一般使用的彩色濾光片3中，認(rèn)為表示與此相近的光譜透過(guò)率。另外，表示透過(guò)率的橫軸的1并不是表示光100％透過(guò)，而是在彩色濾光片3中，例如表示最大的透過(guò)率。

玻璃罩4覆蓋并保護(hù)傳感器本體2和彩色濾光片3。

在此，DBPF5為在玻璃罩4上成膜而成的光學(xué)濾光片。DBPF5是在可見(jiàn)光波段具有透過(guò)特性、在與可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性、在上述第1波段內(nèi)的一部分即第2波段具有透過(guò)特性的光學(xué)濾光片。

即，如圖2的圖表所示，如在圖表中DBPF(實(shí)線)所示那樣，DBPF5在由DBPF(VR)所示的可見(jiàn)光波段、相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的稍微遠(yuǎn)離的位置的由DBPF(IR)所示的紅外波段(第2波段)這2個(gè)波段的透過(guò)率變高。此外，作為可見(jiàn)光波段的透過(guò)率較高的波段的DBPF(VR)例如為370nm～700nm左右的波段。此外，在紅外側(cè)作為透過(guò)率較高的第2波段的DBPF(IR)例如成為830nm～970nm左右的波段。

在本實(shí)施方式中，如以下那樣規(guī)定上述彩色濾光片3的各濾光部的光譜透過(guò)率與DBPF5的光譜透過(guò)率的關(guān)系。

即，成為DBPF5的光譜透過(guò)率的透過(guò)紅外光的第2波段的DBPF(IR)包含在R濾光部、G濾光部、B濾光部全部成為臉頰最大的透過(guò)率而在各濾光部中透過(guò)率大致相同的圖2所示的波段A內(nèi)，并且，包含在IR濾光部的以大致最大的透過(guò)率透過(guò)光的波段B內(nèi)。

在此，將R、G、B各濾光部的透過(guò)率大致相同的波段A設(shè)為各濾光部的透過(guò)率的差是透過(guò)率10％以下的部分。

另外，在相對(duì)于該波段A的短波長(zhǎng)側(cè)，相對(duì)于透過(guò)率大致最大的R濾光部，G、B濾光部的透過(guò)率變低。在DBPF5中，該R、G、B各濾光部的透過(guò)率有差異的部分對(duì)應(yīng)于大致遮斷可見(jiàn)光波段的透過(guò)率高的部分即DBPF(VR)與紅外光波段的第2波段的透過(guò)率高的部分即DBPF(IR)之間的DBPF5的光的透過(guò)率為極小的部分。即，在紅外側(cè)，R、G、B各濾光部的透過(guò)率的差異變大的部分的光的透過(guò)被切除，與其相比在長(zhǎng)波長(zhǎng)側(cè)各濾光部的透過(guò)率大致最大而透過(guò)率變得大致相同的波長(zhǎng)區(qū)域A，使光透過(guò)。

由此，在本實(shí)施方式中，在代替紅外光截止濾波器而使用的DBPF5中，不僅在可見(jiàn)光波段，在紅外光側(cè)的第2波段中也存在使光透過(guò)的區(qū)域，因此在進(jìn)行基于可見(jiàn)光的彩色拍攝時(shí)，會(huì)受到透過(guò)了第2波段的光的影響，但如上所述第2波段不會(huì)使在R、G、B各濾光部中透過(guò)率不同的部分的光透過(guò)，僅使各濾光部的透過(guò)率變得大致最大，成為大致相同的透過(guò)率的波段的光透過(guò)。

此外，在DBPF5的第2波段中，使在IR濾光部中透過(guò)率成為大致最大的部分的光透過(guò)。因此，假定在被照射大致相同的光的極其接近的4個(gè)像素上分別設(shè)置R、G、B、IR濾光片的情況下，在第2波段在R濾光部、G濾光部、B濾光部、IR濾光部中大致同樣地使光透過(guò)，作為紅外側(cè)的光，通過(guò)包含IR的各濾光部大致相同光量的光到達(dá)攝像傳感器本體的上述像素的光電二極管。即，從R、G、B各濾光片透過(guò)的光中的、在紅外側(cè)的第2波段透過(guò)的光的光量成為與從IR濾光部透過(guò)的光的光量相同。在如上述那樣假定了的情況下，來(lái)自接受基本上透過(guò)R、G、B各濾光片的光的傳感器本體2的如上述假定的像素的輸出信號(hào)與來(lái)自接受透過(guò)了IR濾光片的光的傳感器本體2的如上述假定的像素的輸出信號(hào)的差值，成為在各R、G、B濾光部透過(guò)的切除了紅外側(cè)的光的R、G、B各個(gè)可見(jiàn)光部分的輸出信號(hào)。

實(shí)際上，如彩色濾光片3(3a、3b、3c)的各模式所示的那樣，在傳感器本體2的各像素上配置R、G、B、IR中的任意1個(gè)濾光部，向各像素照射的各顏色的光的各自的光量成為不同的光量的可能性高，因此可以針對(duì)各像素例如使用公知的內(nèi)插法(插補(bǔ)法)來(lái)求出各像素的各顏色的亮度，將該插補(bǔ)后的各像素的R、G、B的亮度與以相同的方法插補(bǔ)后的IR亮度的差值分別設(shè)為R、G、B的亮度。另外，從R、G、B各顏色的亮度去除紅外光分量的圖像處理方法并不限定于此，若最終能夠從R、G、B各亮度去除在第2波段透過(guò)的光的影響的方法，則也可以使用任一種方法。在任一種方法中，DBPF5能夠切除在紅外側(cè)R、G、B濾光部的透過(guò)率不同于10％的部分，即透過(guò)率不同于預(yù)定比例的部分，因此針對(duì)各像素去除紅外光的影響的處理變得容易。

此外，作為該攝像傳感器1的用途，在能夠進(jìn)行彩色拍攝和紅外光拍攝這兩者的攝像裝置中，作為攝像傳感器而使用。一般，考慮通過(guò)彩色拍攝進(jìn)行通常的拍攝，在夜間不使用可見(jiàn)光的照明而使用人類難以識(shí)別的紅外光的照明來(lái)進(jìn)行紅外拍攝。例如，在各種監(jiān)視攝像頭等中，優(yōu)選在不需要夜間照明或不能進(jìn)行夜間照明的場(chǎng)所夜間進(jìn)行拍攝時(shí)，考慮使用紅外光照明的基于紅外光的夜間拍攝。此外，也可以在用于觀察野生動(dòng)物的白天拍攝和夜間拍攝等用途中使用。

將紅外光拍攝用作夜間拍攝的情況下，即使紅外光也與可見(jiàn)光同樣地，在夜間光量不足，因此需要進(jìn)行紅外光照明。圖3所示的DBPF5的光譜透過(guò)率是考慮R、G、B、IR各濾光部的光譜透過(guò)率、紅外光照明用光例如照明用紅外光LED的發(fā)光光譜而決定的光譜透過(guò)率。在圖3中除了與圖2同樣的各顏色濾光部的光譜透過(guò)率R、G、B、IR以及DBPF5的光譜透過(guò)率DBPF外，還示出了LED照明的發(fā)光光譜IR-light。

圖3所示的透過(guò)DBPF的紅外光的部分即由DBPF(IR)所示的第2波段與圖2所示的DBPF同樣地，被包含在R濾光部、G濾光部、B濾光部這全部成為大致最大的透過(guò)率且在各濾光部中透過(guò)率大致相同的圖2所示的波長(zhǎng)波段A內(nèi)，并且，被包含在IR濾光部的以最大的透過(guò)率透過(guò)光的波長(zhǎng)區(qū)域B內(nèi)。

除此之外，包含在上述波段A和波段B中的成為紅外光照明的發(fā)光光譜的峰值的波段的大致全部被包含在DBPF(IR)的波段內(nèi)。另外，不是在夜間的自然光下而是在紅外光照明下進(jìn)行紅外光拍攝的情況下，由DBPF(IR)所示的第2波段不需要比紅外光照明的光學(xué)光譜的峰值寬度寬，在紅外光照明的光譜被包含于波段A和波段B中的情況下，也可以用與紅外光照明的發(fā)光光譜的例如以860左右為頂點(diǎn)的峰值的峰值寬度大致相同的峰值寬度來(lái)設(shè)計(jì)由DBPF(IR)所示的DBPF5的透過(guò)率的峰值部分作為第2波段。

即，在圖3中，由IR-light(IR-光)所示的紅外光照明的發(fā)光光譜的峰值位于上述波段A和波段B的短波長(zhǎng)側(cè)，由DBPF(IR)所示的DBPF的第2波段與波段A和波段B的短波長(zhǎng)側(cè)部分的IR-light的發(fā)光光譜的峰值大致重疊。

此外，圖4所示的圖表也與圖3所示的圖表同樣地，在圖2所示的圖表中增加紅外光照明的發(fā)光光譜，并且使DBPF5的光譜透過(guò)率的紅外側(cè)的透過(guò)率高的部分即由DBPF(IR)所示的第2波段與由上述紅外光照明IR-light所示的發(fā)光光譜的峰值一致。

在圖4中，作為紅外光照明使用與圖3所示的情況相比發(fā)光光譜的峰值的波長(zhǎng)較長(zhǎng)的光，該峰值包含在上述波段A和波段B中，并且存在于波段A和波段B的長(zhǎng)波長(zhǎng)側(cè)。與此對(duì)應(yīng)，設(shè)計(jì)成DBPF5的由DBPF(IR)所示的第2波段在上述波段A和波段B內(nèi)由紅外照明IR-light所示的峰值大致成為傘狀。

另外，DBPF5的第2波段既可以是由圖2、圖3、圖4中的任一個(gè)所示的波段，第2波段只要被包含在上述波段A和波段B這兩者中即可。此外，在決定了成為在夜間的紅外光拍攝中使用的紅外光照明的發(fā)光光譜的峰值的波段的情況下，優(yōu)選設(shè)為該波段被包含在上述波段A和波段B這兩個(gè)波段中，并且紅外光照明的發(fā)光光譜的峰值與DBPF5的第2波段一致。

在這樣的攝像傳感器中，在DBPF5的紅外側(cè)使光透過(guò)的第2波段在R、G、B、IR各濾光部的紅外側(cè)各濾光部的透過(guò)率大致成為最大且各濾光部的透過(guò)率成為大致相同時(shí)被包含的波段A中，并且被包含在IR濾光部的透過(guò)率大致成為最大的波段B中。換言之，在相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)，R、G、B各濾光片的透過(guò)率中僅R濾光部變得大致最大，G、B濾光部的透過(guò)率未變?yōu)榇笾伦畲?，因此R、G、B各濾光部的透過(guò)率不會(huì)變得大致相同，不同部分的光被DBPF5切除。

即，在R、G、B、IR各濾光部中，在紅外側(cè)使第2波段的光透過(guò)，因此各濾光部中的紅外側(cè)的透過(guò)率全部大致相同，以相同的光量照射成為第2波段的光時(shí)，R、G、B、IR各濾光部中的透過(guò)光量相同。由此，如上述那樣校正基于來(lái)自與R、G、B各濾光部對(duì)應(yīng)的像素的輸出信號(hào)的顏色，能夠容易得到抑制了彩色拍攝時(shí)的顏色受到透過(guò)第2波段的紅外光引起的影響的圖像。

此外，通過(guò)使第2波段與包含在上述波段A和波段B中的紅外光照明的發(fā)光光譜的峰值對(duì)應(yīng)，有效地使用紅外光照明的光，并且使第2波段的寬度變窄，從而在彩色拍攝時(shí)能夠使透過(guò)第2波段的紅外光的影響變小。

圖6是表示使用本實(shí)施方式的攝像傳感器1的攝像裝置10的圖。攝像裝置10具備：拍攝用鏡頭11；具備DBPF5的攝像傳感器1；以及信號(hào)處理部(信號(hào)處理裝置)12，其對(duì)從攝像傳感器1輸出的輸出信號(hào)13進(jìn)行處理，并對(duì)圖像信號(hào)進(jìn)行上述的內(nèi)裝處理、去除彩色拍攝時(shí)的透過(guò)了第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理。能夠從圖像處理部輸出可見(jiàn)的彩色圖像的輸出信號(hào)14和紅外光圖像的輸出信號(hào)15。

鏡頭11是構(gòu)成在攝像裝置10的攝像傳感器1上成像的光學(xué)系統(tǒng)的部件。鏡頭11例如由多個(gè)透鏡構(gòu)成。

圖7以框圖表示攝像裝置10的信號(hào)處理部12中的信號(hào)處理。將R、G、B、IR各像素的輸出信號(hào)發(fā)送給各內(nèi)裝處理模塊21r、21g、21b、21ir。例如，如圖8所示，為上述的彩色濾光片3b的情況下，在各內(nèi)裝處理模塊21r、21g、21b、21ir中通過(guò)內(nèi)插處理(插補(bǔ)處理)，在各幀的圖像數(shù)據(jù)中分別對(duì)R、G、B、IR信號(hào)進(jìn)行變換，以便將全部像素設(shè)為由紅色R表示的圖像數(shù)據(jù)20r、將全部像素設(shè)為由綠色G表示的圖像數(shù)據(jù)20g、將全部像素設(shè)為由藍(lán)色B表示的圖像數(shù)據(jù)20b、將全部像素設(shè)為由紅外IR表示的圖像數(shù)據(jù)20ir。另外，內(nèi)插處理方法可以使用公知的方法。

接著，在紅外光去除信號(hào)生成模塊22r、22g、22b、22ir中，為了去除從上述第2波段接收到的紅外光的影響，根據(jù)IR信號(hào)生成要從R、G、B各顏色的信號(hào)減去的信號(hào)。從R、G、B各顏色的信號(hào)減去通過(guò)該紅外光去除信號(hào)生成模塊22r、22g、22b按R、G、B生成的信號(hào)。在該情況下，如上所述對(duì)于相同的像素，基本上從R、G、B各信號(hào)去除IR信號(hào)即可，因此處理變得容易。實(shí)際上，各顏色的每個(gè)像素的靈敏度根據(jù)各像素的濾光部的特性等而不同，因此按R、G、B各像素，根據(jù)IR信號(hào)生成要從R、G、B各信號(hào)減去的信號(hào)。

接著，R、關(guān)于G、B各信號(hào)，在圖像處理模塊23中進(jìn)行如下的處理：使用行列式對(duì)R、G、B各信號(hào)進(jìn)行變換并校正顏色的公知的RGB矩陣處理、在圖像中成為白色的部分R、G、B各信號(hào)的輸出值成為相同的值的公知的白平衡處理、用于向顯示器等輸出圖像的校正即公知的伽瑪校正。接著，在亮度矩陣模塊24中，對(duì)R、G、B各顏色的信號(hào)乘上系數(shù)來(lái)生成亮度Y的信號(hào)。此外，從藍(lán)色B的信號(hào)和紅色R的信號(hào)除以亮度Y的信號(hào)，由此計(jì)算出R-Y與B-Y的色差信號(hào)，輸出Y、R-Y、B-Y信號(hào)。

此外，作為基本上黑白的漸變(graduation)圖像而輸出IR信號(hào)。

在這樣的攝像裝置10中，如在上述攝像傳感器1中說(shuō)明的那樣，能夠容易進(jìn)行從彩色圖像去除紅外光影響的圖像處理，得到顏色再現(xiàn)性優(yōu)良的可見(jiàn)彩色圖像。此外，能夠降低這樣的攝像裝置的開(kāi)發(fā)成本。

如上述那樣，通過(guò)可見(jiàn)光拍攝中的圖像處理消除透過(guò)了第2波段的紅外光的影響時(shí)，R、G、B各濾光部相互間透過(guò)率變得較大不同的部分物理上被DBPF切除，在圖像處理中，只要在R、G、B各濾光部的紅外側(cè)進(jìn)行切除透過(guò)率大致成為最大的部分的IR光的處理即可。在該情況下，圖像處理變得容易，能夠得到具有與使用以往的紅外光截止濾波器情況相同的顏色再現(xiàn)性的彩色圖像數(shù)據(jù)。

例如，對(duì)于透過(guò)R、G、B各濾光部后到達(dá)光電二極管的光，在R、G、B各濾光部中成為與可見(jiàn)光區(qū)域的透過(guò)了各濾光部的可見(jiàn)光相同，并且，在IR濾光部中成為同樣的透過(guò)了第2波段的紅外光。因此，從攝像傳感器1的R、G、B的內(nèi)插處理后的各輸出信號(hào)例如減去與基于各顏色濾光部的靈敏度特性對(duì)應(yīng)地校正的內(nèi)插處理后的IR輸出信號(hào)，由此能夠得到與使用紅外截止濾波器的情況相近的顏色再現(xiàn)性。

另外，在使光透過(guò)的第2波段中包含R、G、B各濾光部中的透過(guò)率中存在大于10％的透過(guò)率差的波段時(shí)，實(shí)質(zhì)上難以求出應(yīng)從透過(guò)了各濾光部的光切除的紅外光的量，難以通過(guò)圖像處理得到具有與使用紅外光截止濾波器的情況相同的顏色再現(xiàn)性的圖像數(shù)據(jù)。

接著，對(duì)本發(fā)明的第2實(shí)施方式的攝像裝置進(jìn)行說(shuō)明。

如圖9所示，第2實(shí)施方式的攝像裝置10a中，在鏡頭11上設(shè)置DPBF，而不是在攝像傳感器1上設(shè)置DBPF5。

攝像裝置10a具備：具備DBPF5的拍攝用鏡頭11；攝像傳感器1；以及信號(hào)處理部12，其對(duì)從攝像傳感器1輸出的輸出信號(hào)13進(jìn)行處理，并對(duì)圖像信號(hào)進(jìn)行上述的內(nèi)裝處理、去除彩色拍攝時(shí)的透過(guò)了第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理。能夠從圖像處理部輸出可見(jiàn)彩色圖像的輸出信號(hào)14和紅外光圖像的輸出信號(hào)15。

DBPF5和彩色濾光片3與第1實(shí)施方式的DBPF5和彩色濾光片3相同，彩色濾光片3的R、G、B、IR各濾光部的透過(guò)率與DPBF5的第2波段DBPF(IR)的關(guān)系也與第1實(shí)施方式相同。因此，與第1實(shí)施方式不同，即使在鏡頭11上設(shè)有DBPF5，也能夠?qū)崿F(xiàn)與第1實(shí)施方式的攝像裝置10相同的作用效果。另外，DBPF5被設(shè)在攝像裝置10a的光學(xué)系統(tǒng)中，對(duì)于到達(dá)攝像傳感器1的光，只要能夠使可見(jiàn)光波段(DBPF(VR))和紅外側(cè)的第2波段(DBPF(IR))的光透過(guò)，只要在可見(jiàn)光波段的短波長(zhǎng)側(cè)、第2波段的長(zhǎng)波長(zhǎng)側(cè)、可見(jiàn)光波段與第2波段之間的波段遮斷光，DBPF5就可以被設(shè)在任意位置。

接著，對(duì)本發(fā)明的第3實(shí)施方式的攝像傳感器和攝像裝置進(jìn)行說(shuō)明。關(guān)于第3實(shí)施方式的攝像傳感器1和攝像裝置，彩色濾光片3的一部分的結(jié)構(gòu)、去除來(lái)自RGB各信號(hào)的IR分量的方法不同，但其他結(jié)構(gòu)與第1實(shí)施方式相同，以下，對(duì)彩色濾光片3和IR分量的去除方法進(jìn)行說(shuō)明。

在本實(shí)施方式中，彩色濾光片3e(RGBC的結(jié)構(gòu)1)例如如圖10所示那樣，將上述拜耳陣列的彩色濾光片3x的模式的4個(gè)B中的2個(gè)B設(shè)為C，將4個(gè)R中的2個(gè)R設(shè)為C，將8個(gè)G中的4個(gè)G設(shè)為C。即，彩色濾光片3e在4行4列的基本排列中配置4個(gè)R、G、B、C這4種濾光部中的G濾光部、8個(gè)C濾光部、2個(gè)R濾光部和2個(gè)B濾光部，并且以相同種類的濾光部之間在行方向和列方向上不相鄰地方式分開(kāi)配置。因此，被配置了8個(gè)的C濾光部以方格狀配置。在此，C表示作為透明的濾光部的透明狀態(tài)，基本上成為在可見(jiàn)光波段至近紅外波段具有透過(guò)特性，在此，在可見(jiàn)光波段設(shè)為C＝R+G+B。另外，成為透明的C因使RGB這3個(gè)顏色透過(guò)而能夠被稱為白色光，即白色(W)，成為C＝W＝R+G+B。因此，C對(duì)應(yīng)于可見(jiàn)光波段的大致整個(gè)波段的光量。

在此，如表示圖11的彩色濾光片3e和DBPF5的光譜透過(guò)率(分光透過(guò)特性)的圖表所示那樣，在R、G、B各濾光部中在可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)具有透過(guò)特性，即使在作為透明的濾光部的C濾光部中在可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)也使光透過(guò)。與此相對(duì)，通過(guò)使用DBPF5，與第1實(shí)施方式同樣地，限制使透過(guò)相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外成為第2波段，由此透過(guò)R、G、B、C濾光部和DBPF5的光量在R、G、B、C各濾光部中大致相同(近似)，在可見(jiàn)光波段與R、G、B、C各濾光部的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性不同。

另外，在第1和第2實(shí)施方式中，也限制使透過(guò)相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外成為第2波段，透過(guò)R、G、B、IR濾光部和DBPF5的光量在R、G、B、IR各濾光部中大致相同，在可見(jiàn)光波段與R、G、B、IR各濾光部的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性不同。

由此，在第3實(shí)施方式中，也能夠高精度地進(jìn)行各像素的IR校正，能夠生成顏色再現(xiàn)性高的可見(jiàn)圖像。即，如第1實(shí)施方式那樣在可見(jiàn)光波段的大致整個(gè)波長(zhǎng)區(qū)域具有遮斷特性，即使不具備在相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外具有透過(guò)特性的上述IR濾光部，通過(guò)具備C濾光部，也能夠通過(guò)下述式計(jì)算出IR信號(hào)。

在以下的說(shuō)明書(shū)中，C(W)、R、G、B、IR表示來(lái)自攝像傳感器1的輸出信號(hào)的電平，C(W)、R、G、B被設(shè)為表示可見(jiàn)光波段的電平，不包含紅外分量。

在此，將彩色濾光片3e設(shè)計(jì)為C＝W≈R+G+B，將應(yīng)從RGB各信號(hào)去除的IR信號(hào)設(shè)為IR’時(shí)，成為

IR’＝((R+IR)+(G+IR)+(B+IR)-(C+IR))/2＝IR+(R+G+B-C)/2

IR’≈IR。

另外，IR表示通過(guò)測(cè)量等求出的實(shí)際的值，IR’表示通過(guò)計(jì)算求出的值。通過(guò)從各濾光片減去IR’，能夠進(jìn)行IR校正。

即，成為

R濾光片(R+IR)：

R’＝(R+IR)-IR’＝R-(R+G+B-C)/2

G濾光片(G+IR)：

G’＝(G+IR)-IR’＝G-(R+G+B-C)/2

B濾光片(B+IR)：

B’＝(B+IR)-IR’＝B-(R+G+B-C)/2

C(＝W)濾光片(W+IR)：

W’＝(C+IR)-IR’＝C-(R+G+B-C)/2。

由此，在彩色濾光片3中，即使代替IR濾光部而使用透明的C濾光部，也能夠通過(guò)DBPF5使各濾光部的IR透過(guò)率近似，如上所述求出IR分量，從各濾光部的信號(hào)去除IR分量，由此能夠提高顏色再現(xiàn)性。

另外，這樣的計(jì)算如上所述通過(guò)內(nèi)插法，例如在各像素求出R+IR、G+IR、B+IR、C+IR，在各像素進(jìn)行上述的計(jì)算。另外，設(shè)計(jì)成C＝W≈R+G+B，但并不一定必須大致準(zhǔn)確地與該式一致，只要近似，則即使因誤差或其他原因存在偏差也可以，即例如，也可以存在10％左右的偏差。

此外，對(duì)于C，成為R+G+B，從而像素的受光量多，易于飽和，因此在C濾光部中既可以降低可見(jiàn)光波段中的受光量，也可以在包含紅外波段和可見(jiàn)光波段的波段中降低受光量，還可以在構(gòu)成各像素中的像素的元件部中減少對(duì)受光量累積的電荷。此時(shí)，需要據(jù)此變更上述的式。

另外，圖12表示R、G、B、C彩色濾光片的其他的排列，在2×2的排列中，均等地各配置1個(gè)R、G、B、C。

此外，在以往的R、G、B拜耳陣列的情況下，如圖13所示，在2×2的排列中，分別配置1個(gè)R、B，并且配置2個(gè)G。

此外，將該以往的不包含C或IR的排列中的1個(gè)G變更為IR的R、G、B、IR彩色濾光片的2×2排列，如圖14所示，成為分別配置了1個(gè)R、G、B、IR的排列。

作為這樣的彩色濾光片，在圖10所示的RGB-C的結(jié)構(gòu)1、圖12所示的RGB-C的結(jié)構(gòu)2、圖13所示的以往的RGB排列(拜耳陣列)、圖14所示的RGB-IR排列的一例中，存在如圖15所示那樣的特性的差異。另外，C不包含RGB等顏色信息，但包含作為光量的亮度信息。

因此，RGB-C(結(jié)構(gòu)1)傳感器通過(guò)C的方格配置，亮度分辨率較高，但RGB像素稀疏，并且，成為非對(duì)稱性配置，因此分辨率較低，容易生成莫爾紋。但是，顏色信號(hào)相對(duì)于亮度信號(hào)，所求出的分辨率為1/2以下較低，因此沒(méi)有問(wèn)題。此外，靈敏度高。

RGB-C(結(jié)構(gòu)2)與以往的RGB傳感器亮度分辨率、顏色分辨率相同，靈敏度比RGB傳感器高。RGB-IR傳感器設(shè)置有在可見(jiàn)光波段中不具有透過(guò)特性的IR，由此相比RGB傳感器，靈敏度變低，亮度的分辨率也變低。

即，相比具有上述的第1實(shí)施方式和第2實(shí)施方式的IR的彩色濾光片，具有C的彩色濾光片在分辨率、靈敏度上有益的可能性較高。

圖16以框圖表示圖9的信號(hào)處理部12中的信號(hào)處理。作為攝像傳感器1，具備具有上述的RGB-C的彩色濾光片3e的RGB-C傳感器1，并且具備構(gòu)成光學(xué)系統(tǒng)的鏡頭11和DBPF5。

R+IR、G+IR、B+IR、C+IR信號(hào)從RGB-C傳感器1進(jìn)入到進(jìn)行顏色分離、IR分離、IR校正的分離裝置51，通過(guò)內(nèi)插處理和IR校正等，在各像素求出R、G、B、W、IR各信號(hào)并輸出。根據(jù)使用上述式的運(yùn)算，進(jìn)行該處理。

從分離裝置51輸出的R、G、B、W、IR信號(hào)中的R、G、B各信號(hào)被發(fā)送到顏色矩陣裝置52，進(jìn)行公知的RGB矩陣校正等，輸出RGB信號(hào)。此外，來(lái)自分離裝置51的R、G、B、W、IR信號(hào)被發(fā)送給亮度生成裝置53，根據(jù)求出所設(shè)定的亮度的公式，根據(jù)各信號(hào)生成亮度信號(hào)。

從顏色矩陣裝置輸出的RGB信號(hào)被輸入到伽馬處理和色差生成裝置54，被實(shí)施公知的伽馬處理，并且作為色差信號(hào)例如生成B-Y信號(hào)和R-Y信號(hào)。此外，從分離裝置51和RGB-C傳感器1輸出的信號(hào)經(jīng)由BPF(帶通濾波器)55，作為預(yù)定的波段的信號(hào)，通過(guò)降噪裝置56被降低噪聲后，與從亮度生成裝置53輸出的亮度信號(hào)一起通過(guò)增強(qiáng)處理裝置57被放大，經(jīng)過(guò)伽瑪處理裝置58中的伽馬處理后作為亮度/色差信號(hào)的亮度信號(hào)(Y信號(hào))而輸出。

此外，從分離裝置51輸出的IR信號(hào)經(jīng)由增強(qiáng)處理裝置59、伽瑪處理裝置60后作為IR信號(hào)而輸出。另外，在圖像信號(hào)的處理中，進(jìn)行后述的削波處理，對(duì)于削波處理在后面進(jìn)行敘述。

接著，對(duì)本發(fā)明的第4實(shí)施方式的攝像傳感器和攝像裝置進(jìn)行說(shuō)明。第4實(shí)施方式是將彩色濾光片的各顏色進(jìn)行了一般化的方式，表示本發(fā)明的彩色濾光片并不限定于RGB-IR、RGB-C。以下，說(shuō)明具備具有一般化后的4色濾光部的彩色濾光片的攝像傳感器中的IR分量的去除方法。另外，4色(4種)濾光部基本上與可見(jiàn)光波段中的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性不同，并且，在包含上述DBPF的第2波段的波段中具備與相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的其他濾光部的透過(guò)率的差成為10％以下的第3波段，在該第3波段中包含DBPF5的第2波段。由此，在使用彩色濾光片和DPBF5的情況下，在各顏色的濾光部中與可見(jiàn)光波段的紅外側(cè)的波長(zhǎng)對(duì)應(yīng)的透過(guò)特性近似。

并且，在4種像素的濾光片配置中，以下述條件設(shè)計(jì)彩色濾光片時(shí)，能夠分離IR。

關(guān)于濾光片配置，優(yōu)選在如圖17所示那樣的2×2的配置中，4種濾光部A、B、C、D各具有1個(gè)。

此外，優(yōu)選以在可見(jiàn)波長(zhǎng)區(qū)域中下述關(guān)系盡可能成立的方式設(shè)計(jì)A、B、C、D各濾光部。

即，在可見(jiàn)光波段中成為

KaA+KbB+KcC+KdD≈0。

另外，A、B、C、D表示來(lái)自濾光部的可見(jiàn)光波段的攝像傳感器1的輸出信號(hào)的電平。

將相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的IR區(qū)域設(shè)為IR透過(guò)率在A、B、C、D各濾光部的上述第3波段中大致固定。另外，在A、B、C、D各濾光部中IR透過(guò)率也可以成為某IR透過(guò)率的大致整倍數(shù)。這樣設(shè)計(jì)時(shí)(在此，如上述那樣設(shè)IR透過(guò)率固定)，

Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR)≈IR(Ka+Kb+Kc+Kd)，

因此，IR信號(hào)可以通過(guò)

IR’＝(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)

來(lái)算出。

通過(guò)下述的計(jì)算，能夠校正A、B、C、D各像素所包含的IR分量。

A’＝(A+IR)-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝A-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

B’＝B+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝B-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

C’＝C+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝C-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

D’＝D+IR-(Ka(A+IR)+Kb(B+IR)+Kc(C+IR)+Kd(D+IR))/(Ka+Kb+Kc+Kd)＝D-(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)

在此，誤差量為

(KaA+KbB+KcC+KdD)/(Ka+Kb+Kc+Kd)。

可以在RGB矩陣中，對(duì)該誤差量進(jìn)行校正。

實(shí)際上，針對(duì)各濾光部的IR分量的透過(guò)率多少不同，因此如下述那樣以系數(shù)校正后的信號(hào)進(jìn)行校正。

A’＝A+IR＊KIRa-KIRa(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

B’＝B+IR＊KIRb-KIRb(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

C’＝C+IR＊KIRc-KIRc(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

D’＝D+IR＊KIRd-KIRd(Ka(A+IR＊KIRa)+Kb(B+IR＊KIRb)+Kc(C+IR＊KIRc)+Kd(D+IR＊KIRd))/(Ka＊KIRa+Kb＊KIRb+Kc＊KIRc+Kd＊KIRd)

另外，使用DBPF時(shí)的各濾光片的分光透過(guò)特性如圖11所示。另外，作為濾光部的例子，列舉了使用成為R+IR、G+IR、B+IR、C+IR的4種濾光部的例子，但I(xiàn)R部分成為固定或相互整倍數(shù)的關(guān)系，只要以KaA+KbB+KcC+KdD≈0的方式設(shè)計(jì)彩色濾光片，各濾光部就并不限定于R+IR、G+IR、B+IR、C+IR。

圖18表示使B濾光部和DBPF5合起來(lái)后的分光透過(guò)，圖19表示使G濾光部和DBPF5合起來(lái)后的分光透過(guò)，圖20表示使B濾光部和DBPF5合起來(lái)后的分光透過(guò)，圖21表示使C(W)濾光部和DBPF5合起來(lái)后的分光透過(guò)。

各分光透過(guò)特性如上述的各式所示那樣成為將可見(jiàn)R透過(guò)區(qū)域、可見(jiàn)G透過(guò)區(qū)域、可見(jiàn)B透過(guò)區(qū)域、IR透過(guò)區(qū)域這4個(gè)透過(guò)率合起來(lái)后的特性。因此，能夠根據(jù)4種以上的濾光片的值計(jì)算各可見(jiàn)R透過(guò)區(qū)域、可見(jiàn)G透過(guò)區(qū)域、可見(jiàn)B透過(guò)區(qū)域、IR透過(guò)區(qū)域的信號(hào)值。另外，根據(jù)表示上述各A、B、C、D各分光透過(guò)特性的公式來(lái)決定分光透過(guò)特性，根據(jù)其中的2個(gè)濾光片的分光透過(guò)特性的組合決定6種分光透過(guò)特性。

接著，對(duì)本發(fā)明的第5實(shí)施方式進(jìn)行說(shuō)明。

將輸出可見(jiàn)光波段的信號(hào)、相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的紅外信號(hào)的攝像傳感器1搭載于智能手機(jī)等的情況下，在智能手機(jī)側(cè)，處理來(lái)自攝像傳感器1的信號(hào)的電路位于作為主運(yùn)算處理裝置發(fā)揮功能的SOC(System on Chip，系統(tǒng)芯片)上的情況下，從攝像傳感器輸出的RGB信號(hào)如上述那樣包含IR分量，需要進(jìn)行去除該IR分量的處理時(shí)，有可能不得不變更SOC的設(shè)計(jì)。此外，除了SOC以外，還需要在智能手機(jī)上設(shè)置進(jìn)行上述IR校正的電路。在這些情況下，在向智能手機(jī)等機(jī)器導(dǎo)入能夠輸出可見(jiàn)光和紅外這兩個(gè)光的圖像信號(hào)的攝像傳感器時(shí)，即使攝像傳感器以外的部分成本也會(huì)增加。

因此，在本實(shí)施方式中，在攝像傳感器中組入使來(lái)自攝像傳感器1的從可見(jiàn)光波段輸出的圖像信號(hào)成為與以往相同的信號(hào)的電路。如圖22所示，攝像傳感器101具備成為與上述攝像傳感器1大致相同的結(jié)構(gòu)的攝像部102、IR校正/分離電路103，從IR校正/分離電路103例如輸出可見(jiàn)RGB信號(hào)和IR信號(hào)。另外，IR校正/分離電路103包括進(jìn)行與后述的信號(hào)電平的削波相關(guān)的處理的電路。

在該情況下，為了輸出RGB信號(hào)和IR信號(hào)，攝像傳感器101的管腳數(shù)增加，但通過(guò)以CSI-2等串行輸出規(guī)格進(jìn)行輸出，能夠抑制管腳數(shù)的增加。在此，將可見(jiàn)RGB信號(hào)作為RGBG拜耳陣列的攝像傳感器的RAW信號(hào)而輸出，或作為YUYV(YCb、YCr)信號(hào)而輸出。此外，將IR信號(hào)作為單色信號(hào)而輸出，由此能夠不變更智能手機(jī)、未來(lái)手機(jī)的SOC，通過(guò)RGB-IR傳感器、RGB-C傳感器靈活地進(jìn)行可見(jiàn)和近紅外的同時(shí)攝像。

攝像傳感器101的結(jié)構(gòu)例如如圖23所示那樣成為層壓型堆棧結(jié)構(gòu)，例如，在1個(gè)基板110上搭載構(gòu)成IR校正/分離電路103的集成電路的芯片，并且在其之上重疊地配置構(gòu)成攝像部102的芯片。在攝像部102的上面配置有玻璃罩111。在基板110的底面配置有焊錫球115。

此外，如圖24所示那樣，攝像傳感器101的結(jié)構(gòu)也可以成為，上下隔著間隔上下重疊地配置2個(gè)基板110，在下面的基板110上配置IR校正/分離電路103的芯片，在上面的基板110上配置攝像部102的芯片，在其之上配置玻璃罩111。

目前，可以通過(guò)層壓堆棧結(jié)構(gòu)來(lái)實(shí)現(xiàn)小型的封裝。即，能夠通過(guò)如上那樣地上下層壓IR校正/分離電路103和攝像部102，而形成1個(gè)封裝的傳感器。通過(guò)該方法也能夠?qū)崿F(xiàn)通過(guò)1個(gè)封裝內(nèi)置IR校正/分離電路的攝像傳感器101。這樣，即使不內(nèi)置校正分離電路，也能夠?qū)崿F(xiàn)小型可見(jiàn)/近紅外光的同時(shí)拍攝，從而能夠?qū)崿F(xiàn)能夠用于智能手機(jī)等的小型的傳感器。在智能手機(jī)中，可以通過(guò)1個(gè)傳感器來(lái)實(shí)現(xiàn)由IR傳感器進(jìn)行的彩虹認(rèn)證等生物體認(rèn)證、具有3D捕捉(capture)等功能且可見(jiàn)動(dòng)畫(huà)/靜止畫(huà)的拍攝。

即，在使用紅外傳感器進(jìn)行生物體認(rèn)證等的情況下，例如考慮分開(kāi)設(shè)置紅外傳感器和攝像頭，但認(rèn)為在該情況下因追加新的紅外傳感器而導(dǎo)致成本上升、空間效率惡化等，但能夠抑制這些問(wèn)題。

圖25表示通過(guò)IR校正+內(nèi)插進(jìn)行與RGB拜耳配置同樣的信號(hào)輸出的示意圖。在水平垂直掃描中，按R、IR、R、IR、…/G、B、G、B、…線順序輸出R/IR和G/B，針對(duì)該信號(hào)進(jìn)行IR校正/IR分離，此外，IR像素的位置由近旁的G信號(hào)內(nèi)插而生成G’信號(hào)，按R、G’、R、G’、…/G、B、G、B、…線順序輸出可見(jiàn)R/G’和G/B信號(hào)、以及分離后的IR信號(hào)?？梢?jiàn)R/G’和G/B信號(hào)與以往的RGB拜耳陣列的傳感器的輸出形式相同，因此在信號(hào)處理側(cè)，能夠通過(guò)與以往相同的信號(hào)處理電路進(jìn)行處理。此外，IR信號(hào)保持單色信號(hào)，因此在信號(hào)處理部中仍可以通過(guò)通常的黑白信號(hào)的處理進(jìn)行處理。

通過(guò)以上的結(jié)構(gòu)，在以往的信號(hào)處理電路中，能夠使處理電路的變更最少地處理RGB-IR傳感器的輸出，此外，在智能手機(jī)等中，能夠不增加空間，而安裝通過(guò)IR攝像進(jìn)行的生物體認(rèn)證、3D捕捉等新功能。

此外，以上對(duì)RGB-IR傳感器進(jìn)行了說(shuō)明，但在使用RGB-C傳感器的可見(jiàn)/近紅外同時(shí)攝像中，通過(guò)構(gòu)成為在傳感器內(nèi)內(nèi)置IR校正分離電路為輸出以往的RGB拜耳陣列的傳感器的輸出形式的可見(jiàn)信號(hào)和IR信號(hào)，能夠得到同樣的效果。

接著，對(duì)本發(fā)明的第6實(shí)施方式進(jìn)行說(shuō)明。

如圖26所示那樣，本實(shí)施方式的攝像裝置10具備：作為攝像用光學(xué)系統(tǒng)的鏡頭11；具備DBPF5的攝像傳感器1；以及信號(hào)處理部(信號(hào)處理裝置：減法運(yùn)算控制裝置)12，其處理從攝像傳感器1輸出的輸出信號(hào)13，對(duì)圖像信號(hào)進(jìn)行上述的內(nèi)裝處理、去除彩色拍攝時(shí)的通過(guò)第2波段的紅外光的影響的圖像處理、伽瑪校正、白平衡、RGB矩陣校正等圖像處理。可從信號(hào)處理部12輸出可見(jiàn)彩色圖像的輸出信號(hào)14(可見(jiàn)圖像信號(hào))和紅外光圖像的輸出信號(hào)15(紅外圖像信號(hào))。

鏡頭11是構(gòu)成在攝像裝置10的攝像傳感器1上成像的光學(xué)系統(tǒng)的部件。鏡頭11例如由多個(gè)透鏡構(gòu)成。

如圖27所示，攝像傳感器(圖像傳感器)1例如具備作為CCD(Charge coupled Device：電荷耦合器件)圖像傳感器的傳感器本體2、與傳感器本體2的各像素對(duì)應(yīng)地以預(yù)定排列配置了紅(R)、綠(G)、藍(lán)(B)、紅外(IR)的各區(qū)域(各顏色的濾光片)的彩色濾光片3、覆蓋在傳感器本體2和彩色濾光片3上面的玻璃罩4、在玻璃罩4上形成的DBPF(Dual Band pass filter：雙頻帶通濾波器)5。

傳感器本體2為CCD圖像傳感器，針對(duì)各像素配置有作為受光元件的光電二極管。另外，傳感器本體2也可以用CMOS(Complementary Metal Oxide Semiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器來(lái)代替CCD圖像傳感器。

在傳感器本體2上設(shè)有彩色濾光片3。在此，有紅色R、綠色G、藍(lán)色B各區(qū)域但沒(méi)有紅外IR區(qū)域的拜耳排列的彩色濾光片具有成為基本模式的縱4×橫4的16個(gè)區(qū)域，將8個(gè)區(qū)域設(shè)為G區(qū)域，將4個(gè)區(qū)域設(shè)為R，將4個(gè)區(qū)域設(shè)為B。與此相對(duì)，作為本實(shí)施方式的彩色濾光片3，如圖28所示那樣，將拜耳陣列中的8個(gè)G區(qū)域中的4個(gè)設(shè)為IR區(qū)域，從而R為4個(gè)、G為4個(gè)、B為4個(gè)、IR為4個(gè)。另外，包含IR區(qū)域的彩色濾光片并不限定于圖28所示的彩色濾光片3，可以使用各種排列的彩色濾光片。此外，RGB各區(qū)域?yàn)橐话愕腞GB濾光片，但在各顏色的波長(zhǎng)范圍內(nèi)具備透過(guò)率的峰值，并且在近紅外的波長(zhǎng)區(qū)域具備透過(guò)性，因此在圖28中，將紅色區(qū)域設(shè)為R+IR，將綠色區(qū)域設(shè)為G+IR，將藍(lán)色區(qū)域設(shè)為B+IR。

本實(shí)施方式中的R區(qū)域、G區(qū)域和B區(qū)域的光譜透過(guò)率如圖29的圖表所示。即，示出了彩色濾光片3的紅(R)、綠(G)、藍(lán)(B)、紅外(IR)的各濾光片的光譜透過(guò)率，縱軸表示透過(guò)率，橫軸表示波長(zhǎng)。圖表中的波長(zhǎng)的范圍包括可見(jiàn)光波段和近紅外波段的一部分，因此，例如表示300nm～1100nm的波長(zhǎng)范圍。

例如，R區(qū)域如圖表的R(二重線)所示那樣，在波長(zhǎng)600nm成為大致最大的透過(guò)率，在其長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也會(huì)成為維持透過(guò)率大致最大的狀態(tài)。G區(qū)域如圖表的G(間隔寬的虛線)所示那樣，在波長(zhǎng)為540nm左右的部分具有透過(guò)率極大的峰值，在其長(zhǎng)波長(zhǎng)側(cè)的620nm左右的部分具有透過(guò)率極小的部分。此外，在G區(qū)域中，與透過(guò)率極小的部分相比長(zhǎng)波長(zhǎng)側(cè)成為上升趨勢(shì)，在850nm左右透過(guò)率成為大致最大。與其相比在長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也可以成為透過(guò)率大致最大的狀態(tài)。B區(qū)域如圖表的B(間隔窄的虛線)所示那樣，在波長(zhǎng)為460nm左右的部分具有透過(guò)率極大的峰值，在其長(zhǎng)波長(zhǎng)側(cè)的630nm左右的部分具有透過(guò)率極小的部分。此外，與其相比長(zhǎng)波長(zhǎng)側(cè)成為上升趨勢(shì)，在860nm左右透過(guò)率成為大致最大，與其相比在長(zhǎng)波長(zhǎng)側(cè)，即使超過(guò)1000nm也可以成為透過(guò)率大致最大的狀態(tài)。IR區(qū)域遮斷780nm左右至短波長(zhǎng)側(cè)的光，遮斷1020nm左右至長(zhǎng)波長(zhǎng)側(cè)的光，820nm～920nm左右的部分的透過(guò)率成為大致最大。

R、G、B、IR各區(qū)域的光譜透過(guò)率并不限定于圖29等所示的光譜透過(guò)率，目前，認(rèn)為在一般使用的彩色濾光片3中，表示與此相近的光譜透過(guò)率。另外，表示透過(guò)率的縱軸的1并不是表示光100％透過(guò)，而是表示在彩色濾光片3中，例如最大的透過(guò)率。

玻璃罩4覆蓋并保護(hù)傳感器本體2和彩色濾光片3。

在此，DBPF5為在玻璃罩4上成膜而成的光學(xué)濾光片。DBPF5是在可見(jiàn)光波段具有透過(guò)特性、在與可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)相鄰的第1波段具有遮斷特性、在上述第1波段內(nèi)的一部分即第2波段具有遮斷特性的光學(xué)濾光片。另外，DBPF5的配置位置并不限定于玻璃罩4，也可以配置于攝像傳感器1的其他位置。此外，DBPF5的配置位置并不限定于攝像傳感器1，也可以配置于包含鏡頭11，使像成在攝像傳感器1的光學(xué)系統(tǒng)中。

如圖29的圖表所示，如在圖表中DBPF(實(shí)線)所示那樣，DBPF5在由DBPF(VR)表示的可見(jiàn)光波段、和相對(duì)于可見(jiàn)光波段的長(zhǎng)波長(zhǎng)側(cè)的稍微遠(yuǎn)離的位置的由DBPF(IR)表示的紅外波段(第2波段)這2個(gè)頻帶的透過(guò)率變高。此外，作為可見(jiàn)光波段透過(guò)率較高的頻帶的DBPF(VR)例如成為370nm～700nm左右的波段。此外，在紅外側(cè)作為透過(guò)率較高的第2波段的DBPF(IR)例如成為830nm～970nm左右的頻帶。

在本實(shí)施方式中，如以下所示那樣規(guī)定上述彩色濾光片3的各區(qū)域的光譜透過(guò)率與DBPF5的光譜透過(guò)率的關(guān)系。

即，成為DBPF5的光譜透過(guò)率的透過(guò)紅外光的第2波段的DBPF(IR)包含在R區(qū)域、G區(qū)域、B區(qū)域全部成為臉頰最大的透過(guò)率且在各區(qū)域中透過(guò)率大致相同的圖29所示的波段A內(nèi)，并且，包含在以IR區(qū)域的大致最大的透過(guò)率透過(guò)光的波段B內(nèi)。

在此，將R、G、B各區(qū)域的透過(guò)率大致相同的波段A設(shè)為各區(qū)域的透過(guò)率的差在透過(guò)率10％以下的部分。

另外，在相對(duì)于該波段A的短波長(zhǎng)側(cè)(波段C)，相對(duì)于透過(guò)率大致最大的R區(qū)域，G、B區(qū)域的透過(guò)率變低。在DBPF5中，該R、G、B各區(qū)域的透過(guò)率有差異的部分對(duì)應(yīng)于成為大致遮斷可見(jiàn)光區(qū)域的透過(guò)率高的部分即DBPF(VR)與紅外光區(qū)域的第2波長(zhǎng)區(qū)域的透過(guò)率高的部分即DBPF(IR)之間的DBPF5的光的透過(guò)率極小的部分。即，在紅外側(cè)，R、G、B各區(qū)域的透過(guò)率的差異變大的部分的光的透過(guò)被切除，與其相比在長(zhǎng)波長(zhǎng)側(cè)各區(qū)域的透過(guò)率大致變大且透過(guò)率大致相同的波長(zhǎng)區(qū)域A，使光透過(guò)。

因此，在本實(shí)施方式中，在代替紅外光截止濾波器而使用的DBPF5中，不僅在可見(jiàn)光波段，在紅外光側(cè)的第2波段中也存在使光透過(guò)的區(qū)域，因此在進(jìn)行基于可見(jiàn)光的彩色拍攝時(shí)，會(huì)受到透過(guò)了第2波段的光的影響，但如上所述第2波段不會(huì)使在R、G、B各區(qū)域中透過(guò)率不同的部分的光透過(guò)，僅使各區(qū)域的透過(guò)率變得大致最大，且成為大致相同的透過(guò)率的波段的光透過(guò)。

此外，在DBPF5的第2波段中，使在IR區(qū)域透過(guò)率成為大致最大的部分的光透過(guò)。因此，在假定在被照射大致相同的光的極其接近的4個(gè)像素中分別設(shè)置R、G、B、IR區(qū)域的情況下，在第2波段在R區(qū)域、G區(qū)域、B區(qū)域、IR區(qū)域中大致同樣地使光透過(guò)，作為紅外側(cè)的光，在包含IR的各區(qū)域大致相同光量的光到達(dá)攝像傳感器本體2的上述像素的光電二極管。即，透過(guò)R、G、B各濾光片的光中的、透過(guò)紅外側(cè)的第2波段的光的光量與透過(guò)IR區(qū)域的光的光量相同。在如上述那樣假定的情況下，來(lái)自接受了基本上透過(guò)了R、G、B各濾光片的光的傳感器本體2的如上述那樣假定的像素的輸出信號(hào)與來(lái)自接受了透過(guò)了IR濾光片的光的傳感器本體2的如上述那樣假定的像素的輸出信號(hào)的差值，成為通過(guò)各R、G、B區(qū)域切除了透過(guò)了紅外側(cè)的光的R、G、B各個(gè)可見(jiàn)光部分的輸出信號(hào)。

實(shí)際上，如彩色濾光片3(3a、3b、3c)的各模式所示的那樣，在傳感器本體2的每個(gè)像素上配置R、G、B、IR中的任意1個(gè)區(qū)域，向各像素照射的各顏色的光的各自的光量不同的可能性高，因此可以針對(duì)各像素例如使用公知的內(nèi)插法(插補(bǔ)法)來(lái)求出各像素的各顏色的亮度，將該插補(bǔ)后的各像素的R、G、B的亮度與以相同的方法插補(bǔ)后的IR亮度的差值分別設(shè)為R、G、B的亮度。另外，從R、G、B各顏色的亮度去除紅外光分量的圖像處理方法并不限定于此，只要最終能夠從R、G、B各亮度去除透過(guò)了第2波段的光的影響的方法，就可以使用任一種方法。在任一種方法中，DBPF5能夠去掉在紅外側(cè)R、G、B區(qū)域的透過(guò)率不同于10％的部分，即透過(guò)率不同于預(yù)定比例的部分，因此針對(duì)各像素去除紅外光的影響的處理變得容易。

此外，作為該攝像傳感器1的用途，在能夠進(jìn)行彩色拍攝和紅外光拍攝這兩者的攝像裝置中，作為攝像傳感器而使用。一般，考慮通過(guò)彩色拍攝進(jìn)行通常的拍攝，在夜間不使用可見(jiàn)光的照明而使用人類難以識(shí)別的紅外光的照明來(lái)進(jìn)行紅外拍攝。例如，在各種監(jiān)視攝像頭等中，優(yōu)選在不需要夜間照明或不進(jìn)行夜間照明的場(chǎng)所進(jìn)行夜間拍攝時(shí)，考慮使用紅外光照明的基于紅外光的夜間拍攝。此外，也可以在用于觀察野生動(dòng)物的白天拍攝和夜間拍攝等用途中使用。

將紅外光拍攝用作夜間拍攝的情況下，即使紅外光也與可見(jiàn)光同樣，在夜間光量不足，因此需要進(jìn)行紅外光照明?？紤]R、G、B、IR各區(qū)域的光譜透過(guò)率、紅外光照明用光例如照明用紅外光LED的光譜透過(guò)率來(lái)決定圖29所示的DBPF5的光譜透過(guò)率。

在這樣的攝像傳感器中，在DBPF5的紅外側(cè)使光透過(guò)的第2波段被包含在在R、G、B、IR各區(qū)域的紅外側(cè)各區(qū)域的透過(guò)率大致最大，且各區(qū)域的透過(guò)率大致相同的波段A中，并且，被包含在IR區(qū)域的透過(guò)率大致成為最大的波段B中。換言之，在相對(duì)于可見(jiàn)光波段長(zhǎng)的波長(zhǎng)側(cè)，R、G、B各濾光片的透過(guò)率中僅R濾光部成為大致最大，G、B區(qū)域的透過(guò)率未變?yōu)榇笾伦畲?，由此R、G、B各區(qū)域的透過(guò)率未成為大致相同，不同部分的光被DBPF5切除。

即，在R、G、B、IR各區(qū)域中，在紅外側(cè)使第2波段的光透過(guò)，因此各區(qū)域中的紅外側(cè)的透過(guò)率全部大致相同，以相同的光量照射成為第2波段的光時(shí)，R、G、B、IR各區(qū)域中的透過(guò)光量相同。由此，如上述那樣校正基于來(lái)自與R、G、B各區(qū)域?qū)?yīng)的像素的輸出信號(hào)的顏色，能夠容易得到抑制了彩色拍攝時(shí)的顏色受到透過(guò)第2波段的紅外光引起的影響的圖像。

此外，通過(guò)使第2波段與包含在上述波段A和波段B中的紅外光照明的發(fā)光光譜的峰值對(duì)應(yīng)，高效地使用紅外光照明的光，并且使第2波段的寬度變窄，從而在彩色拍攝時(shí)能夠使透過(guò)第2波段的紅外光的影響變小。

即，通過(guò)使用DBPF5，從攝像傳感器1的RGB各信號(hào)的值分別減去IR信號(hào)的值，從而能夠進(jìn)行高精度的校正。在此，在詳細(xì)說(shuō)明信號(hào)處理部12前，對(duì)攝像裝置中的攝像處理方法進(jìn)行說(shuō)明。

例如，如以下所示那樣，攝像傳感器1的各顏色像素的受光分量成為對(duì)各顏色分量加上IR分量的狀態(tài)。

R像素R+IR

G像素G+IR

B像素B+IR

IR像素IR

因此，如以下所示那樣，進(jìn)行去除IR像素的從RGB各像素的受光分量去除IR分量的IR校正。

R信號(hào)(R像素輸出)-(IR像素輸出)＝(R+IR)-IR＝R

G像素(R像素輸出)-(IR像素輸出)＝(G+IR)-IR＝G

B像素(R像素輸出)-(IR像素輸出)＝(B+IR)-IR＝B

由此，能夠從彩色濾光片的IR以外的各顏色區(qū)域排除透過(guò)DBPF5且透過(guò)彩色濾光片IR分量。

但是，R像素、G像素、B像素針對(duì)各光源的靈敏度分別不同，攝像傳感器1的各像素存在動(dòng)態(tài)范圍，不讀取超過(guò)了動(dòng)態(tài)范圍的電荷，來(lái)自攝像傳感器的輸出被削波而成為頂級(jí)。即，當(dāng)輸入的光超過(guò)動(dòng)態(tài)范圍時(shí)，輸出的信號(hào)被削波而成為被削平的狀態(tài)。

其結(jié)果，如下述那樣，存在如下問(wèn)題：在校正后的R信號(hào)、G信號(hào)、B信號(hào)中產(chǎn)生誤差、不自然的亮度電平(高亮部的亮度降低)、高亮中帶有顏色等。

圖30～圖32是用于說(shuō)明在超過(guò)了動(dòng)態(tài)范圍的狀態(tài)下，從各顏色分量減去IR分量時(shí)的問(wèn)題的圖，圖30表示R的情況，圖31表示G的情況，圖32表示B的情況。在圖30～圖32所示的圖表中，縱軸表示來(lái)自攝像傳感器1的各顏色像素的信號(hào)的輸出電平，橫軸表示攝像傳感器1的1個(gè)像素的輸出電平的時(shí)間經(jīng)過(guò)，或者，表示像素在列上的位置(例如，Y軸上的各像素的位置)。在此，例如將橫軸設(shè)為Y軸上的像素的位置。因此，圖表表示各顏色的各像素的基于Y軸上的位置的信號(hào)的輸出電平的變化。圖33是對(duì)圖30～圖32所示的各顏色表示IR信號(hào)的輸出電平的圖，與上述的各圖表的RGB各像素的情況同樣地表示Y軸上的各像素的位置的輸出電平。

圖30～圖32分別所示的上側(cè)的圖表表示隨著Y軸上的位置的差異超過(guò)動(dòng)態(tài)范圍的狀態(tài)下的信號(hào)的輸出電平，即隨著Y軸上的位置向右方向變化，各像素的信號(hào)的輸出電平上升之后下降，在去除IR的RGB中，超過(guò)動(dòng)態(tài)范圍而成為被削波的狀態(tài)。另外，在攝像傳感器1的各像素中，僅能夠讀取電荷到像素飽和電平為止，在像素飽和電平以上無(wú)法讀取電荷，而成為輸出電平被削波的狀態(tài)。此外，在RGB各像素的信號(hào)的輸出電平中包含IR信號(hào)的輸出電平，因此分別成為R+IR、G+IR、B+IR，RGB的輸出電平與IR信號(hào)的輸出電平相比分別高出不包含RGB的IR的單獨(dú)的輸出電平量。因此，容易發(fā)生在IR像素中不超過(guò)動(dòng)態(tài)范圍，而在RGB中超過(guò)動(dòng)態(tài)范圍的狀態(tài)。

在圖30～圖32中，超過(guò)像素飽和電平并用虛線表示的圖表表示未被削波的情況下的輸出電平。圖30～圖32所示的下側(cè)的圖表表示從包含上側(cè)的IR的輸出電平減去了IR的輸出電平的情況。在此，在上部成為凸部的部分表示從上述的由虛線所示的沒(méi)有被削波的情況下的RGB各信號(hào)的輸出電平減去了IR信號(hào)的輸出電平的情況。但是，實(shí)際上，減去前的RGB各信號(hào)為被削波的狀態(tài)，因此此時(shí)減去了輸出電平隨著位置的不同而成為山狀的IR輸出電平的情況成為從上部凸起的下側(cè)的圖表變成如箭頭所示那樣下側(cè)凹陷的狀態(tài)的下側(cè)的圖表。

如上所述原本應(yīng)為一列的各像素的中央部的輸出電平高的山狀的輸出電平，但如上所述原本的輸出電平超過(guò)動(dòng)態(tài)范圍而被削波，以像素飽和電平而成為水平的輸出電平減去未超過(guò)動(dòng)態(tài)范圍成為山狀的IR的輸出電平，因此原本輸出電平最高的部分相反成為凹陷的狀態(tài)。

在超過(guò)了像素飽和電平的情況下，各顏色像素的圖像信號(hào)的輸出電平成為削平狀態(tài)，此時(shí)，IR依舊比像素飽和電平低，其他顏色超過(guò)像素飽和電平后亮度越變高，IR的輸出電平越變高。即，即使亮度變得更高，RGB各像素的信號(hào)的輸出電平被削波而不會(huì)變高，而從它們減去的IR輸出信號(hào)變高。因此，從RGB各輸出電平減去IR輸出電平而得的輸出電平在亮度變高時(shí)反而下降。由此，在輸出電平應(yīng)為最高的部分，輸出電平反而下降，在高亮部亮度降低。此外，RGB各輸出電平全部超過(guò)了像素飽和電平的部分應(yīng)成為白色，但RGB分別在下部凸出時(shí)的輸出電平中產(chǎn)生差異，高亮部不成為白色，而成為帶有顏色的狀態(tài)。

因此，從RGB各像素的信號(hào)的輸出電平減去IR信號(hào)的輸出電平時(shí)，由于RGB各像素的信號(hào)的輸出電平超過(guò)動(dòng)態(tài)范圍，因此在以像素飽和電平被削波的狀態(tài)下，降低要減去的IR的輸出電平后進(jìn)行減法運(yùn)算。即，在從RGB各輸出電平被減去的IR信號(hào)的輸出電平的值中，如圖33、圖34所示那樣，從RGB各像素的信號(hào)的輸出電平被減去的IR信號(hào)的輸出電平不超過(guò)動(dòng)態(tài)范圍，即使在像素飽和電平的下側(cè)，也如輸出電平被削波那樣，與RGB各信號(hào)(各分量)對(duì)應(yīng)地設(shè)定限制值，將成為該限制值以上的輸出電平設(shè)為以所設(shè)定的限制值被削波(限制成削平)的狀態(tài)。

這樣，從RGB各信號(hào)減去以對(duì)每個(gè)RGB設(shè)置的限制值被削波的IR信號(hào)的情況下，與圖30～32所示的情況不同，要減去的IR信號(hào)以限制值被削波，因此如圖35(a)、(b)、(c)所示那樣，不會(huì)出現(xiàn)亮度變高時(shí)而RGB各信號(hào)的輸出電平反而變低的情形，而成為以減去后的信號(hào)飽和電平被削波的狀態(tài)。該信號(hào)飽和電平是從RGB各信號(hào)的像素飽和電平減去IR信號(hào)的與RGB對(duì)應(yīng)的各限制值而得的值。因此，不會(huì)發(fā)生高亮部亮度下降的現(xiàn)象。另外，RGB各信號(hào)的減去IR信號(hào)后產(chǎn)生的信號(hào)飽和電平在RGB各信號(hào)超過(guò)動(dòng)態(tài)范圍的情況下，從像素飽和電平減去IR信號(hào)的限制值，從而成為低于像素飽和電平的電平。此外，IR信號(hào)減去后的RGB各信號(hào)的信號(hào)飽和電平如后所述按顏色而不同。

另外，圖34所示的IR信號(hào)的輸出電平被削波的位置(IR信號(hào)的限制值)根據(jù)被減去的RGB的每個(gè)信號(hào)而不同，并且根據(jù)狀況而變化。

即，進(jìn)行各RGB信號(hào)的校正時(shí)的IR信號(hào)的輸出電平的限制值(削波電平)與RGB各顏色對(duì)應(yīng)地，根據(jù)攝像傳感器1的分光靈敏度、光源的色溫度、光源的種類，恰當(dāng)?shù)南鞑娖阶兓?。難以通過(guò)計(jì)算一律地求出該電平，但通過(guò)對(duì)各光源(色溫度)測(cè)定由傳感器輸出的各RGB信號(hào)的輸出電平、IR信號(hào)的輸出電平，能夠決定該電平。另外，通過(guò)攝像傳感器1決定攝像傳感器1的分光靈敏度。此外，根據(jù)光源的種類大致決定色溫度。因此，需要根據(jù)色溫度求出上述IR的輸出電平被削波的各RGB信號(hào)所對(duì)應(yīng)的IR信號(hào)的值的限制值。

在攝像頭中，根據(jù)光源的色溫度的變化，各RGB信號(hào)的電平變化。例如，對(duì)于色溫度低的光源，R信號(hào)增加，B信號(hào)減少。此外，對(duì)于色溫度高的光源，B信號(hào)增加，R信號(hào)減少。其結(jié)果，在色溫度低的情況下，成為略帶紅色的圖像，在色溫度高的情況下，成為略帶藍(lán)色的圖像。因此，顏色的再現(xiàn)性根據(jù)光源的色溫度變化而變化。為了使該顏色再現(xiàn)性穩(wěn)定化，進(jìn)行使RGB信號(hào)的電平一定的白平衡處理(WB)。

根據(jù)顏色信號(hào)測(cè)定光源的色溫度，并調(diào)整RGB各顏色信號(hào)的增益來(lái)進(jìn)行白平衡處理。當(dāng)前，普遍采用根據(jù)圖像信號(hào)進(jìn)行白平衡檢測(cè)，根據(jù)檢測(cè)出的結(jié)果進(jìn)行控制的方法。例如，由RGB增益調(diào)整電路(包含于圖38的控制電路21中)和白平衡檢測(cè)電路26(圖38圖示)構(gòu)成反饋控制回路，通過(guò)白平衡檢測(cè)電路26對(duì)R-Y信號(hào)、B-Y信號(hào)、或R、G、B信號(hào)進(jìn)行積分。對(duì)R-Y信號(hào)、B-Y信號(hào)進(jìn)行積分的情況下，控制成它們的積分值成為0，此外，對(duì)R、G、B信號(hào)進(jìn)行積分的情況下，控制各RGB信號(hào)的增益使各積分值相同。

此時(shí)，能夠根據(jù)各RGB信號(hào)的增益，求出R信號(hào)、G信號(hào)、B信號(hào)各自的比例，成為決定光源的色溫度的信息。根據(jù)該信息，來(lái)決定IR校正時(shí)的IR信號(hào)相對(duì)于各RGB信號(hào)的限制值(削波電平)。

另外，影像信號(hào)的構(gòu)成方式有將與三原色對(duì)應(yīng)的RGB設(shè)為分量的RGB方式和使用從RGB變換為亮度信號(hào)和色差信號(hào)的亮度-色差的色差方式。已知的色差方式有使用Y、Cb、Cr的方式、使用Y、Pb、Pr的方式等。Y為亮度，Cb和Pb為對(duì)(B(藍(lán)色)-Y(亮度))乘上系數(shù)而得的值，Cr和Pr為對(duì)(R(紅色)-Y(亮度))乘上系數(shù)而得的值，Cb和Pb為B-Y信號(hào)，Cr和Pr為R-Y信號(hào)。

例如，對(duì)于R、G、B，通過(guò)以下的式來(lái)表示Y、Cb、Cr。

Y＝0.299＊R+0.587＊G+0.114＊B

Cb＝0.564＊(B-Y)＝-0.169＊R-0.331＊G+0.500＊B

Cr＝0.713＊(R-Y)＝0.500＊R-0.419＊G-0.081＊B

色差方式是對(duì)表示明亮的分量(亮度)、以及表示2個(gè)顏色信號(hào)與亮度信號(hào)的差分的分量(色差)重構(gòu)RGB信號(hào)的方式，因此即使顏色的分辨率變差人類的眼睛也不會(huì)注意到，因此例如在傳輸時(shí)將色差的信息量削減為1/2，從而與RGB相比成為2/3的處理量。

以下，使用例子說(shuō)明該削波電平(限制值)的設(shè)定方法。

首先，說(shuō)明在白平衡處理中求出RGB各信號(hào)的增益的處理。

設(shè)定認(rèn)為是白色的區(qū)域，并且檢測(cè)出所設(shè)定的白色區(qū)域，并在該區(qū)域中進(jìn)行白平衡檢測(cè)。即，在分別對(duì)認(rèn)為是白色的區(qū)域的各像素的色差信號(hào)的B-Y信號(hào)和R-Y信號(hào)進(jìn)行積分的情況下，調(diào)整B-Y信號(hào)和R-Y信號(hào)的增益使這些進(jìn)行積分而得值成為0。或者，調(diào)整各R、G、B信號(hào)的增益使分別對(duì)RGB各信號(hào)進(jìn)行積分而得的值彼此相等。

圖36(a)、(b)表示白平衡檢測(cè)中認(rèn)為是白色的區(qū)域的一例。如圖36(a)所示，在B-Y、R-Y平面上，在成為白色的點(diǎn)的基于色溫度的移動(dòng)軌跡的近旁設(shè)定白色檢測(cè)區(qū)域。此外，如圖36(b)所示那樣，對(duì)亮度信號(hào)電平例如設(shè)定白色檢測(cè)范圍(例如，白色電平(level)的70％以上且不足105％)。在色差方式中，在白色檢測(cè)區(qū)域有色差信號(hào)，并且，亮度信號(hào)位于白色檢測(cè)范圍內(nèi)時(shí)，其像素在白色區(qū)域內(nèi)，對(duì)該區(qū)域內(nèi)的像素的R、G、B各信號(hào)或色差方式的B-Y信號(hào)和R-Y信號(hào)進(jìn)行積分。

或者，調(diào)整各R、G、B信號(hào)的增益使R、G、B的積分值相等。

例如，調(diào)整了R、G、B信號(hào)的增益使R、G、B的積分值相等時(shí)的R、G、B的調(diào)整后的各增益成為表示色溫度信息的信息。在白平衡處理中，通過(guò)將這樣調(diào)整后的RGB的各增益分別乘以所對(duì)應(yīng)的RGB各信號(hào)，能夠得到白平衡處理后的RGB各信號(hào)。

即，白平衡后的RGB各信號(hào)成為

(WB后的R信號(hào))＝(R信號(hào)的增益)×(WB前的R信號(hào))

(WB后的G信號(hào))＝(G信號(hào)的增益)×(WB前的G信號(hào))

(WB后的B信號(hào))＝(B信號(hào)的增益)×(WB前的B信號(hào))。

接著，使用這樣通過(guò)白平衡處理調(diào)整后的RGB各增益，說(shuō)明求出作為要從R(R+IR)、G(G+IR)、B(B+IR)各信號(hào)減去的IR信號(hào)的值的校正值的限制值的方法。另外，要從R(R+IR)、G(G+IR)、B(B+IR)各信號(hào)減去的IR信號(hào)的限制值在R(R+IR)、G(G+IR)、B(B+IR)的各顏色信號(hào)超過(guò)像素飽和電平的狀態(tài)而以像素飽和電平被削波的情況下，是從各顏色信號(hào)減去IR信號(hào)的值時(shí)的成為上限的值。

將像素的飽和電平設(shè)為L(zhǎng)sat、在某色溫度下對(duì)白色拍攝時(shí)，將R信號(hào)相對(duì)于IR信號(hào)的比設(shè)為Kr、將R信號(hào)中的IR信號(hào)的限制值(削波電平)設(shè)為L(zhǎng)clip-R時(shí)，通過(guò)下式來(lái)表示IR信號(hào)的與RGB各信號(hào)對(duì)應(yīng)的限制值(削波電平)。

Lsat＝Lclip-R+Kr＊Lclip-R

Lclip-R＝Lsat/(1+Kr)

同樣地，將G信號(hào)相對(duì)于IR信號(hào)的比設(shè)為Kg、B信號(hào)相對(duì)于IR信號(hào)的比設(shè)為Kb，并且將G信號(hào)中的IR信號(hào)的限制值(削波電平)設(shè)為L(zhǎng)clip-G、將B信號(hào)中的IR信號(hào)的限制值(削波電平)設(shè)為L(zhǎng)clip-B時(shí)，成為

Lclip-G＝Lsat/(1+Kg)

Lclip-B＝Lsat/(1+Kb)。

當(dāng)前，在對(duì)白色進(jìn)行拍攝時(shí)，將G信號(hào)相對(duì)于R信號(hào)的比率設(shè)為Kg/r、B信號(hào)相對(duì)于R信號(hào)的比率設(shè)為Kb/r時(shí)，如上所述為

(WB后的R信號(hào))＝(R信號(hào)的增益)×(WB前的R信號(hào))

(WB后的G信號(hào))＝(G信號(hào)的增益)×(WB前的G信號(hào))

(WB后的B信號(hào))＝(B信號(hào)的增益)×(WB前的B信號(hào))

因此，成為

(WB前的R信號(hào))＝(WB后的R信號(hào))/(R信號(hào)的增益)

(WB前的G信號(hào))＝(WB后的G信號(hào))/(G信號(hào)的增益)

(WB前的B信號(hào))＝(WB后的B信號(hào))/(B信號(hào)的增益)。

此外，相對(duì)于白色，WB后的R信號(hào)、G信號(hào)、B信號(hào)相等。因此，

Kg/r＝(R信號(hào)的增益)/(G信號(hào)的增益)

Kb/r＝(R信號(hào)的增益)/(B信號(hào)的增益)

此外，

Kg＝Kr×Kg/r

Kb＝Kr×Kb/r

因此，成為

Lclip-G＝Lsat/(1+Kr×Kg/r)

Lclip-B＝Lsat/(1+Kr×Kb/r)。

能夠求出IR信號(hào)的紅色的削波電平Lclip-R、綠色的削波電平Lclip-G、藍(lán)色的削波電平Lclip-B。

此外，Kb/r可以作為表示色溫度的參數(shù)而使用。在各顏色溫度中，測(cè)定針對(duì)Kb/r的Kr，預(yù)先存儲(chǔ)在存儲(chǔ)器等中，由此基于通過(guò)白平衡檢測(cè)得到的增益和上述的式，根據(jù)Kb/r和針對(duì)該Kb/r的Kr，能夠決定各顏色校正用IR信號(hào)的削波電平。

此外，如上述那樣進(jìn)行了IR校正(計(jì)算IR信號(hào)的削波電平)的情況下，RGB各信號(hào)的高亮中的信號(hào)飽和電平(從達(dá)到像素飽和電平而被削波的RGB各信號(hào)減去校正后的IR信號(hào)(限制值：削波電平)時(shí)的各信號(hào)的電平)并不一定相同。這成為高亮帶顏色的原因，成為畫(huà)質(zhì)劣化的原因。因此，如圖37(a)、(b)、(c)所示那樣，在白平衡后進(jìn)行校正使RGB的高亮部分以相同電平(RGB削波電平)被削波。由此，消除高亮中帶顏色、亮度的協(xié)調(diào)不自然。

在圖37中，縱軸表示從RGB(R+IR、G+IR、B+IR)各信號(hào)減去了IR信號(hào)時(shí)的輸出電平，橫軸例如表示攝像傳感器1上的Y軸方向的像素的位置或1個(gè)像素的時(shí)間經(jīng)過(guò)。在圖37的各圖表中，在RGB各信號(hào)達(dá)到了像素飽和電平的狀態(tài)下，光源的色溫度不變，且如上述那樣求出的RGB各自的削波電平(限制值)固定的情況下，從像素飽和電平的RGB各信號(hào)減去了以限制值(削波電平)被限制(被削波)的IR信號(hào)的情況下，RGB各信號(hào)的像素飽和電平固定，且與RGB分別對(duì)應(yīng)的IR信號(hào)的各限制值固定，因此減去后的RGB信號(hào)成為固定的狀態(tài)，即以信號(hào)飽和電平被固定的狀態(tài)。但是，如圖37所示，信號(hào)飽和電平根據(jù)RGB而不同，到此為止，在高亮部RGBの信號(hào)的輸出電平不同，因此不會(huì)成為白色。因此，在RGB各信號(hào)中，將信號(hào)飽和電平最低的R信號(hào)的信號(hào)飽和電平設(shè)為共同的RGB削波電平(R信號(hào)飽和電平)，使RGB各信號(hào)的信號(hào)飽和電平與共同的RGB削波電平一致。

即，如圖37(a)所示，從R信號(hào)減去設(shè)有與R信號(hào)對(duì)應(yīng)的削波電平(限制值)的IR信號(hào)，由此將在減去后的R信號(hào)中產(chǎn)生的信號(hào)飽和電平(削波電平)設(shè)為基準(zhǔn)。減去IR信號(hào)后的RGB各信號(hào)的信號(hào)飽和電平中，R信號(hào)的信號(hào)飽和電平最低，因此如上述那樣將R信號(hào)設(shè)為基準(zhǔn)，使減去IR信號(hào)后的G信號(hào)的信號(hào)飽和電平和B信號(hào)的信號(hào)飽和電平如圖37(b)和圖37(c)所示那樣與等于R信號(hào)的信號(hào)飽和電平的RGB削波電平一致地下降，由此使RGB各信號(hào)的減去IR信號(hào)后的信號(hào)飽和電平一致。由此，高亮部的各信號(hào)的高電平相同，能夠防止高亮帶顏色。

另外，在以上說(shuō)明的結(jié)構(gòu)中，設(shè)為對(duì)IR信號(hào)進(jìn)行削波后從R信號(hào)、G信號(hào)、B信號(hào)減去的結(jié)構(gòu)，但在IR信號(hào)成為上述的R信號(hào)、G信號(hào)、B信號(hào)飽和的電平(上述的IR信號(hào)的削波電平)以上時(shí)，也可以通過(guò)乘法器降低IR信號(hào)的增益后從R信號(hào)、G信號(hào)、B信號(hào)減去。這樣，通過(guò)構(gòu)成為控制減去量，也可以防止高亮部的R信號(hào)、G信號(hào)、B信號(hào)的亮度協(xié)調(diào)的不自然。此外，在根據(jù)RGB信號(hào)生成亮度信號(hào)并因RGB信號(hào)的信號(hào)飽和電平的不同而引起帶顏色的部分以上的電平中，也可以通過(guò)使R-Y信號(hào)、B-Y信號(hào)的增益減少，消除顏色的處理，防止帶顏色。

圖38以框圖表示攝像裝置10(圖26中圖示)的信號(hào)處理部12(圖26中圖示)中的信號(hào)處理。來(lái)自攝像傳感器1的R、G、B、IR各像素的輸出信號(hào)(該信號(hào)處理中為來(lái)自攝像傳感器1的輸入信號(hào))，通常若為RAW輸出，則以線順序或點(diǎn)順序輸出R、G、B、IR，因此例如在來(lái)自攝像傳感器1的RAW信號(hào)的輸入部設(shè)置各顏色信號(hào)的同步化電路(省略圖示)。

在該情況下，在同步化電路中通過(guò)內(nèi)插處理(插補(bǔ)處理)，在每個(gè)幀的圖像數(shù)據(jù)中分別對(duì)R、G、B、IR信號(hào)進(jìn)行變換，以便使全部像素成為由紅色R表示的圖像數(shù)據(jù)、使全部像素成為由綠色G表示的圖像數(shù)據(jù)、使全部像素成為由藍(lán)色B表示的圖像數(shù)據(jù)、使全部像素成為由紅外IR表示的圖像數(shù)據(jù)。換言之，在全部像素中，成為輸出R、G、B和IR信號(hào)的狀態(tài)。另外，內(nèi)插處理方法可以使用公知的方法。

即，信號(hào)處理部12具備未圖示的用于進(jìn)行R+IR、G+IR、B+IR和IR的傳感器輸出的同步化電路，圖38的R+IR、G+IR、B+IR和IR各傳感器輸出為經(jīng)過(guò)了同步化電路后的信號(hào)。

信號(hào)處理部12中設(shè)有：限幅器20r、20g、20b，其用于以對(duì)每個(gè)RGB決定的削波電平(限制值)對(duì)從RGB信號(hào)減去的IR信號(hào)進(jìn)行削波；乘法器22r、22g、22b，其用于對(duì)從各限幅器20r、20g、20b輸出的IR信號(hào)乘上校正值來(lái)進(jìn)行校正；減法器23r、23g、23b，其從R+IR、G+IR、B+IR各信號(hào)減去從乘法器22r、22g、22b輸出的被削波的IR信號(hào)；乘法器24r、24g、24b，其對(duì)減去IR信號(hào)后的RGB各信號(hào)乘上白平衡用的RGB各增益；以及限幅器25r、25g、25b，其用于使減去IR信號(hào)且進(jìn)行白平衡后的RGB各信號(hào)中的信號(hào)飽和電平一致。

此外，信號(hào)處理部12具備計(jì)算RGB各信號(hào)的IR信號(hào)的削波電平(限制值)并將其輸出到限幅器20r、20g、20b的控制電路21。此外，控制電路21向乘法器22r、22g、22b輸出校正值，向乘法器24r、24g、24b輸出為了白平衡而計(jì)算出的RGB的各增益，向限幅器25r、25g、25b輸出用于使RGB各信號(hào)的信號(hào)飽和電平一致的RGB削波電平(R信號(hào)飽和電平)。此外，信號(hào)處理部具備用于根據(jù)來(lái)自信號(hào)處理部12的RGB的輸出信號(hào)求出白平衡用增益的白平衡檢測(cè)電路26。

作為IR傳感器輸出的IR信號(hào)，被分別發(fā)送到設(shè)置在信號(hào)處理部12上的R用限幅器20r、G用限幅器20g、B用限幅器20b，如上所述，以對(duì)每個(gè)顏色設(shè)定的IR信號(hào)用限制值(削波電平)被削波。

此時(shí)，通過(guò)控制電路21算出的IR信號(hào)的上述紅色的削波電平Lclip-R、綠色的削波電平Lclip-G和藍(lán)色的削波電平Lclip-B分別被輸出到對(duì)應(yīng)的R用限幅器20r、G用限幅器20g、B用限幅器20b，分別成為R用限幅器20r、G用限幅器20g、B用限幅器20b的限幅值。由此，關(guān)于IR信號(hào)，通過(guò)各限幅器20r、20g、20b，以削波電平對(duì)超過(guò)削波電平(限制值)的輸出電平進(jìn)行削波。

此外，從R用限幅器20r、G用限幅器20g、B用限幅器20b輸出的各值為要從RG各信號(hào)減去的IR信號(hào)，但通過(guò)乘法器22r、22g、22b對(duì)該IR各信號(hào)乘上從控制電路21輸出的校正值。在本結(jié)構(gòu)中，包含在R像素、G像素、B像素中的IR分量大致為與IR像素相同的電平，但由于R像素、G像素、B像素各個(gè)的開(kāi)口差，或者，傳感器內(nèi)部的放大增益的波動(dòng)等，有可能在信號(hào)電平中多少產(chǎn)生誤差。即，從限幅器20r、20g、20b輸出的值，例如有比必要的值稍微大的趨勢(shì)，與RGB各信號(hào)對(duì)應(yīng)地通過(guò)乘法器22r、22g、22b乘以校正值來(lái)進(jìn)行校正。

減法器23r、23g、23b從R+IR、G+IR、B+IR各信號(hào)減去這樣被削波并被校正后的與RGB對(duì)應(yīng)的IR信號(hào)。各乘法器24r、24g、24b對(duì)從各減法器23r、23g、23b輸出的信號(hào)乘上通過(guò)白平衡處理算出的RGB的各增益來(lái)進(jìn)行白平衡。向各乘法器24r、24g、24b輸入根據(jù)由白平衡檢測(cè)電路26檢測(cè)出的各RGB的信號(hào)通過(guò)控制電路21計(jì)算出的RGB各自的增益。此外，從各乘法器24r、24g、24b輸出的RGB各信號(hào)減去被削波的IR信號(hào)而成為被削波的狀態(tài)。

即，在RGB各信號(hào)以像素飽和電平被削波的狀態(tài)下，如上述那樣減去被以限制值限制的IR信號(hào)時(shí)，以從像素飽和電平減去限制值而得的值即信號(hào)飽和電平被削波。當(dāng)這些RGB各信號(hào)的信號(hào)飽和電平不同時(shí)，在高亮部帶有顏色，因此為了使RGB各信號(hào)飽和電平一致，限幅器25r、25g、25b設(shè)置限幅值以便在RGB各信號(hào)中成為相同的RGB削波電平。在此，以RGB削波電平為限幅值，使R信號(hào)的信號(hào)飽和電平與G信號(hào)和B信號(hào)的削波電平一致。

以R(R+IR)信號(hào)為例說(shuō)明上述那樣的信號(hào)處理。將從攝像傳感器1輸出的R信號(hào)設(shè)為通過(guò)同步化電路被內(nèi)插而在攝像傳感器1中作為圖像而利用的全部像素中的每個(gè)像素的R信號(hào)。同樣地，G信號(hào)、B信號(hào)、IR信號(hào)也通過(guò)同步化電路來(lái)處理，并被設(shè)為作為圖像而利用的全部像素中的每個(gè)像素的G信號(hào)、B信號(hào)、IR信號(hào)。

將IR信號(hào)發(fā)送給限幅器20r。向限幅器20r輸出通過(guò)控制電路21如上述那樣算出的R信號(hào)用IR信號(hào)的限制值即Lclip-R，其成為限幅器20r的限幅值。因此，通過(guò)了限幅器20r的IR信號(hào)通過(guò)限制值被削波以便成為削平。即，超過(guò)限制值的IR信號(hào)的輸出電平成為限制值。

這樣以限制值被削波的IR信號(hào)被發(fā)送到乘法器22r，乘上通過(guò)控制電路21算出的(或存儲(chǔ)的)校正值而被校正后發(fā)送倒減法器23r。向減法器23r輸入上述被同步化的R信號(hào)，并且輸入如上述那樣被限制且校正后的IR信號(hào)，從R信號(hào)減去IR信號(hào)的值。接著，減去IR信號(hào)后的R信號(hào)被發(fā)送到乘法器24r。向乘法器24r輸入R信號(hào)和通過(guò)上述的白平衡檢測(cè)電路26和控制電路21求出的R信號(hào)的增益，并對(duì)R信號(hào)乘上增益。

從乘法器24r輸出進(jìn)行白平衡處理后的R信號(hào)。將該R信號(hào)輸入到限幅器25r。從控制電路21將上述的RGB削波電平發(fā)送給限幅器25r，將該RGB削波電平設(shè)為限幅值，超過(guò)RGB削波電平的R信號(hào)被削波。但是，在該信號(hào)處理部12中，RGB削波電平與R信號(hào)飽和電平相等，減去IR信號(hào)后的R信號(hào)已是以R信號(hào)飽和電平被削波的狀態(tài)，因此關(guān)于R信號(hào)，限幅器25r的處理并不是必須的。另外，G信號(hào)和B信號(hào)在限幅器25g、25b中與R信號(hào)的飽和電平相等，將RGB削波電平作為限幅值。而以RGB削波電平被削波。

同樣地，G信號(hào)、B信號(hào)被處理，處理后的RGB各信號(hào)如圖1所示那樣作為可見(jiàn)光的彩色圖像的輸出信號(hào)14而被輸出。此外，IR信號(hào)經(jīng)過(guò)同步化電路后，作為紅外光圖像的輸出信號(hào)15而被輸出。另外，作為紅外圖像信號(hào)而輸出的IR信號(hào)不會(huì)以上述的限制值被限制。

圖39所示的框圖是圖38所示的框圖的變形例。圖39所示的框圖與圖38所示的框圖的區(qū)別在于，在圖38所示的框圖中，在白平衡用乘法器24r、24g、24b后配置有用于使減去IR信號(hào)后的各RGB信號(hào)的信號(hào)飽和電平一致的限幅器25r、25g、25b，與此相對(duì)，在圖39中，在用于使減去IR信號(hào)后的各RGB信號(hào)的削波電平一致的限幅器25r、25g、25b后配置有白平衡用乘法器24r、24g、24b。

由此，在圖38中，在進(jìn)行白平衡后的RGB各信號(hào)中使信號(hào)飽和電平一致，與此相對(duì)，在圖39中，使RGB各信號(hào)的信號(hào)飽和電平一致后進(jìn)行白平衡處理。

根據(jù)這樣的攝像處理系統(tǒng)和攝像處理方法，通過(guò)使用DBPF5不需要切換紅外截止濾波器的使用、非使用，在能夠進(jìn)行可見(jiàn)光下的彩色拍攝和紅外光下的拍攝的照相機(jī)(攝像裝置)中，如上述那樣，能夠防止高亮部的亮度下降和高亮部不是白色而是成為帶顏色的狀態(tài)。

接著，對(duì)第7實(shí)施方式進(jìn)行說(shuō)明。在上述的第6實(shí)施方式中，說(shuō)明了使用RGB-IR彩色濾光片時(shí)的削波電平(控制值)，但在本實(shí)施方式中，對(duì)RGB-C的削波電平進(jìn)行說(shuō)明。

在RFB-IR的攝像傳感器1中，相對(duì)于在RGB各信號(hào)中包含IR分量，IR信號(hào)僅為IR分量，因此即使RGB各信號(hào)飽和IR信號(hào)也不飽和。在此，RGB信號(hào)飽和后去除電平變高的IR分量時(shí)，如上述那樣RGB達(dá)到飽和后去除IR分量，由此下降至飽和電平以下，并且基本上IR光量越多，則RGB的飽和后的值越低。

與此相對(duì)，在RGB-C的攝像傳感器1中，在可見(jiàn)光波段成為C＝R+G+B，因此使RGB與范圍對(duì)應(yīng)的情況下，如圖40所示，C像素達(dá)到飽和電平。

在該情況下，C像素達(dá)到飽和電平時(shí)，在可見(jiàn)光波段成為C＜R+G+B。由此，在如上述那樣通過(guò)計(jì)算求出IR’的情況下，成為IR’＝IR+(R+G+B-C)/2，因此在C達(dá)到飽和電平時(shí)，(R+G+B-C)大于0，因此如圖41所示，通過(guò)計(jì)算求出的IR’＞實(shí)際的IR。

這樣C達(dá)到飽和電平時(shí)，從R、G、B、C去除通過(guò)計(jì)算求出的IR’分量時(shí)，關(guān)于C，雖然以飽和電平信號(hào)電平成為削平，但I(xiàn)R分量在C達(dá)到飽和電平后有可能上升，并且，C飽和后，如圖41所示那樣成為IR’＞IR，因此將其從飽和的C去除時(shí)，如圖42所示那樣，實(shí)際光量水平變高時(shí)信號(hào)電平下降。此外，C以外的RGB的信號(hào)電平也在飽和后成為IR’＞IR，因此沒(méi)有達(dá)到C那樣的程度，但是，有可能隨著實(shí)際光量水平變高，信號(hào)電平下降。

因此，在第7實(shí)施方式中，以各信號(hào)不成為預(yù)定值以上的方式進(jìn)行削波，并且，從該RGB各信號(hào)分離IR信號(hào)。

首先，檢測(cè)R/G/B/W/IR的信號(hào)電平。

接著，如下所示地求出R、G、B、W中的削波電平。

(W削波電平)＝(通過(guò)W像素(C像素)的飽和電平算出)

(R削波電平)＝(W削波電平)(R電平+IR電平)/(W電平+IR電平)

(G削波電平)＝(W削波電平)(G電平+IR電平)/(W電平+IR電平)

(B削波電平)＝(W削波電平)(B電平+IR電平)/(W電平+IR電平)

在檢測(cè)W的信號(hào)電平時(shí)，該信號(hào)電平成為削平，根據(jù)其以下的飽和電平計(jì)算出W削波的電平。通過(guò)上述公式算出RGB各削波電平，通過(guò)W電平達(dá)到飽和電平來(lái)計(jì)算出削波電平。

在進(jìn)行這樣的削波處理的情況下，上述的分離裝置51成為如圖43所示那樣的框圖。在顏色分離裝置61中通過(guò)內(nèi)插法等，各像素的R、G、B、W的信號(hào)電平被分離后發(fā)送給電平檢測(cè)/削波電平計(jì)算裝置63和削波處理裝置62。在電平檢測(cè)/削波電平計(jì)算裝置63中，根據(jù)上述的公式和檢測(cè)出的R、G、B、W的電平，計(jì)算出R、G、B、W的各削波電平。將通過(guò)削波電平計(jì)算裝置63計(jì)算出的R、G、B、W各自的削波電平發(fā)送給削波處理裝置62，在輸入到削波處理裝置62的R、G、B、W的信號(hào)電平超過(guò)削波電平的情況下進(jìn)行限幅的處理。將這樣的從削波處理裝置62輸出的R、G、B、W的信號(hào)電平輸入到IR校正/IR生成裝置64中。在IR校正/IR生成裝置64中，從R、G、B、W各信號(hào)去除IR信號(hào)，并且生成IR信號(hào)。

如圖44所示那樣，削波電平計(jì)算裝置63根據(jù)通過(guò)顏色分離裝置61分離后的R、G、B、W的各信號(hào)電平，通過(guò)IR矩陣裝置66求出IR信號(hào)電平，向IR校正裝置67輸入IR信號(hào)和包含IR分量的R、G、B、W的各信號(hào)電平，進(jìn)行從R、G、B、W的各信號(hào)電平去除IR信號(hào)電平的IR校正。

從IR矩陣裝置66向電平檢測(cè)裝置68輸入IR的信號(hào)電平，從IR校正裝置67向電平檢測(cè)裝置68輸入去除IR分量后的R、G、B、W的各信號(hào)電平。

通過(guò)電平檢測(cè)裝置68檢測(cè)出的R、G、B、W、IR的各信號(hào)電平被輸入到削波電平計(jì)算裝置69，在削波電平計(jì)算裝置69中如上述那樣計(jì)算出R、G、B、W的各信號(hào)電平的削波電平。

根據(jù)這樣求出的R、G、B、W的各削波電平，在削波處理裝置62中，在R、G、B、W的各信號(hào)電平超過(guò)削波電平的情況下，如圖45所示那樣，以削波電平將各信號(hào)電平設(shè)為削平。

根據(jù)這樣被削波的R、G、B、W的各信號(hào)，與上述的第3實(shí)施方式同樣地，求出IR分量，并且從包含IR分量的R、G、B、W信號(hào)分離IR分量。此時(shí)，如圖46所示那樣通過(guò)計(jì)算求出的IR信號(hào)也以W成為飽和電平時(shí)的IR的信號(hào)電平被削波而成為削平狀態(tài)。由此，如圖47所示那樣，從R、G、B、W各信號(hào)電平去除IR分量后，也成為以IR分量去除后的削波電平被削波的狀態(tài)。

在該情況下，從R、G、B、W各信號(hào)電平求出的亮度信號(hào)也成為被削波的狀態(tài)。因此，如圖48所示那樣，通過(guò)使用進(jìn)行顏色分離、IR分離、IR校正的分離裝置51的變形例，能夠防止亮度電平被削波，W像素達(dá)到飽和電平后也能夠使飽和電平保持協(xié)調(diào)。

在該分離裝置51的變形例中，如圖48所示那樣，在顏色分離裝置61中通過(guò)內(nèi)插法等各像素的R、G、B、W的信號(hào)電平被分離后，被發(fā)送給電平檢測(cè)/削波電平計(jì)算/IR信號(hào)生成裝置63和削波處理裝置62。在電平檢測(cè)/削波電平計(jì)算裝置63中，通過(guò)上述的公式和檢測(cè)出的R、G、B、W的電平，計(jì)算出R、G、B、W的各削波電平。將通過(guò)削波電平計(jì)算裝置63計(jì)算出的R、G、B、W各自的削波電平發(fā)送給削波處理裝置62，在輸入到削波處理裝置62的R、G、B、W的信號(hào)電平超過(guò)削波電平的情況下進(jìn)行削波的處理。將這樣的從削波處理裝置62輸出的R、G、B、W的信號(hào)電平輸入到第1IR校正/IR生成裝置64中。在第1IR校正/IR生成裝置64中，從被削波的R、G、B、W各信號(hào)去除IR信號(hào)，并且生成IR信號(hào)。將通過(guò)第1IR校正/IR生成裝置64求出的RGB信號(hào)作為顏色信號(hào)，例如色差信號(hào)而使用。

此外，該變形例具有第2IR校正/IR生成裝置65。從顏色分離裝置61向第2IR校正/IR生成裝置65輸入沒(méi)有被削波的R、G、B、W信號(hào)，進(jìn)行IR生成和IR校正，輸出去除IR分量后的RGB信號(hào)。在此，RGB信號(hào)與W信號(hào)相比成為難以達(dá)到飽和電平的信號(hào)，難以削平。通過(guò)在亮度的計(jì)算中使用該RGB信號(hào)，如圖49所示那樣，能夠防止亮度電平被削波，即使在亮度高的狀態(tài)下雖然亮度多少被削波，但是也能夠保持協(xié)調(diào)。

接著，對(duì)第8實(shí)施方式進(jìn)行說(shuō)明。在第8實(shí)施方式中，與第7實(shí)施方式同樣地決定R、G、B、W各信號(hào)的削波電平。在第8實(shí)施方式中，與第7實(shí)施方式同樣地不決定R、G、B各信號(hào)的削波電平，而決定IR信號(hào)和W信號(hào)的削波電平，如圖50所示那樣，通過(guò)由限幅處理以控制值被削波的IR信號(hào)來(lái)進(jìn)行IR校正。

根據(jù)W的飽和電平設(shè)定W的削波電平。

(W削波電平)＝(通過(guò)W像素(C像素)的飽和電平計(jì)算出)

根據(jù)以下的公式?jīng)Q定IR的削波電平。

(IR削波電平)＝(W削波電平)(IR電平)/(W電平+IR電平)

由此，如圖50所示那樣，W的信號(hào)相對(duì)于達(dá)到飽和電平的W的信號(hào)電平略飽和時(shí)，在上述那樣去除被削波的IR信號(hào)電平的情況下，W的信號(hào)電平以低于飽和電平的信號(hào)電平被削波。

在進(jìn)行從RGB各信號(hào)電平去除被削波的IR信號(hào)的校正的情況下，當(dāng)設(shè)為RGB各信號(hào)電平在使用條件的范圍內(nèi)達(dá)不到飽和電平時(shí)，如圖51所示那樣，RGB各信號(hào)電平在去除IR信號(hào)的情況下，IR信號(hào)達(dá)到削波電平后，RGB的信號(hào)電平也可能上升，因此RGB各信號(hào)有可能不被削波而上升。

在第8實(shí)施方式的圖52所示的分離裝置51中，在顏色分離裝置61中通過(guò)內(nèi)插法等各像素的R、G、B、W的信號(hào)電平被分離后，向IR信號(hào)生成裝置71和IR校正裝置64輸出分離后的R、G、B、W信號(hào)。在IR信號(hào)生成裝置71中求出生成的IR信號(hào)的削波電平，將超過(guò)削波電平時(shí)被削波的IR信號(hào)輸出到IR校正裝置64。在IR校正裝置64中，從R、G、B、W各信號(hào)電平去除IR信號(hào)。

如圖53所示那樣，在IR信號(hào)生成裝置71中，從顏色分離裝置61將R、G、B、W各信號(hào)發(fā)送給IR校正裝置72和IR矩陣裝置73，將通過(guò)IR矩陣裝置73生成的IR信號(hào)輸出到IR校正裝置72和限幅處理裝置74，在IR校正裝置72中進(jìn)行從R、G、B、W各信號(hào)電平去除IR信號(hào)的IR校正，將校正后的R、G、B、W信號(hào)和IR信號(hào)發(fā)送給電平檢測(cè)裝置75，將R、G、B、W信號(hào)和IR信號(hào)發(fā)送給限幅電平計(jì)算裝置76，將IR信號(hào)的限幅電平(削波電平)輸入到限幅處理裝置74中。從IR矩陣裝置73向限幅處理裝置74輸入IR信號(hào)電平，在IR信號(hào)電平超過(guò)限幅電平的情況下，成為被削波為限幅電平的狀態(tài)。

在這樣的第8實(shí)施方式中，與第7實(shí)施方式同樣地，能夠防止在R、G、B、W的信號(hào)電平上升的狀態(tài)下反而下降的情況，并且即使在W的信號(hào)電平飽和的狀態(tài)下，也能夠使RGB各信號(hào)電平保持協(xié)調(diào)。此外，由此亮度信號(hào)也能夠在W的信號(hào)電平飽和的狀態(tài)下保持協(xié)調(diào)。

另外，可以將亮度信號(hào)的生成式設(shè)為

Y＝(Kr＊R+Kg＊G+Kb＊B+Kw＊W)+Kir＊IR。

通過(guò)改變IR的比率，能夠控制靈敏度。另外，在夜間，在進(jìn)行IR照明的情況下，沒(méi)有可見(jiàn)信號(hào)，全部像素是IR信號(hào)。在該情況下，關(guān)閉IR校正，從全部像素的信號(hào)生成亮度信號(hào)，由此能夠以高分辨率生成高靈敏度的亮度信號(hào)。在照相機(jī)內(nèi)內(nèi)置有IR照明的情況下，與此協(xié)作地切換信號(hào)處理。

此時(shí)的IR照明時(shí)的亮度生成式為

Y＝Kr＊R+Kg＊G+Kb＊B+Kw＊W(關(guān)閉IR校正)。

另外，在各像素中，透過(guò)DBPF5的第2波段和各濾光片的紅外照明的光的受光量變得比可見(jiàn)光波段的受光量多，基本上，各像素成為輸出紅外光的信號(hào)電平的狀態(tài)。

符號(hào)說(shuō)明

1 攝像傳感器、

2 攝像傳感器本體、

3 彩色濾光片(濾光片)、

3a 彩色濾光片(濾光片)、

3b 彩色濾光片(濾光片)、

3c 彩色濾光片(濾光片)、

5 DBPF(光學(xué)濾光片：濾光片)、

A 第3波段、

B 第4波段、

IR 第1波段、

DBPF (IR)第2波段、

DBPF (VR)可見(jiàn)光波段。