本發(fā)明涉及一種成像裝置、成像系統(tǒng)和信號處理方法。
背景技術(shù)：
：在單板型固態(tài)成像器件中，為了獲得彩色圖像，濾色器(CF)按預(yù)定圖案排列在像素上，每個(gè)CF被配置為發(fā)送特定波長分量的光，例如，紅色(R)、綠色(G)或藍(lán)色(B)光。作為CF圖案，使用具有所謂的Bayer陣列的圖案。在下面，在其中布置R的CF的像素被稱為“R像素”，在其中布置G的CF的像素被稱為“G像素”，在其中布置B的CF的像素被稱為“B像素”，在其中不布置CF的像素被稱為“W像素”。W像素也被稱為“白色像素”。另外，R像素、G像素和B像素有時(shí)統(tǒng)稱為“RGB像素”或“顏色像素”。顏色分量中的任何一個(gè)的信號從單板型固態(tài)成像器件的每個(gè)像素輸出。因此，輸出信號需要進(jìn)行顏色插值處理以產(chǎn)生所有顏色分量的信號。例如，在Bayer陣列中，當(dāng)對象的空間頻率高時(shí)，云紋和錯(cuò)誤顏色可能由于進(jìn)行顏色插值處理而發(fā)生。在日本專利申請公開No.2013-197613中，公開了用于在抑制云紋和錯(cuò)誤顏色的發(fā)生的同時(shí)防止運(yùn)動圖像中的分辨率感覺降低的技術(shù)。在日本專利申請公開No.2013-197613中公開的成像裝置中，進(jìn)行用于空間地移位用于每種顏色的加權(quán)求和的位置的處理，以便緩解由于運(yùn)動圖像變薄而導(dǎo)致的錯(cuò)誤顏色的影響。然而，在表現(xiàn)出RGB像素的空間布置的粗略周期的CF陣列中，難以充分地抑制錯(cuò)誤顏色。此外，當(dāng)運(yùn)動圖像被獲取時(shí)，對象的移動使錯(cuò)誤顏色的空間圖案隨著時(shí)間而改變。因此，錯(cuò)誤顏色表現(xiàn)為閃爍，該閃爍引起圖像質(zhì)量的降低。技術(shù)實(shí)現(xiàn)要素：根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種被配置為對從成像器件接收的像素信號進(jìn)行信號處理的成像裝置，所述成像器件包括：包括多個(gè)像素的第一像素組，每個(gè)像素被配置為輸出基于具有第一波長帶的光的第一像素信號，所述第一波長帶至少包括與綠色對應(yīng)的波長帶；以及包括多個(gè)像素的第二像素組，每個(gè)像素被配置為輸出基于具有比第一波長帶窄的波長帶的光和具有不同于第一波長帶的波長帶的光中的一種光的第二像素信號，所述成像裝置包括：第一信號處理單元，被配置為通過對每個(gè)幀中的第一像素信號執(zhí)行通過使用一個(gè)幀中的已經(jīng)從第一像素組輸出的第一像素信號產(chǎn)生第一數(shù)據(jù)的處理，來產(chǎn)生多個(gè)幀上的第一數(shù)據(jù)，第一數(shù)據(jù)是通過在第二像素組中對與第一波長帶對應(yīng)的像素信號插值獲得的；第二信號處理單元，被配置為通過使用多個(gè)幀中的已經(jīng)從第二像素組輸出的第二像素信號來產(chǎn)生所述多個(gè)幀上的第二數(shù)據(jù)；以及信號組合單元，被配置為通過組合所述多個(gè)幀上的第一數(shù)據(jù)和所述多個(gè)幀上的第二數(shù)據(jù)來產(chǎn)生圖像。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種用于對從成像器件接收的像素信號進(jìn)行信號處理的信號處理方法，所述成像器件包括：包括多個(gè)像素的第一像素組，每個(gè)像素被配置為輸出基于具有第一波長帶的光的第一像素信號，所述第一波長帶至少包括與綠色對應(yīng)的波長帶；以及包括多個(gè)像素的第二像素組，每個(gè)像素被配置為輸出基于具有比第一波長帶窄的波長帶的光和具有不同于第一波長帶的波長帶的光中的一種光的第二像素信號，所述信號處理方法包括：通過對每個(gè)幀中的第一像素信號執(zhí)行通過使用一個(gè)幀中的已經(jīng)從第一像素組輸出的第一像素信號產(chǎn)生第一數(shù)據(jù)的處理，來產(chǎn)生多個(gè)幀上的第一數(shù)據(jù)，第一數(shù)據(jù)是通過在第二像素組中對與第一波長帶對應(yīng)的像素信號插值獲得的；通過使用多個(gè)幀中的已經(jīng)從第二像素組輸出的第二像素信號來產(chǎn)生所述多個(gè)幀上的第二數(shù)據(jù)；以及通過組合所述多個(gè)幀上的第一數(shù)據(jù)和所述多個(gè)幀上的第二數(shù)據(jù)來產(chǎn)生圖像。從以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的進(jìn)一步的特征將變得清楚。附圖說明圖1是根據(jù)本發(fā)明的第一實(shí)施例的成像裝置的框圖。圖2是根據(jù)第一實(shí)施例的成像器件的框圖。圖3是根據(jù)第一實(shí)施例的成像器件和列放大單元的電路圖。圖4A、4B和4C是用于例示說明使用RGB的濾色器陣列的例子的示圖。圖5A、5B、5C和5D是用于例示說明使用互補(bǔ)色的濾色器陣列的例子的示圖。圖6是根據(jù)第一實(shí)施例的成像裝置的信號處理單元的框圖。圖7A和7B是用于例示說明根據(jù)第一實(shí)施例的幀間處理的例子的示圖。圖8A、8B、8C、8D和8E是用于例示說明并且示出根據(jù)第一實(shí)施例的幀間處理的動作的示圖和曲線圖。圖9是用于示出根據(jù)第一實(shí)施例的成像裝置的評估結(jié)果的表格。圖10是根據(jù)本發(fā)明的第二實(shí)施例的成像裝置的信號處理單元的框圖；圖11是用于示出根據(jù)第二實(shí)施例的成像裝置的評估結(jié)果的表格。圖12是根據(jù)本發(fā)明的第三實(shí)施例的成像裝置的信號處理單元的框圖。圖13是根據(jù)本發(fā)明的第四實(shí)施例的成像裝置的信號處理單元的框圖。圖14是根據(jù)本發(fā)明的第五實(shí)施例的成像裝置的信號處理單元的框圖。圖15是根據(jù)本發(fā)明的第六實(shí)施例的成像裝置的信號處理單元的框圖。圖16是根據(jù)本發(fā)明的第七實(shí)施例的成像裝置的信號處理單元的 框圖。圖17是用于例示說明根據(jù)本發(fā)明的第八實(shí)施例的成像系統(tǒng)的配置的例子的示圖。具體實(shí)施方式現(xiàn)在，參照附圖來描述根據(jù)本發(fā)明的每個(gè)實(shí)施例的成像裝置。(第一實(shí)施例)圖1是根據(jù)本發(fā)明的第一實(shí)施例的成像裝置的框圖。該成像裝置包括成像器件1和信號處理單元2。成像器件1是所謂的單板顏色傳感器，在該單板顏色傳感器中，濾色器布置在CMOS圖像傳感器上或CCD圖像傳感器上。當(dāng)用單板顏色傳感器形成彩色圖像時(shí)，如稍后描述的那樣，需要進(jìn)行插值。例如，R像素沒有G或B的信息(像素值)。因此，基于R像素周圍的G和B的像素值，通過插值處理來產(chǎn)生R像素中的G和B的像素值。成像器件1包括按矩陣形狀排列的多個(gè)像素，例如，包括2073600個(gè)像素，在列方向上總共1920個(gè)像素，在行方向上總共1080個(gè)像素。成像器件1的像素的數(shù)量不限于此，可以是更多像素或更少像素。成像器件1和信號處理單元2可以安裝在同一個(gè)芯片上，或者可以安裝在另一個(gè)芯片或裝置上。另外，成像裝置可能不一定包括成像器件1，成像裝置包括被配置為對從成像器件1接收的像素信號(原始數(shù)據(jù))進(jìn)行處理的信號處理單元2就足夠了。根據(jù)該實(shí)施例的CF具有圖1中所示的RGBW12陣列。在RGBW12陣列中，4×4像素陣列是重復(fù)的，并且各顏色之間的像素的數(shù)量的比率為R:G:B:W＝1:2:1:12。在RGBW12陣列中，作為顏色像素的R、G和B像素均被八個(gè)W像素包圍，并且W像素的比例占所有像素的3/4。換句話說，RGBW12陣列包括作為第一像素組的W像素，并且包括作為第二像素組的彩色像素(RGB像素)。第一像素組的像素的數(shù)量的總和是第二像素組的像素的數(shù)量的總和的三倍或更多倍(大于兩倍或更多倍)，并且第二像素組具有比第一像素組少的分辨率信息。注意，成像器件1可以不僅包括有效像素，而且還包括不 輸出圖像的像素，諸如光學(xué)黑色像素和不包括光電轉(zhuǎn)換器的啞像素。然而，光學(xué)黑色像素或啞像素不包括在第一像素組或第二像素組中。與RGB像素相比，W像素具有更寬的頻譜靈敏度特性和更高的靈敏度。W像素基于具有第一波長帶的光輸出第一像素信號，第一波長帶至少包括與綠色對應(yīng)的波長，并且還包括紅色和藍(lán)色的波長帶。RGB像素基于具有比第一波長帶窄的波長帶的光輸出第二像素信號。第二像素組包括RGB像素，因此應(yīng)理解，第二像素組包括具有相互不同波長帶的光的像素。在RGBW12陣列中，W像素布置在每個(gè)RGB像素周圍，因此，RGB像素的位置上的W像素值可以被以高準(zhǔn)確度插值。W像素占所有像素的3/4，因此靈敏度可以得到改進(jìn)。該實(shí)施例對于在其中用于獲得分辨率信息的像素占所有像素的一半或更多的成像器件1尤其有效。信號處理單元2包括預(yù)處理單元203、用作第一信號處理單元的亮度信號處理單元204、用作第二信號處理單元的顏色信號處理單元205以及信號組合單元206。從成像器件1接收的像素信號輸入到預(yù)處理單元203。預(yù)處理單元203對像素信號執(zhí)行各種種類的校正，包括偏移校正和增益校正。當(dāng)從成像器件1輸出的像素信號是模擬信號時(shí)，預(yù)處理單元203可以執(zhí)行A/D轉(zhuǎn)換。預(yù)處理單元203對輸入像素信號Din適當(dāng)?shù)貓?zhí)行校正，諸如偏移(OFFSET)校正和增益(GAIN)校正以產(chǎn)生校正的像素信號Dout。該處理通常用以下表達(dá)式表達(dá)。Dout＝(Din-OFFSET)·GAIN該校正可以以各種電路為單位進(jìn)行。例如，可以對每個(gè)像素進(jìn)行校正。另外，可以對列放大器、模數(shù)轉(zhuǎn)換單元(ADC)和輸出放大器的電路中的每個(gè)進(jìn)行校正。通過校正，減小所謂的固定圖案噪聲，并且可以獲得質(zhì)量更高的圖像。預(yù)處理單元203分離用于分辨率信息的W的像素信號(亮度信號)和用于顏色信息的RGB的像素信號(顏色信號)，以將亮度信號輸出到亮度信號處理單元204并且將顏色信 號輸出到顏色信號處理單元205。亮度信號處理單元204可以以高準(zhǔn)確度在RGBW12陣列中對亮度信號插值。即，在RGBW12陣列中，存在用于獲得分辨率信息的大量W像素，因此可以獲得具有比棋盤格圖案的CF陣列更高的空間頻率(即，更精細(xì)的間距)的信息。在下面，通過插值產(chǎn)生的W像素被表示為iW。已經(jīng)進(jìn)行了用于插值的信號處理的iW的像素值被輸入到顏色信號處理單元205。顏色信號處理單元205對RGB像素進(jìn)行幀間平均化處理和錯(cuò)誤顏色校正，并且產(chǎn)生將用于組合亮度信號和顏色信號的顏色比率信息。錯(cuò)誤顏色校正通過使用RGB的像素值和被亮度信號處理單元204處理的像素值(即，iW的插值的像素值)來進(jìn)行。信號組合單元206將亮度信號處理單元204產(chǎn)生的亮度信號和顏色信號處理單元205產(chǎn)生的顏色信號組合以產(chǎn)生通過將每個(gè)像素表達(dá)為RGB的像素值而獲得的圖像信號。圖2是根據(jù)該實(shí)施例的成像器件1的框圖。成像器件1包括圖像拾取區(qū)101、垂直掃描電路102、列放大單元103、水平掃描電路104以及輸出單元105。如上所述，圖像拾取區(qū)101具有按矩陣形狀布置的像素100，并且包括用于亮度信號的第一像素組和用于顏色信號的第二像素組。垂直掃描電路102供給用于在導(dǎo)通狀態(tài)(傳導(dǎo)狀態(tài))和截止?fàn)顟B(tài)(非傳導(dǎo)狀態(tài))之間控制像素100的晶體管的控制信號。垂直信號線106被提供給像素100的每列，并且逐列地從像素100讀取信號。水平掃描電路104包括連接到每列的放大器的開關(guān)，并且供給用于在閉合狀態(tài)和斷開狀態(tài)之間控制開關(guān)的控制信號。輸出單元105由緩沖放大器或差分放大器形成，并且將從列放大單元103接收的像素信號輸出到成像器件1外部的信號處理單元2。輸出的像素信號被信號處理單元2進(jìn)行處理，諸如輸入數(shù)據(jù)的模數(shù)轉(zhuǎn)換和校正。注意，成像器件1也可以是所謂的包括模數(shù)轉(zhuǎn)換電路的數(shù)字傳感器。像素100包括用于控制頻譜靈敏度特性的CF，并且在該實(shí)施例中，布置了RGBW12的CF。圖3是根據(jù)該實(shí)施例的成像器件1的像素100和列放大單元103的電路圖。在這種情況下，為了便于描述，例示說明了與列放大單元103內(nèi)的一個(gè)列和一個(gè)像素100對應(yīng)的電路。像素100包括光電PD、雜散擴(kuò)散電容FD、轉(zhuǎn)移晶體管M1、重置晶體管M2、放大晶體管M3以及選擇晶體管M4。注意，像素100也可以被配置為使得多個(gè)光電PD共享雜散擴(kuò)散電容FD、重置晶體管M2、放大晶體管M3以及選擇晶體管M4。此外，晶體管M2至M4不限于N溝道MOS，也可以由P溝道MOS形成。光電PD被配置為將施加的光光電轉(zhuǎn)換為電子(電荷)。信號TX被供給轉(zhuǎn)移晶體管M1的柵極，并且當(dāng)信號TX被設(shè)置為高電平時(shí)，轉(zhuǎn)移晶體管M1將在光電PD中產(chǎn)生的電荷轉(zhuǎn)移到雜散擴(kuò)散電容FD。雜散擴(kuò)散電容FD用作轉(zhuǎn)移晶體管M1的漏極端子，并且可以保存從光電PD經(jīng)由轉(zhuǎn)移晶體管M1轉(zhuǎn)移的電荷。信號RES被供給重置晶體管M2的柵極，并且當(dāng)信號RES被設(shè)置為高電平時(shí)，重置晶體管M2將雜散擴(kuò)散電容FD的電壓重置為重置電壓VDD。當(dāng)轉(zhuǎn)移晶體管M1和重置晶體管M2同時(shí)導(dǎo)通時(shí)，光電PD的電子被重置。放大晶體管M3的柵極連接到雜散擴(kuò)散電容FD。放大晶體管M3的源極經(jīng)由選擇晶體管M4電連接到每列共用的垂直信號線106的節(jié)點(diǎn)PDOUT以形成源極跟隨器。信號SEL被施加于選擇晶體管M3的柵極，并且當(dāng)信號SEL被設(shè)置為高電平時(shí)，垂直信號線106和放大晶體管M3彼此電連接。就該布置而言，像素信號是從被選像素100讀取的。將被供給像素100的信號TX、信號RES和信號SEL從垂直掃描電路102輸出。垂直掃描電路102控制這些信號的信號電平，從而以行為單位掃描像素100。電流源107經(jīng)由垂直信號線106將電流供給像素100，垂直信號線106經(jīng)由被信號PL驅(qū)動的開關(guān)SW0連接到列放大單元103。列放大電路103包括列放大器112、輸入電容C0、反饋電容C1和C2、開關(guān)SW1至SW7、以及電容CTN和CTS。列放大器112由 差分放大器電路形成，所述差分放大器電路包括反相輸入節(jié)點(diǎn)、非反相輸入節(jié)點(diǎn)、和輸出節(jié)點(diǎn)。列放大器112的反相輸入節(jié)點(diǎn)經(jīng)由輸入電容C0電連接到垂直信號線106，并且參考電壓VREF被施加于非反相輸入節(jié)點(diǎn)。反相輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)經(jīng)由并聯(lián)連接的三個(gè)反饋電路彼此連接。第一反饋電路由串聯(lián)連接的開關(guān)SW1和反饋電容C1形成，第二反饋電路由串聯(lián)連接的開關(guān)SW2和反饋電容C2形成，第三反饋電路由開關(guān)SW3形成。可以通過適當(dāng)?shù)乜刂崎_關(guān)SW1至SW3的閉合狀態(tài)和斷開狀態(tài)來改變列放大器112的放大因子。即，當(dāng)只有開關(guān)SW1導(dǎo)通時(shí)，放大因子變?yōu)镃0/C1，當(dāng)只有開關(guān)SW2導(dǎo)通時(shí)，放大因子變?yōu)镃0/C2。當(dāng)開關(guān)SW1和SW2導(dǎo)通時(shí)，放大因子變?yōu)镃0/(C1+C2)，并且當(dāng)只有開關(guān)SW3導(dǎo)通時(shí)，列放大器112作為電壓跟隨器操作。開關(guān)SW1至SW3分別由信號至控制。列放大器112的輸出節(jié)點(diǎn)經(jīng)由被信號控制的開關(guān)SW4連接到電容CTN。以相同的方式，列放大器112的輸出節(jié)點(diǎn)經(jīng)由被信號控制的開關(guān)SW5連接到電容CTS。當(dāng)雜散擴(kuò)散電容FD被重置時(shí)，開關(guān)SW4閉合，開關(guān)SW5斷開，并且重置時(shí)的像素信號(N信號)被電容CTN采樣和保持。在光電轉(zhuǎn)換的電荷被轉(zhuǎn)移到雜散擴(kuò)散電容FD之后，開關(guān)SW4斷開，開關(guān)SW5閉合，并且基于光電轉(zhuǎn)換的電荷的像素信號(S信號)被電容CTS采樣和保持。電容CTN經(jīng)由開關(guān)SW6連接到輸出單元105的第一輸入節(jié)點(diǎn)，電容CTS經(jīng)由開關(guān)SW7連接到輸出單元105的第二輸入節(jié)點(diǎn)。水平掃描電路104按次序?qū)⒚苛械男盘栐O(shè)置為高電平，從而進(jìn)行水平掃描。即，當(dāng)信號被設(shè)置為高電平時(shí)，開關(guān)SW6將電容CTN保持的N信號輸出到輸出單元105的第一輸入節(jié)點(diǎn)，并且開關(guān)SW7將電容CTS保持的S信號輸出到輸出單元105的第二輸入節(jié)點(diǎn)。輸出單元105由差分放大器電路形成，并且放大并輸出在輸入的S信號和N信號之間的差分，從而輸出重置時(shí)的噪聲分量已經(jīng)被移除的像素信號。輸出單元105可以被配置為對N信號和S信號進(jìn)行模數(shù)轉(zhuǎn)換、然后進(jìn)行相關(guān)雙重采樣。如上所述，輸入到成像器件1的光學(xué)信號被作為電信號讀取。與RGBW12的CF陣列對應(yīng)的頻譜強(qiáng)度的二維信息被獲得。該實(shí)施例不限于RGBW12的CF陣列，并且可以應(yīng)用于各種CF陣列。下面描述可以應(yīng)用該實(shí)施例的CF陣列的例子。圖4A至圖4D是使用RGB作為顏色像素的濾色器的例子的例示說明。圖4A是Bayer陣列的CF的例示說明，CF的數(shù)量的比率為R:G:B＝1:2:1。在這種情況下，布置的G像素(第一像素)的數(shù)量多于RB像素(第二像素)的數(shù)量，這是因?yàn)槿祟愐曈X特性對綠色波長的靈敏度高于紅色和藍(lán)色波長，并且因?yàn)榕c紅色和藍(lán)色相比，圖像的分辨率的感覺更強(qiáng)烈地取決于綠色的波長的亮度。圖4B是RGBW12的CF陣列的例示說明。如上所述，在該陣列中，各個(gè)CF在4×4像素陣列中按R:G:B:W＝1:2:1:12的比率布置。W像素(第一像素)被布置為在平面圖中的垂直方向、水平方向和傾斜方向上鄰近作為顏色像素的RGB像素(第二像素)中的每一個(gè)。即，RGB像素均被八個(gè)W像素包圍。W像素的比例占所有像素的3/4。作為顏色像素的RGB像素均被W像素包圍，因此用于RGB像素的W像素的信號可以被以比圖4A的CF陣列更高的準(zhǔn)確度插值。圖4C是RGB8的CF陣列的例示說明。在4×4像素陣列中，各個(gè)CF以R:G:B:W＝2:4:2:8的比率排列。W像素(第一像素)按棋盤格圖案布置，RGB像素(第二像素)布置在W像素之間。W像素的比例是所有像素的1/2。W像素以與Bayer陣列內(nèi)的G像素相同的方式按棋盤格圖案布置，因此對Bayer陣列的G像素進(jìn)行插值的方法可以照原樣使用。W像素的布置使得靈敏度可以得到改進(jìn)。圖4D是RGBW12的CF陣列的例示說明。在該陣列中，RGBW12的W像素被G像素(第一像素)取代，并且在4×4像素陣列中，各顏色的CF按R:G:B＝2:12:2的比率布置。RB像素(第二像素)均被G像素包圍，并且G像素的比例占所有像素的3/4。RB像素均被G像素包圍，因此顏色像素的G值的插值的準(zhǔn)確度得到改進(jìn)。靈敏度高于RB像素的G像素的比例很大，因此靈敏度可以得到改進(jìn)。圖5A至圖5D是使用青色(C)、品紅(M)和黃色(Y)作為顏色像素的CF陣列的例子的例示說明，青色(C)、品紅(M)和黃色(Y)是互補(bǔ)色。圖5A是Bayer陣列的例示說明，各顏色的CF的比率為C:M:Y＝1:1:2。在這種情況下，布置了大量Y像素(第一像素)，因?yàn)閅像素以與G像素相同的方式具有高靈敏度。圖5B是CMYW12的CF陣列的例示說明。在4×4像素陣列中，各顏色的CF按C:M:Y:W＝1:1:2:12的比率排列。該陣列具有如下特征：作為顏色像素的CMY像素(第二像素)均被W像素(第一像素)包圍，并且W像素的比例占所有像素的3/4。CMY像素均被W像素包圍，因此W像素值在CMY像素的位置上的插值的準(zhǔn)確度可以得到改進(jìn)。W像素的布置使得靈敏度可以得到改進(jìn)。圖5C是CMYW8的CF陣列的例示說明。在4×4像素陣列中，各顏色的CF按C:M:Y:W＝2:2:4:8的比率排列。W像素(第一像素)按棋盤格圖案布置，并且CMY像素(第二像素)均被W像素包圍。W像素的比例為所有像素的1/2。W像素以與Bayer陣列內(nèi)的G像素相同的方式按棋盤格圖案布置，因此對Bayer陣列的G像素進(jìn)行插值的方法可以照原樣使用。W像素的布置使得靈敏度可以得到改進(jìn)。圖5D是CMYW12的CF陣列的例示說明。CMYW12的W像素被Y像素(第一像素)取代，并且在4×4像素陣列中，各個(gè)CF按C:M:Y＝2:2:12的比率布置。該陣列具有如下特征：C像素和M像素(第二像素)均被Y像素包圍，并且布置的Y像素的比例占所有像素的3/4。C像素和M像素均被Y像素包圍，因此Y的像素值在C像素和M像素中的每個(gè)的位置上的插值的準(zhǔn)確度可以得到改進(jìn)。具有比C像素和M像素更高靈敏度的Y像素的比例很大，因此靈敏度得到改進(jìn)。如上所述，在該實(shí)施例中可以利用各種CF陣列，但是為了產(chǎn)生分辨率高的圖像，優(yōu)選的是布置對分辨率貢獻(xiàn)程度更大的更多數(shù)量像素(第一像素)。期望的是，第一像素組包括比第二像素組多的分辨率信息，第二像素組包括頻譜靈敏度不同的至少兩種種類的像素。期 望的是，第一像素組對亮度的貢獻(xiàn)程度高于第二像素組。在CF陣列中的任何一個(gè)中，第一像素組輸出基于具有第一波長帶的光的第一像素信號，第一波長帶至少包括與綠色對應(yīng)的波長帶，第二像素組輸出基于具有比第一波長帶窄的波長帶的光或者具有不同于第一波長帶的波長帶的光的第二像素信號。在Bayer陣列中，對分辨率有貢獻(xiàn)的G像素按棋盤格圖案布置，這易于引起插值誤差。本發(fā)明的發(fā)明人發(fā)現(xiàn)，可以通過使用生成比棋盤格圖案高的分辨率的CF陣列來最小化插值誤差。因此，通過使用圖4B的RGBW12、圖4D的RGBW12、圖5B的CMYW12、和圖5D的CMYY12中舉例說明的CF陣列，本發(fā)明的效果特別明顯。圖6是根據(jù)該實(shí)施例的成像裝置的信號處理單元2的框圖。信號處理單元2包括亮度信號處理單元204、顏色信號處理單元205以及信號組合單元206，并且被配置為對從成像器件1接收的像素信號3a進(jìn)行去馬賽克處理，以產(chǎn)生包括用于每個(gè)像素的RGB信息的圖像信號3g。信號處理單元2可以由諸如圖像處理處理器之類的硬件配置而成，但是可以用計(jì)算機(jī)上的通用處理器或軟件來實(shí)現(xiàn)相同的配置。包括RGBW12的CF陣列并且用數(shù)字?jǐn)?shù)據(jù)表達(dá)的像素信號3a被輸入到亮度信號處理單元204。在圖6中，例示說明了用作CF陣列的一個(gè)重復(fù)單元的4×4像素，但是在實(shí)際的像素信號3a中，4×4像素的陣列是重復(fù)的。輸入的像素信號3a被預(yù)處理單元203(未示出)分離為W的像素信號3b和RGB的像素信號3e，像素信號3b和像素信號3e分別輸出到亮度信號處理單元204和顏色信號處理單元205。在W的像素信號3b內(nèi)的已分離RGB像素的位置上不存在W的像素值，在圖6中，這些位置均用“？”表示。插值處理單元211基于W的周圍的像素值來對“？”位置上的像素值進(jìn)行插值以通過插值產(chǎn)生iWr、iWg和iWb的像素值。例如，在像素信號3b內(nèi)的坐標(biāo)(3,3)處不存在W像素，因此坐標(biāo)(3,3)處的iWb(3,3)的像素值從如以下表達(dá)式表達(dá)的周圍八個(gè)W像素的平均值獲得。iWb(3,3)=W(2,2)+W(3,2)+W(4,2)+W(2,3)+W(4,3)+W(2,4)+W(3,4)+W(4,4)8]]>在圖6中，例示說明了4×4像素陣列，但是實(shí)際上，該像素陣列是重復(fù)的，并且坐標(biāo)(1,1)處的R像素、坐標(biāo)(3,1)處的G像素以及坐標(biāo)(1,3)處的G像素中每一個(gè)都被八個(gè)W像素包圍。因此，iWr和iWg的像素值也可以通過以相同的方式使用W的周圍八個(gè)像素值進(jìn)行插值而產(chǎn)生?？梢员贿m當(dāng)使用的插值處理方法的例子不僅包括以上提及的方法，而且還包括雙線性方法、雙三次方法、以及獲得在垂直方向、水平方向和傾斜方向上表現(xiàn)出小的變化速率的像素的平均值的方法。這使得即使對具有高空間頻率的高清晰對象，也能夠?qū)崿F(xiàn)高準(zhǔn)確度的插值。顏色信號處理單元205包括幀間處理單元212和顏色比率產(chǎn)生單元213。幀間處理單元212使用被亮度信號處理單元204插值的像素信號3d和由RGB像素形成的像素信號3e以產(chǎn)生顏色信息。即，幀間處理單元212使用被亮度信號處理單元204用于產(chǎn)生多個(gè)幀上的第一數(shù)據(jù)的各個(gè)幀中的第二像素信號來產(chǎn)生多個(gè)幀上的第二數(shù)據(jù)。像素信號3d是第一數(shù)據(jù)，其通過使用由第一像素組在一個(gè)幀時(shí)間段期間輸出的與第一波長帶對應(yīng)的像素信號來在第二像素組中對與第一波長帶對應(yīng)的像素信號插值而獲得。像素信號3e是第二數(shù)據(jù)，其通過使用在一個(gè)幀時(shí)間段期間從第二像素組輸出的第二像素信號而產(chǎn)生。第二數(shù)據(jù)包括第二像素組的每個(gè)像素中的第一數(shù)據(jù)和第二像素信號之間的比率的信息。一般地，在不存在RGB像素的局部區(qū)域中，第一像素組具有保持在基本上恒定的水平的色調(diào)，并且還具有強(qiáng)烈的顏色相關(guān)性。因此，在該實(shí)施例中，基于存在RGB像素值的區(qū)域中的顏色比率與不存在RGB像素的周邊中的顏色比率相同的假定，來進(jìn)行用于將RGB像素的顏色比率分配給不存在RGB像素的處理。幀間處理單元212包括幀存儲器，并且被配置為對進(jìn)行插值的iW的像素信號3d和RGB像素的像素信號3e中的每個(gè)進(jìn)行幀間處理(平均化處理)。根據(jù)該實(shí)施例的成像器件1包括W像素，因此RGB像素的數(shù)量的和小于圖4A中所示的Bayer陣列的RGB的像素的數(shù)量之和。因此，RGB像素的隨機(jī)噪聲和光子散粒噪聲易于變得比使用Bayer 陣列的情況下的噪聲更明顯。隨機(jī)噪聲和光子散粒噪聲在下文中統(tǒng)稱為“顏色噪聲”。為了降低顏色噪聲，根據(jù)該實(shí)施例的成像裝置使用在時(shí)間上連續(xù)的多個(gè)幀中所包括的顏色信號來進(jìn)行降噪(NR)。下面描述使用幀間處理的降噪方法。圖7A和圖7B是幀間處理的例子的例示說明。圖7A是對像素信號3d的坐標(biāo)(3,3)處的插值像素iWb的平均化處理的例示說明。幀間處理單元212包括所謂的IIR濾波器(遞歸濾波器)，并且被配置為在不同時(shí)間對當(dāng)前幀和另一個(gè)幀中的圖像信號進(jìn)行加權(quán)求和。幀間處理單元212把通過將幀存儲器中累積的iWb的像素值乘以因子(n-1/)n而獲得的值與通過將iWb的當(dāng)前像素值乘以因子1/n而獲得的值相加，以獲得n_iWb的幀間處理的像素值。圖7B是用于像素信號3e的坐標(biāo)(3,3)處的B像素的圖像信息的平均化處理的例示說明。B像素也經(jīng)過以上提及的幀間平均化處理。幀間處理單元212把通過將幀存儲器中累積的B的像素值乘以因子(n-1/)n而獲得的值與通過將B的當(dāng)前像素值乘以因子1/n而獲得的值相加，以獲得進(jìn)行幀間處理的n_B的像素值。iWr、iWg、R和G的其他像素值也均以相同的方式進(jìn)行幀間處理。在該實(shí)施例中，對插值的像素的幀間處理中的幀的數(shù)量n和對RGB像素的幀間處理中的幀的數(shù)量n是相同的，并且?guī)系臋?quán)重彼此相等。此外，對插值的像素的幀間處理中的n個(gè)幀中的每個(gè)和對RGB像素的幀間處理中的n個(gè)幀中的每個(gè)是相同的幀。下面詳細(xì)描述幀間處理單元212的操作。首先，幀間處理單元212預(yù)先將第一幀中的RGB的像素信號存儲到幀存儲器中。在這種情況下，第一幀中的像素信號不經(jīng)過稍后描述的乘法或除法處理。幀間處理單元212將第二幀中的RGB的像素值乘以因子1/n。例如，當(dāng)n為2時(shí)，RGB的像素值變?yōu)?/2。然后，顏色信號處理單元205將存儲在幀存儲器中的第一幀中的RGB的像素信號乘以因子(n-1)/n。因?yàn)閚為2，所以第一幀中的R、G和B的像素值均變?yōu)?/2。幀間處理單元212將第一幀中的RGB的已經(jīng)被乘以1/2的像素信號和第二幀中的已經(jīng)被乘以1/2的像素值相加。通過該運(yùn)算，可以獲取通過分別求取第 一幀和第二幀之間的RGB的像素值的平均值而獲得的n_R、n_G和n_B的像素值。隨后，在下一個(gè)幀中，進(jìn)一步加上通過將前一幀中的n_R、n_G和n_B的像素值乘以1/2而獲得的值。以這種方式，前一幀中的像素值被反饋給下一個(gè)幀中的像素值，并且進(jìn)行求和平均。當(dāng)n至少為3時(shí)，幀間處理單元212將通過求取第一幀和第二幀中的像素值的平均值而獲得的像素值乘以2/3，并且將該乘法結(jié)果和通過將作為最后一個(gè)幀的第三幀中的像素值乘以1/3而獲得的像素值相加。通過該運(yùn)算，獲取通過求取第三幀中所包括的像素信號的平均值而獲得的數(shù)據(jù)。顏色比率產(chǎn)生單元213計(jì)算第二像素組的每個(gè)像素中的第一數(shù)據(jù)和第二像素信號之間的顏色比率信息。即，R的顏色比率信息用坐標(biāo)(1,1)處的n_R/n_iWr表達(dá)，B的顏色比率信息用坐標(biāo)(3,3)處的n_B/n_iWb表達(dá)。此外，G的顏色比率信息用坐標(biāo)(3,1)處的像素值n_G/n_iWg和坐標(biāo)(1,3)處的像素值n_G/n_iWg之間的平均值表達(dá)。因此，各顏色的顏色比率信息RGB_ratio用以下表達(dá)式表達(dá)。RGB_ratio=n_Rn_iWrn_Gn_iWgn_Bn_iWb]]>信號組合單元206基于各顏色之間的比率在4×4區(qū)域內(nèi)是恒定的假定來產(chǎn)生圖像信號3g，圖像信號3g包括用于每個(gè)像素的RGB的各顏色的信息。即，信號組合單元206使用由亮度信號處理單元204產(chǎn)生的W和iW的像素信號3c和由顏色信號處理單元205產(chǎn)生的顏色比率信息RGB_ratio，來獲得用于每個(gè)像素的RGB的值并且產(chǎn)生圖像信號3g。當(dāng)像素信號3c的像素為W時(shí)，通過以下表達(dá)式來獲得RGB的像素值。RGB＝[R_ratio·WG_ratio·WB_ratio·W]當(dāng)像素信號3c的像素為iW時(shí)，通過以下表達(dá)式來獲得RGB的像素值。RGB＝[R_ratio·iWG_ratio·iWB_ratio·iW]通過該處理，獲得包括用于每個(gè)像素的RGB的各顏色的信息的圖像信號3g。在該實(shí)施例中，為了估計(jì)顏色信息，基于亮度和色調(diào)之 間的相關(guān)性在局部區(qū)域中很強(qiáng)的假定來進(jìn)行所述處理。即，顏色信息可以被假定為局部恒定的。在人類視覺特性中，分辨率(亮度)和顏色(色調(diào))的各自的分辨能力是不同的，并且顏色的分辨能力低于亮度的分辨能力。為了獲得高分辨率的感覺，期望改進(jìn)亮度信號的分辨率。根據(jù)該實(shí)施例，可以通過使用具有高分辨率和高亮度的W像素以及用于每個(gè)4×4塊的顏色信息來獲得具有高分辨率的感覺的彩色運(yùn)動圖像。在該實(shí)施例中，基于顏色比率在4×4塊中是恒定的假定來進(jìn)行所述處理，但是可以通過使用相鄰塊上的信息來校正每個(gè)像素的顏色比率信息。圖8A至圖8E是用于例示說明和示出根據(jù)該實(shí)施例的幀間處理的動作的示圖和曲線圖。圖8A至圖8D是當(dāng)白:黑＝3:1的條紋圖案每一個(gè)幀地在水平方向上移動時(shí)獲得的像素信號的例示說明。圖8E是用于示出對于每個(gè)幀的坐標(biāo)(5,1)處的R像素的像素信號和經(jīng)過幀間平均化處理的像素信號的曲線圖。在第(N-3)幀到第(N-1)幀中，白色圖案存在于坐標(biāo)(5,1)處，因此可以基于插值的像素iWr和R像素的顏色比率信息來估計(jì)顏色信號。同時(shí)，在第N幀中，黑色圖案存在于坐標(biāo)(5,1)處，因此R像素的信號值變小，導(dǎo)致難以估計(jì)顏色比率。因此，圖8A至圖8D中所示的這樣的對象在第N幀中引起錯(cuò)誤顏色。當(dāng)進(jìn)行幀間平均化處理時(shí)獲得的第N幀中的像素信號在圖8E中被示為n_iWr和n_R。當(dāng)幀間平均化處理未被進(jìn)行時(shí)，R的像素和iWr的像素的信息量很小，因此顏色估計(jì)的準(zhǔn)確度降低。根據(jù)該實(shí)施例，進(jìn)行幀間處理，從而能夠參考來自第(N-3)幀到第(N-1)幀的白色圖案的信息。因此可以改進(jìn)顏色估計(jì)的準(zhǔn)確度。在圖8A至圖8E中，通過舉例子描述了特定的對象圖案，但是應(yīng)理解，對于空間頻率高的、在垂直方向、水平方向和傾斜方向上包括其他循環(huán)圖案的圖案，也產(chǎn)生本發(fā)明的效果。相同的效果不僅在對象或成像裝置被有意移動時(shí)獲得，而且還在成像裝置的無意搖動或者由于大氣起伏等而導(dǎo)致的圖像模糊存在時(shí)獲得。在該實(shí)施例中，RGB值是對每個(gè)像素輸出的，但是鑒于與后一級 中的信號處理單元2的兼容性，可以輸出通過對Bayer陣列進(jìn)行再次馬賽克處理而獲得的圖像信號。圖9是用于示出根據(jù)該實(shí)施例的成像裝置的評估結(jié)果的表格。作為對于圖像的評估項(xiàng)，使用由于當(dāng)運(yùn)動圖像正被拍攝時(shí)引起的錯(cuò)誤顏色而導(dǎo)致的干擾。由于運(yùn)動圖像中的錯(cuò)誤顏色而導(dǎo)致的干擾按從優(yōu)良評估起依次用“A”(基本上沒有)、“B”(可接受的)和“C”(令人討厭的)表示。評估是用隨著評估條件而改變的、亮度以及幀的數(shù)量n1、n2和n3進(jìn)行的。在這種情況下，幀的數(shù)量n1、n2和n3表示幀間處理中使用的因子1/n和(n-1)/n內(nèi)的幀的數(shù)量n，并且n1、n2和n3在該實(shí)施例中是彼此相等的。隨著幀的數(shù)量n變大，幀間處理中的其他幀上的權(quán)重變大。作為條件No1，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝1。在該條件下，當(dāng)具有高頻率的對象圖案移動時(shí)表現(xiàn)出大量錯(cuò)誤顏色，并且運(yùn)動圖像中的錯(cuò)誤顏色的閃爍極其令人不滿意。因此，由于錯(cuò)誤顏色而導(dǎo)致的干擾在令人討厭的水平“C”上。作為條件No2，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝2。在該條件下，當(dāng)具有高頻率的對象圖案移動時(shí)表現(xiàn)出的錯(cuò)誤顏色和閃爍減少。錯(cuò)誤顏色在視覺上是可識別的，但是在可接受的水平上。因此，由于錯(cuò)誤顏色而導(dǎo)致的干擾在可接受的水平“B”上。作為條件No3，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝4。當(dāng)具有高頻率的對象圖案移動時(shí)表現(xiàn)出的錯(cuò)誤顏色和閃爍在基本上可忽略的水平。因此，由于錯(cuò)誤顏色而導(dǎo)致的干擾在基本上沒有的水平“A”上。顏色信號處理單元205在進(jìn)行幀間處理之后計(jì)算顏色比率信息，但是該實(shí)施例不限于該方法。例如，幀間處理可以在顏色比率信息被計(jì)算之后進(jìn)行。即，R/iWr、B/iWb和G/iWg的顏色比率信息的值可以被存儲到幀存儲器中，并且可以對顏色比率信息進(jìn)行幀間平均化處理。幀間處理不限于IIR濾波器，可以使用非遞歸濾波器(FIR)，或者可以使用幀間移動平均值?？梢允褂脦g中間值濾波器。該實(shí)施例已經(jīng)通過采用用于幀間處理的幀的數(shù)量n為1個(gè)、2個(gè)和4個(gè)的情 況進(jìn)行了描述，但是被配置為根據(jù)對象的環(huán)境(亮度、對比度或移動速度)來改變n的值的自適應(yīng)濾波器可以被使用。根據(jù)該實(shí)施例，W像素的使用使得可以提供具有高靈敏度和高分辨率的成像裝置。可以通過以高準(zhǔn)確度在顏色像素的位置上對亮度信號插值來改進(jìn)彩色信號的估計(jì)準(zhǔn)確度。另外，可以通過對插值的W像素和顏色像素進(jìn)行幀間處理來抑制運(yùn)動圖像中的錯(cuò)誤顏色。在該實(shí)施例中，用于對插值的像素的幀間處理的幀的數(shù)量n和用于對RGB像素的幀間處理的幀的數(shù)量n被設(shè)置為相同的，但是該實(shí)施例不限于該例子。對插值的像素的幀間處理中的幀的數(shù)量至少為2個(gè)并且對RGB像素的幀間處理中的幀的數(shù)量至少為2個(gè)就足夠了。(第二實(shí)施例)圖10是根據(jù)本發(fā)明的第二實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。根據(jù)該實(shí)施例的顏色信號處理單元205與第一實(shí)施例的不同之處在于，顏色信號處理單元205包括RGB的各顏色的幀間處理單元212R、212G和212B。以這種方式，可以由幀間處理單元212R、212G和212B針對RGB的每種顏色改變用于幀間處理的幀的數(shù)量。幀間處理單元212R對R像素和在相同位置上的iWr的像素進(jìn)行幀間處理，幀間處理單元212B對B像素和在相同位置上的iWb的像素進(jìn)行幀間處理。幀間處理單元212G對G像素和在相同位置上的iWg的像素進(jìn)行幀間處理。幀間處理單元212R、212G和212B具有處理跳過模式，并且可以被設(shè)置為跳過幀間處理。在RGBW12的CF陣列中，R:G:B的像素比率為1:2:1。因此，用于對R像素和B像素的幀間處理的幀的數(shù)量(其數(shù)量少)增加(權(quán)重增大)，從而能夠增強(qiáng)抑制錯(cuò)誤顏色的效果。同時(shí)，關(guān)于具有相對較多數(shù)量像素的G像素，不進(jìn)行幀間處理，或者減少用于幀間處理的幀的數(shù)量(權(quán)重減小)，從而能夠獲得抑制運(yùn)動圖像中的錯(cuò)誤顏色、同時(shí)縮小電路規(guī)模的效果?？梢愿鶕?jù)拍攝時(shí)光源的色溫(頻譜靈敏度特性)針對每種顏色改變用于幀間處理的幀的數(shù)量。固態(tài)成像器件的輸出根據(jù)光源的色溫而改變。例如，白熾燈的光源具有這樣的特性：具有長波長(R像素)的輸出與太陽光相比較大，并且具有短波長(B像素)的輸出與太陽光相比較小。當(dāng)使用具有較強(qiáng)的長波長和較弱的短波長的光源時(shí)，使對B像素處理的幀的數(shù)量變得大于G像素和R像素的幀的數(shù)量，從而能夠增強(qiáng)減少錯(cuò)誤顏色的效果。顏色比率產(chǎn)生單元213通過任意地操作每個(gè)像素位置上的顏色比率來計(jì)算顏色比率信息RGB_ratio。即，第二數(shù)據(jù)包括第二像素組的每個(gè)像素中的第二像素信號和多條第一數(shù)據(jù)的平均值之間的比率的信息。RGB_ratio=n_Rn_iWrk_Gk_iWgm_Bm_iWb]]>信號組合單元206基于各顏色之間的比率在4×4區(qū)域內(nèi)是恒定的假定來產(chǎn)生圖像信號3g，圖像信號3g包括用于每個(gè)像素的RGB的各顏色的信息。即，信號組合單元206通過將多個(gè)幀上的作為第一數(shù)據(jù)的像素信號3d和多個(gè)幀上的作為第二數(shù)據(jù)的像素信號3e組合來產(chǎn)生圖像信號3g。如第一實(shí)施例中所描述的，可以通過使用相鄰塊上的信息來進(jìn)行校正處理以計(jì)算每個(gè)坐標(biāo)處的顏色比率信息。信號組合單元206使用亮度信號處理單元204產(chǎn)生的W和iW的像素信號3c以及顏色比率信息RGB_ratio來，以以下方式獲得用于每個(gè)給定像素的RGB的像素值。RGB的像素值根據(jù)給定像素是W和iW中的哪一個(gè)來用以下表達(dá)式之一獲得。RGB＝[R_ratio·WG_ratio·WB_ratio·W]RGB＝[R_ratio·iWG_ratio·iWB_ratio·iW]圖11是用于示出根據(jù)該實(shí)施例的成像裝置的評估結(jié)果的表格。作為對圖像的評估項(xiàng)，使用由于當(dāng)運(yùn)動圖像被獲取時(shí)引起的錯(cuò)誤顏色而導(dǎo)致的干擾。由于運(yùn)動圖像中的錯(cuò)誤顏色而導(dǎo)致的干擾從優(yōu)良評估起依次用“B”(可接受的)、“B’”(可容忍的)和“C”(令人討厭的)表示。評估是用隨著評估條件而改變的亮度、光源、以及幀的數(shù)量n、m和k進(jìn)行的。作為標(biāo)準(zhǔn)光源，使用D65光源和A光源。D65 光源是色溫為6,504K的光源，并且接近于自然日光，A光源是色溫為2,854K的白熾鎢絲燈。即，A光源具有這樣的特性，即，短波長(B像素)的強(qiáng)度比D65光源弱，長波長(R像素)的強(qiáng)度比D65光源強(qiáng)。幀的數(shù)量n、m和k對應(yīng)于在對RGB的各個(gè)像素的幀間處理中使用的因子1/n和(n-1)/n內(nèi)的幀的數(shù)量n，并且用改變的各個(gè)值進(jìn)行評估。在條件No1下，D65光源用作光源，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝m＝k＝1。評估結(jié)果是，當(dāng)具有高頻率的對象圖案移動時(shí)表現(xiàn)出的錯(cuò)誤顏色的程度令人不滿意，并且運(yùn)動圖像中的錯(cuò)誤顏色的閃爍也是極其令人不滿意的。由于錯(cuò)誤顏色而導(dǎo)致的干擾被評估為令人討厭的水平“C”。在條件No2下，D65光源用作光源，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝m＝2并且k＝1。當(dāng)具有高頻率的對象圖案移動時(shí)，即使G像素的錯(cuò)誤顏色有點(diǎn)顯著，RB像素的錯(cuò)誤顏色也減少，并且運(yùn)動圖像中的錯(cuò)誤顏色達(dá)到可容忍的水平。G像素的像素布置的空間頻率是RB像素的空間頻率的兩倍，因此可設(shè)想，即使當(dāng)對G像素處理的幀的數(shù)量減少時(shí)，錯(cuò)誤顏色也不再顯著。評估結(jié)果是，由于錯(cuò)誤顏色而導(dǎo)致的干擾在可容忍的水平“B’”上。在條件No3下，D65光源用作光源，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝m＝4并且k＝2。當(dāng)具有高頻率的對象圖案移動時(shí)，錯(cuò)誤顏色不再顯著，并且達(dá)到可接受的水平。評估結(jié)果是，由于錯(cuò)誤顏色而導(dǎo)致的干擾在可接受的水平“B”上。在條件No4下，A光源用作光源，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝m＝4并且k＝2。當(dāng)具有高頻率的對象圖案移動時(shí)，B像素的錯(cuò)誤顏色有點(diǎn)顯著，但是達(dá)到可容忍的水平?？稍O(shè)想，這是因?yàn)锳光源具有這樣的特性：短波長(B像素)的強(qiáng)度比D65光源弱，長波長(R)像素的強(qiáng)度比D65光源強(qiáng)，因此B像素的輸出減小，這易于引起錯(cuò)誤顏色。評估結(jié)果是，由于錯(cuò)誤顏色而導(dǎo)致的干擾在可容忍的水平“B’”上。作為條件No5，A光源用作光源，周圍亮度被設(shè)置為1[lx]，幀的數(shù)量被設(shè)置為n＝2、m＝6并且k＝2。當(dāng)具有高頻率的對象圖案移動時(shí)，錯(cuò)誤顏色不再顯著，并且達(dá)到可接受的水平。具有短波長的較弱強(qiáng)度的A光源被使用，因此B像素的輸出減小。然而，可設(shè)想，令人滿意的顏色平衡是通過增加對B像素處理的幀的數(shù)量并且減少對表現(xiàn)出大輸出的R像素處理的幀的數(shù)量而獲得的。評估結(jié)果是，由于錯(cuò)誤顏色而導(dǎo)致的干擾在可接受的水平“B”上。此外，在該實(shí)施例中，可以生成與第一實(shí)施例的效果相同的效果。即，W像素的使用使得可以獲得具有高靈敏度和高分辨率的成像裝置?？梢酝ㄟ^以高準(zhǔn)確度在顏色像素的位置上對亮度信號插值來改進(jìn)顏色信號的估計(jì)準(zhǔn)確度，并且還可以通過對插值的W像素和顏色像素進(jìn)行幀間處理來抑制運(yùn)動圖像中的錯(cuò)誤顏色。另外，在該實(shí)施例中，考慮到各個(gè)RGB像素的布置的差異來進(jìn)行幀間處理，并且考慮到拍攝條件來針對每種顏色改變幀的數(shù)量(權(quán)重)，從而能夠進(jìn)一步減少錯(cuò)誤顏色。幀的數(shù)量的減少也使得可以同時(shí)實(shí)現(xiàn)較低功耗。在低亮度環(huán)境下，為了獲得降噪效果，對W像素的幀間處理可以由亮度信號處理單元204進(jìn)行。在這種情況下，為了保持分辨率的感覺，期望的是，用于對W像素的幀間處理的幀的數(shù)量小于用于對顏色信號的幀間處理的幀的數(shù)量。(第三實(shí)施例)圖12是根據(jù)本發(fā)明的第三實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。該實(shí)施例與第一實(shí)施例的不同之處在于，顏色信號處理單元205包括色差產(chǎn)生單元233，并且信號組合單元236被配置為基于色差信息來產(chǎn)生圖像信號3g。幀間處理單元212對被亮度信號處理單元204插值的像素信號3d和由RGB像素形成的像素信號3e中的每個(gè)進(jìn)行幀間處理。色差產(chǎn)生單元233計(jì)算關(guān)于進(jìn)行幀間處理的RGB的像素n_R、n_G和n_B以及進(jìn)行幀間處理的RGB的插值的像素n_iWr、n_iWg和n_iWb的信號的色差信息RGB_diff。即，第二 數(shù)據(jù)包括第二像素組的每個(gè)像素中的第二像素信號和多條第一數(shù)據(jù)的平均值之間的差值。RGB_diff＝[n_R-n_iWr,n_G-n_iWg,n_B-n_iWb]信號組合單元236基于各顏色之間的色差在4×4區(qū)域內(nèi)是恒定的假定，來通過使用色差信息產(chǎn)生包括RGB的像素值的圖像信號3g。即，信號組合單元236使用W和iW的像素信號3c以及色差信息RGB_diff來以以下方式獲得用于每個(gè)像素的RGB的值并且產(chǎn)生圖像信號3g。RGB＝[R_diff+W,G_diff+W,B_diff+W]計(jì)算各個(gè)坐標(biāo)處的色差信息的方法不限于以上提及的處理，并且可以通過使用關(guān)于相鄰塊的信息來校正每個(gè)像素上的色差信息。如上所述，亮度和色度之間的相關(guān)性在局部區(qū)域中是強(qiáng)烈的，因此顏色信息可以被假定為局部恒定的。在人類視覺特性中，亮度和顏色(色調(diào))的各自的分辨能力是不同的，并且顏色的分辨能力低于亮度的分辨能力。因此，為了獲得高分辨率的感覺，期望改進(jìn)亮度信號的分辨率。根據(jù)該實(shí)施例，可以通過使用具有高分辨率和高亮度的W的亮度信號以及關(guān)于每個(gè)4×4塊的顏色信號來獲得具有高分辨率的感覺的彩色運(yùn)動圖像。(第四實(shí)施例)圖13是根據(jù)本發(fā)明的第四實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。在該實(shí)施例中，成像器件1包括圖4C中所示的RGBW8陣列，并且信號處理單元2對RGBW8陣列的像素信號4a進(jìn)行處理。RGBW8陣列的W像素的數(shù)量少于RGBW12陣列的W像素的數(shù)量，因此靈敏度易于降低。同時(shí)，RGB像素存在于每個(gè)W像素周圍，因此錯(cuò)誤顏色難以發(fā)生。如圖13所示，從成像器件1接收的像素信號4a被分離為作為亮度信號的W的像素信號4b和作為顏色信號的RGB的像素信號4e。亮度信號處理單元204通過插值處理來獲得像素信號4b內(nèi)的已經(jīng)分離 RGB像素的每個(gè)部分中的像素值，并且產(chǎn)生進(jìn)行插值的像素信號4c。顏色信號處理單元205通過使用進(jìn)行插值的iW的像素值和RGB的像素值來產(chǎn)生顏色比率信息。幀間處理單元212使用多個(gè)幀對進(jìn)行插值的iW的像素值和RGB的像素值中的每個(gè)進(jìn)行平均化處理。在這種情況下進(jìn)行的幀間處理與第一實(shí)施例的幀間處理相同。因此，以以下方式對每個(gè)像素表達(dá)顏色比率信息RGB_ratio。RGB_ratio=n_Rn_iWrn_Gn_iWgn_Bn_iWb]]>信號組合單元206使用W和iW的像素信號4c以及顏色比率信息RGB_ratio來獲得每個(gè)像素的RGB的值并且產(chǎn)生圖像信號4g。以與第一實(shí)施例中的方式相同的方式，RGB的像素值根據(jù)像素是W和iW中的哪一個(gè)用以下表達(dá)式之一表達(dá)。RGB＝[R_ratio·WG_ratio·WB_ratio·W]RGB＝[R_ratio·iWG_ratio·iWB_ratio·iW]在該實(shí)施例中，通過使用RGBW8陣列，圖像的靈敏度和分辨率變得低于第一實(shí)施例，但是使得能夠根據(jù)對象的設(shè)計(jì)圖案來減少運(yùn)動圖像中的錯(cuò)誤顏色。(第五實(shí)施例)圖14是根據(jù)本發(fā)明的第五實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。成像器件1使用圖4D中所示的RGBG12陣列的CF。在RGBG12陣列中，RGBW12的W像素被G像素取代，因此靈敏度易于降低。然而，W像素表現(xiàn)出比RGB像素高的靈敏度，因此，當(dāng)具有高亮度的對象的圖像被拾取時(shí)，W像素可能飽和，并且動態(tài)范圍可能降低。在該實(shí)施例中，通過使用RGBG12陣列的CF，信號的靈敏度和飽和度可以達(dá)到平衡。在該例子中，G像素輸出基于具有第一波長帶的光的第一像素信號，第一波長帶包括與綠色對應(yīng)的波長帶。RB像素輸出基于具有不同于第一波長帶的波長帶的光的第二像素信號。像素信號5a被分離為G的像素信號5b和RB的像素信號5e。亮 度信號處理單元204對像素信號5b內(nèi)的不存在G的像素值的部分進(jìn)行插值處理，以產(chǎn)生iG的像素值。顏色信號處理單元205通過使用iG的插值的像素值和RB的像素值來產(chǎn)生顏色比率信息。幀間處理單元212使用多個(gè)幀對進(jìn)行插值的iG的像素值和RB的像素值中的每一個(gè)進(jìn)行平均化處理。在這種情況下進(jìn)行的幀間處理與第一實(shí)施例的幀間處理相同。顏色比率產(chǎn)生單元213用算術(shù)方法運(yùn)算每個(gè)像素中的顏色比率，從而計(jì)算顏色比率信息RB_ratio。RB_ratio=RiGrBiGb]]>以與第一實(shí)施例中的方式相同的方式，基于各顏色之間的顏色比率在4×4區(qū)域中是恒定的假定，信號組合單元206使用G和iG的像素信號5c以及顏色比率信息RB_ratio來獲得用于每個(gè)給定像素的RGB的值。RGB的像素值以以下方式根據(jù)給定像素是G和iG中的哪一個(gè)被獲得。RGB＝[R_ratio·GGB_ratio·G]RGB＝[R_ratio·iGiGB_ratio·iG]在拍攝的圖像中，靈敏度和分辨率低于第一實(shí)施例中的靈敏度和分辨率，但是通過使用RGB像素，使得能夠在抑制飽和度的同時(shí)減少當(dāng)運(yùn)動圖像被拍攝時(shí)引起的錯(cuò)誤顏色。以這種方式，與第一實(shí)施例中不同，亮度信號不限于W像素的信號，并且亮度信號是包括視覺特性中的大量亮度信息的像素(在該實(shí)施例中，G像素)的信息就足夠了。顏色信號是包括相對較少的亮度信息的像素(在該實(shí)施例中，R像素和B像素)的信號就足夠了。在該實(shí)施例中，像素信號5a被分離為G的像素信號5b和RB的像素信號5e，但是相同的效果也可以通過經(jīng)由算術(shù)運(yùn)算分離包括大量亮度信息的數(shù)據(jù)和包括少量亮度信息的數(shù)據(jù)來生成。(第六實(shí)施例)圖15是根據(jù)本發(fā)明的第六實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。在該實(shí)施例中，成像器件1使用圖4A中所示的Bayer (RGB)陣列的CF。亮度信號處理單元204將G的像素值作為亮度信號進(jìn)行處理，顏色信號處理單元205將RB的像素值作為顏色信號進(jìn)行處理。Bayer陣列具有比使用W像素的CF低的靈敏度以及用于亮度信號的少量像素，因此分辨率的感覺較差。然而，用于顏色信號的像素的數(shù)量很大，因此可以獲得減少錯(cuò)誤顏色的效果。使對插值的亮度信號和顏色信號進(jìn)行幀處理的次數(shù)彼此匹配，這改進(jìn)了計(jì)算顏色信號的準(zhǔn)確度，從而使得能夠進(jìn)一步減少當(dāng)運(yùn)動圖像正被拍攝時(shí)引起的錯(cuò)誤顏色。在圖15中，Bayer(RGB)陣列的像素信號6a被分離為G的像素信號6b以及R和B的像素信號6e。插值處理單元211對像素信號6b內(nèi)的已經(jīng)分離RB像素的部分進(jìn)行插值處理，以產(chǎn)生iG的像素值。顏色信號處理單元205通過使用RB的像素值和被亮度信號處理單元204插值的iG的像素值，來產(chǎn)生顏色比率信息。幀間處理單元212使用多個(gè)幀對iG的像素值和RB的像素值中的每一個(gè)進(jìn)行平均化處理。在這種情況下進(jìn)行的幀間處理與第一實(shí)施例的幀間處理相同。顏色比率產(chǎn)生單元213用算術(shù)方法運(yùn)算每個(gè)像素位置中的顏色比率，從而計(jì)算顏色比率信息。RB_ratio=RiGrBiGb]]>以與第一實(shí)施例中的方式相同的方式，基于各顏色之間的顏色比率在4×4區(qū)域中是恒定的假定，信號組合單元206使用W的像素信號6c和顏色比率信息RB_ratio來獲得用于每個(gè)給定像素的RGB的像素值。RGB的像素值是根據(jù)給定像素是G和iG中的哪一個(gè)通過以下表達(dá)式之一獲得的。RGB＝[R_ratio·GGB_ratio·G]RGB＝[R_ratio·iGiGB_ratio·iG]在該實(shí)施例中獲得的拍攝結(jié)果中，靈敏度和分辨率低于第一實(shí)施例中的靈敏度和分辨率。然而，與不進(jìn)行幀間處理的Bayer陣列的運(yùn)動圖像相比，獲得減少當(dāng)運(yùn)動圖像正被拍攝時(shí)引起的錯(cuò)誤顏色的效果。(第七實(shí)施例)圖16是根據(jù)本發(fā)明的第七實(shí)施例的成像裝置的信號處理單元2的框圖。下面主要就與第一實(shí)施例的要點(diǎn)不同的要點(diǎn)來描述根據(jù)該實(shí)施例的成像裝置。根據(jù)該實(shí)施例的成像器件1使用圖5B中所示的CMYW12陣列。除了具有高靈敏度的互補(bǔ)色(C、M和Y)的像素之外，CMYW12陣列還使用W像素，從而能夠改進(jìn)靈敏度。在圖16中，從成像器件1接收的像素信號7被分離為W的像素信號7b以及C、M和Y的像素信號7e。亮度信號處理單元204對像素信號7b內(nèi)的已經(jīng)分離C、M和Y的像素的部分進(jìn)行插值處理，以產(chǎn)生iW的像素值。顏色信號處理單元205使用iW的插值的像素值和CMY的像素值來產(chǎn)生顏色比率信息。幀間處理單元212使用多個(gè)幀對進(jìn)行插值的iW的像素值和CMY的像素值中的每一個(gè)進(jìn)行平均化處理。在這種情況下進(jìn)行的幀間處理與第一實(shí)施例的幀間處理相同。每個(gè)像素中的顏色比率信息CMY_ratio用以下表達(dá)式表達(dá)。CMY_ratio=CiWcMiWmYiWy]]>基于各顏色之間的顏色比率在4×4區(qū)域中是恒定的假定，信號組合單元206使用W的像素信號7c和顏色比率信息CMY_ratio來獲得用于每個(gè)給定像素的CMY的值。CMY的像素值根據(jù)給定像素是W和iW中的哪一個(gè)用以下表達(dá)式之一獲得。CMY＝[C_ratio·WM_ratio·WY_ratio·W]CMY＝[C_ratio·iWM_ratio·iWY_ratio·iW]CMY/RGB轉(zhuǎn)換單元287將從信號組合單元206輸出的CMY的像素值轉(zhuǎn)換為RGB的像素值，并且輸出圖像信號7g。用于進(jìn)行以上提及的處理的成像裝置被用來進(jìn)行評估拍攝。即使顏色再現(xiàn)性在圖像圖案中部分地較低，但是靈敏度也高于第一實(shí)施例中的靈敏度，并且當(dāng)運(yùn)動圖像正被拍攝時(shí)引起的錯(cuò)誤顏色被抑制。信號組合單元206的處理可以在CMY/RGB轉(zhuǎn)換單元287的處理之后執(zhí)行，或者兩件處理可以一體地執(zhí)行。(第八實(shí)施例)描述根據(jù)本發(fā)明的第八實(shí)施例的圖像拾取系統(tǒng)。根據(jù)以上提及的 第一實(shí)施例至第七實(shí)施例的成像裝置可以應(yīng)用于各種成像系統(tǒng)。成像系統(tǒng)是被配置為通過使用成像裝置來獲取圖像和運(yùn)動圖像的裝置，其例子包括數(shù)字靜態(tài)相機(jī)、數(shù)字?jǐn)z錄放影機(jī)、監(jiān)控相機(jī)以及移動終端。圖17是用于例示說明如下系統(tǒng)的框圖，在該系統(tǒng)中，根據(jù)第一實(shí)施例至第七實(shí)施例之一的成像裝置被應(yīng)用于用作成像系統(tǒng)的例子的數(shù)字靜態(tài)相機(jī)。在圖17中，成像系統(tǒng)包括透鏡302、屏障303和光闌304，透鏡302被配置為使對象的光學(xué)圖像成像在成像器件301上，屏障303用于保護(hù)透鏡302，光闌304用于調(diào)整通過透鏡302的光量。成像系統(tǒng)包括輸出信號處理單元305，其被配置為對從成像器件301輸出的輸出信號進(jìn)行處理。輸出信號處理單元305包括數(shù)字信號處理單元，并且被進(jìn)一步配置為當(dāng)有需要時(shí)對從成像器件301輸出的信號進(jìn)行各種種類的校正和壓縮并且輸出該信號。當(dāng)從成像器件301輸出的信號是模擬信號時(shí)，輸出信號處理單元305可以在數(shù)字信號處理單元的前一級中包括模數(shù)轉(zhuǎn)換電路。成像系統(tǒng)包括緩沖存儲器單元306、記錄介質(zhì)控制接口(I/F)單元307、外部接口(I/F)單元308、記錄介質(zhì)309、一般控制/操作單元310、定時(shí)產(chǎn)生單元311。緩沖存儲器單元306被配置為臨時(shí)存儲從輸出信號處理單元305接收的圖像數(shù)據(jù)。記錄介質(zhì)控制I/F單元307被配置為將圖像數(shù)據(jù)記錄到記錄介質(zhì)309或者從記錄介質(zhì)309讀取圖像數(shù)據(jù)。記錄介質(zhì)309由例如半導(dǎo)體存儲器形成，并且可以被插入到成像系統(tǒng)中或者從成像系統(tǒng)移除，或者可以被構(gòu)建到成像系統(tǒng)中。外部I/F單元308可以與外部計(jì)算機(jī)或網(wǎng)絡(luò)來回通信。一般控制/操作單元310具有進(jìn)行各種種類的算術(shù)運(yùn)算處理和數(shù)字靜態(tài)相機(jī)的總控制的功能。定時(shí)產(chǎn)生單元311被配置為將各種定時(shí)信號輸出到輸出信號處理單元305。諸如定時(shí)信號之類的控制信號可以從外部、而不是從定時(shí)產(chǎn)生單元311輸入。如上所述，根據(jù)該實(shí)施例的成像系統(tǒng)可以通過應(yīng)用第一實(shí)施例至第七實(shí)施例中描述的成像器件301來進(jìn)行圖像拾取 操作。(其他實(shí)施例)雖然已經(jīng)描述了本發(fā)明中的成像裝置，但是本發(fā)明不限于以上給出的實(shí)施例，并且實(shí)施例不禁止適合本發(fā)明的精神的合適的修改和變化。例如，以上提及的第一實(shí)施例至第八實(shí)施例的配置也可以被組合。成像裝置不一定包括成像器件，并且可以是圖像處理系統(tǒng)，諸如被配置為對從成像器件輸出的像素信號進(jìn)行處理的計(jì)算機(jī)等。本發(fā)明的實(shí)施例還可以由系統(tǒng)或裝置的計(jì)算機(jī)來實(shí)現(xiàn)，該計(jì)算機(jī)讀出并且執(zhí)行記錄在存儲介質(zhì)(其也可以被更充分地稱為“非暫時(shí)性計(jì)算機(jī)可讀存儲介質(zhì)”)上的用以執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)的功能的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或多個(gè)程序)，和/或該計(jì)算機(jī)包括用于執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)的功能的一個(gè)或多個(gè)電路(例如，專用集成電路(ASIC))，并且本發(fā)明的實(shí)施例還可以通過所述系統(tǒng)或裝置的所述計(jì)算機(jī)例如通過下述方式執(zhí)行的方法來實(shí)現(xiàn)：即，從存儲介質(zhì)讀出用以執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)的功能的計(jì)算機(jī)可執(zhí)行指令，和/或控制所述一個(gè)或多個(gè)電路執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)的功能。所述計(jì)算機(jī)可以包括一個(gè)或多個(gè)處理器(例如，中央處理單元(CPU)、微處理器單元(MPU))，并且可以包括讀出并且執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令的單獨(dú)計(jì)算機(jī)或單獨(dú)處理器的網(wǎng)絡(luò)。所述計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲介質(zhì)提供給計(jì)算機(jī)。所述存儲介質(zhì)可以包括例如以下中的一個(gè)或多個(gè)：硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、分布式計(jì)算系統(tǒng)的存儲裝置、光盤(諸如壓縮盤(CD)、數(shù)字多功能盤(DVD)或藍(lán)光盤(BD)TM)、閃存設(shè)備、存儲卡等。本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。雖然已經(jīng)參照示例性實(shí)施例描述了本發(fā)明，但是要理解本發(fā)明不 限于所公開的示例性實(shí)施例。所附權(quán)利要求的范圍應(yīng)被給予最廣泛的解釋，以便包含所有這樣的修改以及等效的結(jié)構(gòu)和功能。當(dāng)前第1頁1 2 3