專利名稱：攝像單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及攝像單元。

背景技術(shù)：
近年來，圖像輸入裝置的攝像單元的像素數(shù)量的增長令人注目，攝像單元的分辨率已經(jīng)達到用人眼無法判斷的光滑粒度的水平。在這種狀況下，對于圖像質(zhì)量的要求正從析像感向確保色彩再現(xiàn)性、噪聲降低性、以及更寬的動態(tài)范圍過渡。本發(fā)明就提供一種將圖像質(zhì)量、尤其是色彩再現(xiàn)性及噪聲特性保持在容許范圍內(nèi)、同時還實現(xiàn)了擴大可掃描的亮度動態(tài)范圍的單元和裝置。
專利文獻1(日本特開2003-284084號公報)已披露了一種既能更真實地再現(xiàn)色彩、又能降低噪聲的圖像處理裝置。
下面，對該專利文獻1中披露的裝置進行描述。在攝像單元的前面設(shè)有如圖1所示的色彩排列的四色濾色器1。如虛線所示，四色濾色器1具有將共計四個濾色器作為最小單位的構(gòu)成，該四個濾色器包括只透過紅色(R)光的R濾色器、只透過藍色(B)光的B濾色器、只透過第一波長頻帶的綠色光的G1濾色器、以及只透過第二波長頻帶的綠色光的G2濾色器。
圖2A及圖2B中示出一個對通過攝像單元例如CCD(電荷耦合裝置)獲得的攝像信號實施信號處理的信號處理部的構(gòu)成例，其中該攝像單元包括這種濾色器1。受制圖空間的限制，分成圖2A及圖2B示出信號處理部的構(gòu)成。附圖標記10表示被輸入來自圖像傳感器的四種色彩信號(R信號、G1信號、G2信號、B信號)的前端。前端10對來自圖像傳感器的色彩信號實施剔除噪聲成分的相關(guān)雙重采樣處理、增益控制處理、以及數(shù)字轉(zhuǎn)換處理等處理。來自前端10的圖像數(shù)據(jù)提供給由LSI(Large Scale Integrated Circuit，大規(guī)模集成電路)構(gòu)成的信號處理部11。
信號處理部11通過微型機算機接口12與未圖示的微型計算機相連。微型計算機按照規(guī)定的程序例如控制數(shù)碼相機的整體動作。再有，微型計算機通過微型機算機接口12控制構(gòu)成信號處理部11的各模塊。
信號處理部11對從前端10輸入的四種色彩信號執(zhí)行內(nèi)插處理、濾色處理、矩陣運算處理、亮度信號生成處理、色差信號生成處理。通過信號處理部11生成的圖像信號被提供給未圖示的顯示器并顯示攝像圖像。并且，來自信號處理部11的圖像數(shù)據(jù)經(jīng)壓縮后存儲在內(nèi)部存儲介質(zhì)、外部存儲介質(zhì)等中。
下面，對信號處理部11的各模塊進行描述。偏移校正處理部21剔除包含在由前端10提供的圖像信號中的噪聲成分(偏移成分)。偏移校正處理部21輸出的圖像信號輸出到白平衡校正處理部22，并進行白平衡校正。即，校正由被拍攝對象的色溫環(huán)境的不同、以及傳感器上的濾色器(R、G1、G2、B)的靈敏度的不同所引起的各色彩間的不平衡。
將白平衡校正處理部22的輸出提供給垂直方向同步化處理部23。為進行垂直方向的內(nèi)插處理和濾色處理，垂直方向同步化處理部23使用延遲單元，例如小規(guī)模存儲器，以使時間上不同的垂直方向的圖像數(shù)據(jù)同步化。
通過垂直方向同步化處理部23同步化的多個圖像信號被提供給進行內(nèi)插處理、濾色處理、高頻補償處理及噪聲處理的處理部24，進行在同一空間的相位中內(nèi)插濾色器(R、G1、G2、B)的最小單位2×2像素的色彩信號的內(nèi)插處理、適當限制信號帶寬的濾色處理、校正信號帶寬的高頻成分的高頻補償處理、剔除信號的噪聲成分的噪聲處理等。
在處理部24中獲得的圖像信號、例如RG1G2B四色的信號被提供給線性矩陣處理部25。在線性矩陣處理部25中，進行四輸入三輸出的矩陣運算。通過提供3×4矩陣的矩陣系數(shù)，可從輸入的RG1G2B四色的圖像信息中求出RGB色彩輸出。
來自線性矩陣處理部25的RGB輸出分別提供給伽瑪校正處理部26R、26G、26B。通過伽瑪校正處理部26R、26G、26B預(yù)先進行顯示裝置所具有的非線性特性的逆校正，最終實現(xiàn)線性特性。
伽瑪校正處理部26R、26G、26B的輸出信號分別提供給亮度(Y)信號生成處理部27和色差(C)信號生成處理部28。亮度信號生成處理部27通過以規(guī)定的合成比合成伽瑪校正后的RGB信號而生成亮度信號。色差信號生成處理部28通過以規(guī)定的合成比合成伽瑪校正后的RGB信號而生成色差信號。
由色差信號生成處理部28生成的色差信號被提供給進行帶寬限制及間隔剔除的處理部29，形成將色差信號Cb及Cr進行時分復用的色差信號。這樣，在色彩再現(xiàn)性方面，使用四色濾色器的圖像處理裝置優(yōu)于使用三原色濾色器的圖像處理裝置。
一般而言，作為攝像單元的光譜靈敏度，優(yōu)選的特性是色彩再現(xiàn)性好、且噪聲特性好?！吧试佻F(xiàn)性好”是指能夠感知與人眼相同的顏色、或者相對于人眼所見色差較小。人眼所見指的是用人眼能直接看到的顏色?！霸肼曁匦院谩敝傅氖悄沉炼入娖街械脑肼暳可佟Ｔ肼暱纱笾路譃榱炼仍肼暫蜕试肼?，亮度噪聲取決于絕對的靈敏度，色彩噪聲絕大部分取決于攝像單元的濾色器的光譜靈敏度之間的關(guān)系、即光譜靈敏度曲線的形狀。
將相對于亮度為線性的攝像單元的輸出信號進行矩陣轉(zhuǎn)換、然后生成三原色RGB信號值的方法經(jīng)常在如圖2A及圖2B所示的一般的圖像輸入裝置的信號處理中使用。該處理稱為線性矩陣處理。一般情況下，圖像輸入裝置(掃描儀、數(shù)碼相機等)的輸入圖像多用個人計算機(以下略稱為“PC”)的監(jiān)視器進行觀察及編輯，因而，矩陣運算后的原色RGB信號值的目標色彩空間設(shè)定為sRGB色彩空間，即一般的PC監(jiān)視器的空間。
sRGB色彩空間作為傳播的彩色圖像信號可遵循的多媒體用標準色彩空間，已由IEC(International Electrotechnical Commission國際電工委員會)規(guī)定。依據(jù)標準色彩空間，彩色圖像的發(fā)送方和接收方能夠共享相同的色彩再現(xiàn)。
因此，攝像單元的目標光譜靈敏度(圖中標示為相對靈敏度)是通過709型矩陣對作為人眼的光譜靈敏度的等色函數(shù)(參照圖3)進行線性轉(zhuǎn)換后的sRGB等色函數(shù)。參考文獻1(“ITU-R BT.709-3，《Basic Parameter Values for the HDTV Standard for the Studio andfor International Programme Exchange》(1998)”)中對709型矩陣進行了介紹。
圖3中，曲線31x表示函數(shù)x(λ)，曲線31y表示函數(shù)y(λ)，曲線31z表示函數(shù)z(λ)。作為CIE(Commission Internationale deI’Eclairage國際照明委員會)1931，規(guī)定了如圖3所示的等色函數(shù)的曲線圖。
圖4以曲線圖的形式示出了sRGB等色函數(shù)。在圖4中，曲線32r表示函數(shù)r(λ)，曲線32g表示函數(shù)g(λ)，曲線32b表示函數(shù)b(λ)。由于sRGB等色函數(shù)滿足路由(router)條件，所以能夠感知人眼直接看到的顏色。參考文獻2(大田登，《色彩工學》，ISBN4-501-61350-5，東京電機大學出版社(1993))中對路由條件進行了介紹。
然而，如圖4所示的光譜靈敏度中存在負的光譜靈敏度，現(xiàn)實中無法制成具有這種光譜靈敏度的三色RGB濾色器。若欲制成具有正的光譜靈敏度、且滿足路由條件的三色RGB濾色器光譜靈敏度，則該光譜靈敏度如圖5所示。在圖5中，曲線33R表示函數(shù)sR(λ)，曲線33G表示函數(shù)sG(λ)，曲線33B表示函數(shù)sB(λ)。
由圖5可知，該攝像單元的紅色成分的濾色器的光譜靈敏度的曲線33R與綠色成分的濾色器的光譜靈敏度的曲線33G重疊的非常多。這意味著這兩種成分的信號非常相似。因此，欲使用具有如圖5所示的光譜靈敏度的濾色器的攝像單元、并計算作為目標輸出信號的sRGB空間的三種顏色時，需要進行下式(1)的矩陣運算。
由式(1)的矩陣系數(shù)可知，為計算輸出信號的紅色成分，要對輸入信號的紅色成分和綠色成分乘以6.5614和-5.5412如此非常大的矩陣系數(shù)。這意味著會使攝像單元的紅色信號和綠色信號中的噪聲增大很多。
因此，實際上，即使沒有充分滿足路由條件、即某種程度上犧牲了色彩再現(xiàn)性、但具有良好的噪聲特性、且具有圖6所示的光譜靈敏度的三色RGB濾色器。在圖6中，曲線34R表示函數(shù)s1R(λ)，曲線34G表示函數(shù)s1G(λ)，曲線34B表示函數(shù)s1B(λ)。由于圖6的光譜沒有滿足路由條件，所以無法線性轉(zhuǎn)換為sRGB等色函數(shù)。因此，sRGB等色函數(shù)的近似轉(zhuǎn)換矩陣運算如下式(2)所示。
在式(2)的矩陣系數(shù)中，所有系數(shù)的絕對值均小于式(1)所示的矩陣系數(shù)，色彩分離的結(jié)果可知噪聲沒有增大很多。
從上述的理由可知，一般的原色系RGB攝像單元的光譜靈敏度具有如圖6所示的曲線，色彩再現(xiàn)性和噪聲特性俱佳。然而，因受攝像單元自身的靈敏度、鏡頭特性、紅外線濾鏡特性的影響，實際上，光譜靈敏度的曲線圖如圖7所示。在圖7中，曲線35R表示R濾色器的光譜靈敏度，曲線35G表示G濾色器的光譜靈敏度，曲線35B表示B濾色器的光譜靈敏度。
因受制造工藝的種種限制，很難提高各濾色器的光譜靈敏度。為維持靈敏度，可以采用某種程度上增加單元尺寸、或乘以電增益等方法。然而，增大單元尺寸往往伴隨著犧牲分辨率，而乘以增益則會犧牲噪聲降低性。
綜上所述，原色系RGB攝像單元在色彩再現(xiàn)性方面非常好，但多少還有改善的余地，而在噪聲特性方面，雖然色分離噪聲小，但存在因靈敏度低而作為噪聲支配成分的亮度噪聲增大的趨勢。即，具有色彩再現(xiàn)性好、但容易出現(xiàn)噪聲感的不同之處。
作為濾色器，互補色系的濾色器也是一種公知的濾色器。例如，如圖8所示，排列成Y(黃色)C(青色)M(品紅色)G(綠色)四色濾色器的互補色交錯行順序方式的濾色器已為大眾所熟知。在圖8中，用虛線圍住的2×4排列是排列的最小單位。
圖9中示出這種互補色系YCMG攝像單元的光譜靈敏度的曲線圖。在圖9中，曲線36Y表示Y濾色器的光譜靈敏度，曲線36C表示C濾色器的光譜靈敏度，曲線36M表示M濾色器的光譜靈敏度，曲線36G表示G濾色器的光譜靈敏度。如圖9所示，因各濾色器的靈敏度較高，所以，互補色系YCMG攝像單元尤其適于在暗處的拍攝，且亮度噪聲特性好。但是，由于光譜靈敏度的重疊非常大，所以若想改善色彩再現(xiàn)性，則存在需要非常大的色彩分離系數(shù)、增大色分離噪聲的問題。因此，在色彩再現(xiàn)性方面，存在無法與原色系RGB攝像單元媲美的問題。
這樣，互補色系YCMG攝像單元在色彩再現(xiàn)性方面，有非常大的改善余地。而在噪聲特性方面，雖然色彩分離噪聲大，但因靈敏度高，存在作為噪聲支配成分的亮度噪聲減少的趨勢。即，具有噪聲感好、而色彩再現(xiàn)性不夠好的特點。
綜上所述，在現(xiàn)有的攝像單元中，當使用原色系RGB攝像單元時，存在由于靈敏度低而造成亮度噪聲大的問題，另一方面，當使用互補色系YCMG攝像單元時，又存在色彩再現(xiàn)性及色分離噪聲特性不夠充分的問題。


發(fā)明內(nèi)容
因此，本發(fā)明的目的就在于提供一種能夠解決這些攝像單元所存在的問題點的攝像裝置及攝像單元。
為解決上述問題，本發(fā)明涉及一種攝像裝置，其包括攝像部；具有前端的圖像輸入部；以及用于處理來自圖像輸入部的多個攝像信號、并生成三原色信號的信號處理部。在該攝像裝置中，攝像部包括三原色系分色濾色器及互補色系分色濾色器、及被輸入由上述分色濾色器分離的色光的攝像單元，信號處理部在輸入圖像數(shù)據(jù)為低/中亮度電平(level)的第一區(qū)域中通過對使用三原色系分色濾色器和互補色系分色濾色器獲得的多個信號進行矩陣運算處理，從而生成三原色信號；信號處理部在輸入圖像數(shù)據(jù)為高亮度電平的第二區(qū)域中通過對使用三原色系分色濾色器獲得的三原色信號進行矩陣運算處理，從而生成三原色信號。
而且，本發(fā)明涉及一種攝像單元，其包括共計五種顏色的濾色器，即R(紅色)、G(綠色)、B(藍色)的原色系三色濾色器和Y(黃色)、C(青色)的互補色系兩種顏色濾色器，通過將接近人眼的亮度特性的G濾色器配置成交錯狀，從而獲得其它色的四倍的空間信息。
根據(jù)本發(fā)明，通過將原色系RGB和互補色系YC五種顏色的濾色器組合成攝像單元，從而可改善色彩再現(xiàn)性和降低色分離噪聲。而且，因根據(jù)亮度電平分開使用RGBYC五色的濾色器的攝影單元的輸出信號，所以，與單獨使用原色系或互補色系攝像單元的情況相比，色彩再現(xiàn)性更好、靈敏度高，即能夠?qū)崿F(xiàn)低噪聲的攝像單元。因此，可獲取動態(tài)范圍寬的場景。



圖1是表示提及的攝像裝置的濾色器的色彩排列的簡略圖表； 圖2A及圖2B是提及的攝像裝置的信號處理部的結(jié)構(gòu)框圖； 圖3是一例等色函數(shù)的曲線圖； 圖4是一例sRGB等色函數(shù)的曲線圖； 圖5是表示滿足路由條件的三色濾色器的光譜靈敏度的曲線圖； 圖6是表示通常的三原色濾色器的光譜靈敏度的曲線圖； 圖7是表示原色系RGB攝像單元的光譜靈敏度的曲線圖； 圖8是互補色系YCMG攝像單元的濾色器的色彩排列的簡略圖表； 圖9是表示互補色系YCMG攝像單元的光譜靈敏度的曲線圖； 圖10A及圖10B是表示混合式RGBYC攝像單元的光譜靈敏度的曲線圖； 圖11是表示混合式RGBYC攝像單元的色彩排列的簡略圖表； 圖12是表示用于說明使用混合式RGBYC攝像單元的輸出信號的信號處理的簡略圖； 圖13是表示可適用本發(fā)明的信號處理的步驟流程圖； 圖14是表示本發(fā)明中的色彩轉(zhuǎn)換處理的步驟流程圖； 圖15是表示本發(fā)明中的CN圖的曲線圖； 圖16是用于比較并表示混合式RGBYC攝像單元、原色系攝像單元及補色系攝像單元的CN的曲線圖； 圖17是本發(fā)明一實施例中的一例信號處理的框圖；以及 圖18是表示信號處理過程中一例加權(quán)增益系數(shù)轉(zhuǎn)變的簡略圖。

具體實施例方式 在本發(fā)明中，使用原色系RGB濾色器和互補色系YC濾色器構(gòu)成具有混合式RGBYC濾色器的攝像單元。雖然作為色彩排列有多種可能，但在此，以圖10A及圖10B所示的濾色器為例。在圖10A及圖10B中，RGB表示分別透過紅色、綠色、藍色光的濾色器，YC表示分別透過黃色、青色光的濾色器。
圖10A及圖10B表示可在本發(fā)明中使用的濾色器的一例和其它例排列的各自的最小單位(4×4)。圖10A及圖10B中所示的這些濾色器的排列與眾不同之處在于首先，將接近與分辨率直接相關(guān)的人眼的亮度信號的G濾色器排列成交錯狀，并使G濾色器的數(shù)量為其它顏色濾色器的四倍。即，在最小單位的十六個濾色器當中，G濾色器為八個，剩下的四種顏色的濾色器分別為兩個。在圖10A所示的排列中，以每行來看的話，都交替排列有靈敏度低的行(G、R、G、B)和靈敏度高的行(C、G、Y、G)。不過，若變化每行的曝光時間來進行讀出信號，則寬動態(tài)范圍讀出更為容易。
在圖10B所示的排列中，在各列和行上包含兩個G，其余兩種色彩的濾色器是靈敏度高的濾色器和靈敏度低的濾色器組合的濾色器，所以在水平、垂直方向上，這種排列的亮度差少。因此，與圖10A所示的排列相比，雖然讀出方法更為復雜，但因空間的內(nèi)插特性有利，因而具有更容易實現(xiàn)平滑的灰度顯示的特點。
圖11中示出混合式RGBYC濾色器的光譜靈敏度的曲線。在圖11中，曲線37Y表示Y濾色器的光譜靈敏度，曲線37C示出C濾色器的光譜靈敏度，曲線37R示出R濾色器的光譜靈敏度，曲線37G示出G濾色器光譜靈敏度，曲線37B示出B濾色器的光譜靈敏度。如圖11所示，互補色系Y、C比原色系R、G、B的光譜靈敏度更高。
圖12中示出相對濾色器的每種色彩而存儲在攝像單元中的電荷量Q和光量P的關(guān)系。在圖12中，Qs表示飽和電荷量，38C表示關(guān)于C濾色器的〔P-Q〕特性，38Y表示關(guān)于Y濾色器的〔P-Q〕特性，38R表示關(guān)于R濾色器的〔P-Q〕特性，38G表示關(guān)于G濾色器的〔P-Q〕特性，38B表示關(guān)于B濾色器的〔P-Q〕特性。
如圖12所示，在配置靈敏度高的Y、C濾色器的單元中，即使是很少的光量也可以迅速存儲所需的電荷，相反，在配置靈敏度低的R、B濾色器的單元中，因電荷存儲的速度較慢，所以即使入射很多光量，電荷也不能迅速飽和。利用這種特性的不同，可以獲取動態(tài)范圍非常寬的圖像。
例如，在五種顏色的濾色器中，配有C濾色器的單元首先飽和，因而，以存儲在配有C濾色器的單元中的電荷飽和的光量Ph為界限，規(guī)定低/中亮度區(qū)和高亮度區(qū)。如果是包含在低/中亮度區(qū)的亮度的圖像時，使用R、G、B、Y、C五種色彩的信號值；如果是包含在高亮度區(qū)的亮度的圖像時，因配置有Y及C濾色器的單元的存儲電荷飽和，所以，使用R、G、B三種色彩的信號值。這樣，通過根據(jù)圖像的亮度切換所使用的濾色器，從而可生成動態(tài)范圍非常寬的圖像。
作為圖像亮度的判斷方法，例如可以采用根據(jù)G、Y等的信號值來加以判斷的方法，其中，G、Y等的信號值是包含人眼的亮度成分的攝像單元的信號值。
為了從攝像單元的信號值中計算圖像的RGB信號值，需要進行某種矩陣運算處理。例如，用于將五種顏色RGBYC信號值(Rin、Gin、Bin、Yin、Cin)轉(zhuǎn)換成生成的RGB圖像的信號值(Rout、Gout、Bout)的矩陣運算處理使用3×5的矩陣系數(shù)，如下式(3)所示。
由于式(3)的矩陣系數(shù)是針對線性信號的矩陣運算系數(shù)，所以稱為線性矩陣。關(guān)于對線性矩陣的確定方法，參照參考文獻3(“水倉貴美、加藤直哉、西尾研一，《考慮了噪聲的CCD濾色器光譜靈敏度的評價方法》，色彩論壇JAPAN2003論文集，pp.29-32(2003)”)。
下面，詳細描述亮度不同的圖像數(shù)據(jù)。
低/中亮度圖像數(shù)據(jù)的情況 當靈敏度低的R、B的信號值在某種程度上增大，噪聲的影響減小，且Y、C的信號值未飽和時，可以使用混合式攝像單元的全部五種顏色的信號值。由于與原色系的三種顏色相比，色彩數(shù)量增多，且這五種顏色的色的分離性好，因而可以進行色彩再現(xiàn)性、及噪聲降低性兩方面俱佳的圖像處理。
高亮度圖像數(shù)據(jù)的情況 當靈敏度高的Y、C的信號值已達到飽和時，剩下的R、G、B三色的信號值生成圖像。該狀態(tài)與使用原色系三色攝像單元的情況相同，因而在色彩再現(xiàn)性、噪聲降低性方面基本與原色系三色攝像單元程度相同。
下面描述采用上述的混合式RGBYC攝像單元的攝像裝置，例如數(shù)碼照相機。但是，本發(fā)明并不限于數(shù)碼照相機，其還可運用于拍攝移動圖像的照相機中。
若采用上述的混合式RGBYC攝像單元，則由其構(gòu)成的照相機的色彩再現(xiàn)性及噪聲特性均可優(yōu)于原色系三色RGB攝像單元的照相機、或互補色系YCMG攝像單元的照相機。
使用上述參考文獻3中所記載的濾色器評價方法，試著畫出混合式RGBYC攝像單元、原色系三色RGB攝像單元、互補色系YCMG攝像單元這三種攝像單元的CN圖。以下，簡單介紹CN圖的繪制方法。
前提條件 作為拍攝條件，作為光源，使用CIE規(guī)定的標準光源D55，并選用Macbeth Color Checker(校色板)作為目標。假設(shè)圖13所示的處理為照相機信號處理。通過對攝像單元的濾色器的光譜靈敏度、Macbeth Color Checker的色塊的光譜反射率、和拍攝光源的光譜輻射亮度的積進行積分，求得作為數(shù)碼照相機的綜合特性的Raw Data41，在白平衡校正處理42中，將Raw Data 41乘以增益，以使各顏色數(shù)據(jù)的電平等于無彩色。
接著，進行色彩轉(zhuǎn)換處理43，在該處理中，通過矩陣處理，相對于亮度信號，使線性信號值接近目標顏色。該處理43相當于線性矩陣處理。以下將該矩陣處理適當?shù)胤Q為MAT。通過色彩轉(zhuǎn)換處理43，信號值變?yōu)镽(紅色)、G(綠色)、B(藍色)三色。若用N表示濾色器的色彩數(shù)量，則白平衡校正處理42為N×N的對角矩陣運算處理，色彩轉(zhuǎn)換處理43為3×N的矩陣運算處理。
最后，通過伽瑪校正處理44，作為最終輸出，獲得照相機RGB45。但是，在此，將sRGB的逆伽瑪用作照相機伽瑪。在構(gòu)成數(shù)碼照相機的硬件時，采用與上述圖2A及圖2B中所示的信號處理構(gòu)成相同的構(gòu)成。
假設(shè)這樣獲得的照相機RGB由標準sRGB監(jiān)視器再生并觀察。即，假設(shè)照相機RGB是sRGB色彩空間的色彩。但是，由于計算時還保持sRGB范圍外的值，所以考慮縮短sRGB色域外的色彩。
色彩再現(xiàn)評價指數(shù)的定義 計算拍攝到的照相機的輸出信號相對于人眼的色差Delta E(ΔE)值。由于假設(shè)照相機RGB是sRGB色彩空間的數(shù)據(jù)，所以，根據(jù)圖14所示的流程，使用709系列矩陣M709等計算相應(yīng)的L*a*b*值、照相機
L*a*b*是由標準光中的三刺激值定義的色彩空間。CIE在1964年作為均勻色彩空間提出U*V*W*，1976年又提出對U*V*W*空間進行了修改的

空間。而且，在1976年，作為與無論哪個色彩區(qū)均能察覺的色差對應(yīng)的色彩空間，又提出了L*a*b*空間(CIELAB)。
圖14中，照相機RGB51經(jīng)過sRGB伽瑪處理52之后，在轉(zhuǎn)換處理53中，將RGB轉(zhuǎn)換為三刺激值XYZ。接著，在轉(zhuǎn)換處理54中，使用709系列矩陣M70955，將XYZ轉(zhuǎn)換為L*a*b*。然后獲得最終的照相機

56。
參考文獻1中對709系列矩陣M709進行了介紹。
作為目標值的人眼可見的L*a*b*值可通過Macbeth ColorChecker的光譜反射率、標準光源D55的光譜輻射亮度進行計算。
作為色彩再現(xiàn)性的評價指數(shù)，采用Macbeth Color Checker 24色的平均ΔE值(ΔEa)。如下式(4)所示，該值將成為照相機的信號處理過程中的MAT系數(shù)的函數(shù)ΔEa(MAT)。
其中，ΔEk第k個色塊的ΔEk MAT色彩轉(zhuǎn)換矩陣系數(shù) 噪聲評價指數(shù)的定義 作為包含在攝像單元的輸出信號中的噪聲模型，使用下式(5)所示的定義式。參考文獻4(“G.C.Holst，《CCD ARRAYS CAMERASand DISPLAYS 2nd Ed.，》JCD Publishing(1998)”)中對該定義式進行了介紹。
在式(5)中，如參考文獻5(西尾研一，《CCD照相機的色彩》，色彩論壇JAPAN’99，pp.143-147(1999))所述，as與bd是由CCD的設(shè)備特性(飽和電子量等)決定的值。
as·CV_CCD表示光散粒噪聲，即依賴于信號值的噪聲成分，bd表示基底噪聲(floor noise)，即不依賴于信號值的噪聲成分(參照參考文獻4)。
該噪聲Noise_raw通過照相機的信號處理，并且通過L*a*b*轉(zhuǎn)換，被傳播給各種色彩空間。下面，略述噪聲的傳播模型(參照參考文獻6(P.D.Burns and R.S.Berns，《Error Propagation Analysis in ColorMeasurement and Imaging》，Col.Res.Appl，Vol.22，pp.280-289(1997)))的概要。
當假設(shè)某輸入信號通過(m×n)矩陣A，線性變換為Y＝〔y1，y2，...，ym〕t時，該式可如下寫為 Y＝A·X·· 現(xiàn)在，假設(shè)輸入信號X的方差-協(xié)方差矩陣如下式(6)所示。

該式(6)的對角成分正好是輸入信號的噪聲方差值。如果輸入信號值間彼此不相關(guān)，則矩陣成分中的協(xié)方差成分(即，非對角成分)為0。這時，輸出信號Y的方差-協(xié)方差矩陣可用下式(7)定義。
∑y＝A·∑x·At…(7) 該式(7)是可通過線性轉(zhuǎn)換進行轉(zhuǎn)換的色彩空間之間的噪聲方差值的傳播理論公式。
為將最終輸出信號照相機RGB值轉(zhuǎn)換成L*a*b*值，如色彩再現(xiàn)性的定義一節(jié)所描述的，從XYZ空間向L*a*b*空間轉(zhuǎn)換時，包括非線性的轉(zhuǎn)換。但因噪聲方差值通常都很小，所以可用上述參考文獻6中的Jacobian矩陣

近似地以線性轉(zhuǎn)換表示XYZ→L*a*b*轉(zhuǎn)換。因此，用于將原信號線性轉(zhuǎn)換為L*a*b*值的近似矩陣Mtotal如下式(8)所示。
其中，WBM白平衡矩陣 MAT色彩轉(zhuǎn)換矩陣 使用式(8)的矩陣和噪聲傳播理論公式(7)，可按下式(9)計算最終輸出信號值中的噪聲方差值。
用自式(9)獲得的噪聲量

計算由下式(10)定義的Total Noise值(TN值)。進而，將Macbeth Color Checker 24色的各色塊的TN值的平均值TNa作為噪聲評價指數(shù)。
其中，TNk第k個色塊的TN值 MAT色彩轉(zhuǎn)換矩陣系數(shù) 考慮到噪聲的亮度成分和色彩成分這兩者，TN值是與用人眼能感覺到的噪聲高度相關(guān)的值。用L*a*b*噪聲量，以下式定義。
在式(11)中，

是對噪聲量

的加權(quán)系數(shù)，其采用通過視覺實驗獲得的實驗/經(jīng)驗值。
確定照相機信號處理中的參數(shù)的方法 具體而言，是指確定信號處理中的MAT系數(shù)的方法。首先，使用色彩再現(xiàn)評價指數(shù)ΔEa和噪聲評價指數(shù)TNa，在下式(12)中定義CEM(Comprehensive Error Metric)值。
其中，wc對于色彩再現(xiàn)性的加權(quán)系數(shù) wn對于噪聲量的加權(quán)系數(shù) 通過確定針對各評價指數(shù)的加權(quán)系數(shù)wc、wn求出使CEM值最小的MAT系數(shù)，從而可以實現(xiàn)調(diào)節(jié)色彩再現(xiàn)性、噪聲量的濾色器評價。
CN圖的繪制方法 改變上述CEM值的wc、wn后算出MAT系數(shù)，并算出當時的色彩再現(xiàn)評價指數(shù)ΔEa和噪聲評價指數(shù)TNa。如圖15所示，將結(jié)果繪制成橫軸為ΔEa、縱軸為TNa的〔色彩再現(xiàn)對噪聲〕的曲線圖(以下，將該坐標圖適當?shù)胤Q為CN圖)。CN圖是用于表示被評價的濾光器組實力的圖。
圖15的左下區(qū)是色彩再現(xiàn)和噪聲均好的區(qū)域，而右上區(qū)是兩者均差的區(qū)域。因此，曲線越靠近左下方，濾色器組的性能越好。通過對每個要評價的濾色器組都繪制此曲線并加以比較，從而可直觀地判斷哪個濾色器組更好。一般而言，CN圖的軌跡在左下為凸曲線，色彩再現(xiàn)性和噪聲特性呈現(xiàn)出色彩再現(xiàn)性變好則噪聲特性變差、噪聲特性變好則色彩再現(xiàn)性變差這樣的折衷關(guān)系。
圖16中示出根據(jù)本發(fā)明的混合式攝像單元、原色系三色攝像單元、及互補色系四種顏色攝像單元的CN圖。附圖標記61a是混合式攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線，附圖標記61b是原色系三色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線，附圖標記61c是互補色系四種顏色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線。
圖16所示的CN圖的左下方是色彩再現(xiàn)和噪聲特性均好的區(qū)域，所以軌跡最靠近左下方的攝像單元可以說特性最好。由圖16可知，混合式攝像單元的曲線61a最靠近左下方，所以色彩再現(xiàn)性及噪聲特性均優(yōu)于原色系、互補色系攝像單元。
實際上，以圖10A及圖10B所示的排列制成RGBYC攝像單元，并制成用于進行圖13所示的信號處理的IC(Integrated Circuit)。伽瑪校正使用sRGB伽瑪算出RGB輸出信號。作為線性矩陣系數(shù)，使用例如CN圖(圖16)的☆62所示的wc∶wn＝1∶3的加權(quán)系數(shù)。☆的系數(shù)如式(13)所示。
由式(13)可知，系數(shù)值較小，且色分離噪聲未過度增大。由此，可構(gòu)成使用五種顏色的RGBYC攝像單元的照相機。
接著，對可以獲取使用了混合式攝像單元的寬動態(tài)范圍圖像的圖像輸入裝置進行描述。
以根據(jù)像素值的亮度電平靈活使用五種顏色的信號值來掃描動態(tài)范圍寬的圖像為例進行說明。
像素值的亮度電平的計算方法有多種，例如，將接近于人眼的亮度成分的G信號作為亮度值使用。作為信號處理，可考慮圖17所示的處理。LM(H)71、LM(M)72、LM(L)73分別表示高亮度、中亮度、低亮度用的線性矩陣處理，WB(H)74、WB(M)75、WB(L)76分別表示白平衡處理，77、78、及79分別表示將各輸出信號乘以增益值a、b、c的乘法器。
圖18中示出加權(quán)增益系數(shù)相對于亮度電平(橫軸)的變化的轉(zhuǎn)變。在高亮度區(qū)中，增益系數(shù)是(a＝1，b＝c＝0)，在中亮度區(qū)中，增益系數(shù)是(a＝0，b＝1，c＝0)，在低亮度區(qū)中，增益系數(shù)是(a＝b＝0，c＝1)。而且，在各區(qū)域的邊界附近，增益系數(shù)的上升和另一個增益系數(shù)的下降傾斜并交叉，且變化并不明顯。在圖17中，雖未進行圖示，但還設(shè)置有增益系數(shù)控制部，其根據(jù)例如RGBYC信號的A/D(模擬-數(shù)字)轉(zhuǎn)換后的每一采樣的亮度電平(例如G信號)控制增益系數(shù)。
參照參考文獻3，如下所述確定各亮度電平的線性矩陣系數(shù)。
低亮度區(qū) 就低亮度區(qū)而言，從圖像質(zhì)量這一點出發(fā)，噪聲少是比色彩再現(xiàn)性更重要的因素。因此，作為線性矩陣系數(shù)，使用RGBYC五種顏色的信號值，并使用重視噪聲特性的系數(shù)?？梢钥紤]wc∶wn＝1∶10這點(圖16中的Δ標記63的位置)的系數(shù)等。系數(shù)值如下所示。
式(14)與式(13)相比，由于使相對于噪聲的加權(quán)增大，因而各系數(shù)的絕對值變小，由此可知未增大色分離噪聲。
中亮度區(qū) 作為中亮度像素用的線性矩陣系數(shù)，通過使用RGBYC五種顏色的信號值，由色彩再現(xiàn)性和噪聲特性的平衡最好的點決定。即，在CN圖中，決定最左下方位置的軌跡上的系數(shù)。例如，可以考慮式(13)所示的wc∶wn＝1∶3附近的矩陣系數(shù)。
高亮度區(qū) 作為高亮度像素用的線性矩陣系數(shù)，因Y信號及C信號已非常飽和，所以使用RGB三色的信號值，由色彩再現(xiàn)性和噪聲特性的平衡最好的點決定。即，在CN圖中，決定最左下方位置的軌跡上的系數(shù)。例如，可以考慮wc∶wn＝1∶3這點(圖16中的○標記64的位置)的系數(shù)等。系數(shù)如下式(15)所示。
處理流程如下所述。
當輸入某像素信號時，經(jīng)三種線性矩陣處理(圖17中的LM(H)71、LM(M)72、LM(L)73)，根據(jù)其輸入信號值計算每亮度電平的信號值。
各信號值經(jīng)白平衡處理(圖17中的WB(H)74、WB(M)75、WB(L)76)之后，如圖18所示，與其像素的亮度電平對應(yīng)，在各信號值上乘以預(yù)先確定的增益系數(shù)(a、b、c)(圖17中的乘法器77、78、及79)。
然后，三種輸出信號通過圖17中的加法器80和81相加，并決定其像素的輸出信號值。
作為低亮度電平和中亮度電平的分界線，例如可考慮ISO400和ISO200的分界線等。而且，作為中亮度和高亮度電平的分界線，例如可列舉Y信號和C信號中任一個信號達到飽和的情況等。
以上，對本發(fā)明的實施例進行了具體描述。然而，本發(fā)明并不限于上述實施例，基于本發(fā)明的技術(shù)思想，可作出各種變形。例如，在圖17所示的構(gòu)成中，針對三個等級的亮度電平進行不同的矩陣運算處理，但也可以針對兩個等級(低/中亮度電平和高亮度電平)的亮度電平進行不同的矩陣運算處理。而且，也可以在低亮度電平中使用YCG三種顏色，在中亮度電平中使用RGBYC五種顏色。甚至，本發(fā)明還可以運用到層疊有三層CMOS結(jié)構(gòu)、且與彩色膠片同樣具有感藍層、感綠層、和感紅層的裝置中。
符號說明 37C、37Y 青色、黃色濾色器的光譜靈敏度 37R、37G、37B 紅色、綠色、藍色濾色器的光譜靈敏度 42 白平衡校正處理 43 色彩轉(zhuǎn)換處理 44 照相機伽瑪校正處理 52 sRGB伽瑪處理 53 將RGB轉(zhuǎn)換為XYZ的轉(zhuǎn)換處理 54 將XYZ轉(zhuǎn)換為L*a*b*的轉(zhuǎn)換處理 61a 混合式攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線 61b 原色系三色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線 61c 補色系四色攝像單元的〔色彩再現(xiàn)對噪聲〕的曲線 71 高亮度用的線性矩陣處理 72 中亮度用的線性矩陣處理 73 低亮度用的線性矩陣處理 77、78、79乘以增益系數(shù)a、b、c的乘法器
權(quán)利要求
1.一種攝像單元，其特征在于，包括共計五種顏色的濾色器，即包括R(紅色)濾色器、G(綠色)濾色器、B(藍色)濾色器的原色系的三原色濾色器、以及包括Y(黃色)濾色器、C(青色)濾色器的互補色系的兩色濾色器，
通過將G(綠色)濾色器配置成交錯狀，以獲得其它顏色中的每種顏色的四倍的空間信息。
2.根據(jù)權(quán)利要求1所述的攝像單元，其特征在于，
濾色器的排列的最小單位的大小為4×4，各列及各行上分別包括兩個G濾色器，
作為其余兩個濾色器，將靈敏度高的濾色器與靈敏度低的濾色器進行組合。
3.根據(jù)權(quán)利要求2所述的攝像單元，其特征在于，
上述其它兩個濾色器的組合是Y(黃色)濾色器和B(藍色)濾色器的組合、或者C(青色)濾色器和R(紅色)濾色器的組合。
4.根據(jù)權(quán)利要求1所述的攝像單元，其特征在于，
濾色器的排列的最小單位的大小為4×4，各列及各行上分別包括兩個G濾色器，
作為其余兩個濾色器，交替配置使用靈敏度高的濾色器的列與行、以及使用靈敏度低的濾色器的列與行。
5.根據(jù)權(quán)利要求4所述的攝像單元，其特征在于，
在作為其余兩個濾色器使用靈敏度高的濾色器的列與行中，使用C(青色)濾色器和Y(黃色)濾色器，
在作為其余兩個濾色器使用靈敏度低的濾色器的列與行中，使用B(藍色)濾色器和R(紅色)濾色器。
全文摘要
本發(fā)明提供了一種攝像單元，其包括共計五種顏色的濾色器，即包括R(紅色)濾色器、G(綠色)濾色器、B(藍色)濾色器的原色系的三原色濾色器、以及包括Y(黃色)濾色器、C(青色)濾色器的互補色系的兩色濾色器，其中，通過將G(綠色)濾色器配置成交錯狀，以獲得其它顏色中的每種顏色的四倍的空間信息。
文檔編號H04N9/07GK101572824SQ20091020341
公開日2009年11月4日 申請日期2006年1月12日 優(yōu)先權(quán)日2005年1月31日
發(fā)明者水倉貴美, 加藤直哉, 田中健二, 木下雅也, 米田豐, 松井啟 申請人:索尼株式會社