攝像裝置、攝像裝置的控制方法、及控制程序的制作方法
【專利摘要】攝像裝置具備：攝像元件(14)，包括排列于第1方向及第2方向的多個光電轉換元件；濾色器，重復配置有第1濾光片和第2濾光片以(N×M)像素(N、M：3以上的整數(shù))的預先規(guī)定的圖案配置而得到的基本排列圖案；行圖像數(shù)據生成單元，從攝像元件(14)以設定的周期讀出多個像素中的像素信號，并根據讀出的像素信號，生成多個像素中的在第1方向上以(N－k)(0<k<N)行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據；圖像數(shù)據生成單元，基于行圖像數(shù)據來生成圖像數(shù)據。
【專利說明】攝像裝置、攝像裝置的控制方法、及控制程序
【技術領域】
[0001]本發(fā)明涉及攝像裝置、攝像裝置的控制方法、及控制程序，尤其是涉及具備彩色攝像元件的攝像裝置、攝像裝置的控制方法、及控制程序。
【背景技術】
[0002]在彩色攝像元件中廣泛采用的顏色排列即原色系拜耳排列(例如參照專利文獻I~3)將對人眼敏感且最有助于獲得亮度信號的綠(G)像素配置成相間方格狀，并將紅(R)、藍(B)配置成線型順序。
[0003]專利文獻1:日本特開2002 - 135793號公報
[0004]專利文獻2:日本專利第3960965號公報
[0005]專利文獻3:日本特開2004 - 266369號公報

【發(fā)明內容】

[0006]發(fā)明要解決的課題
[0007]然而，在以往的采用了拜耳排列的彩色攝像元件中，例如為了生成動畫用的圖像數(shù)據，在垂直方向上進行間拔讀出的情況下，例如在垂直方向上每2η(η為自然數(shù))行讀出I行量的圖像數(shù)據時(垂直方向1/2η間拔、偶數(shù)間拔)，讀出的是僅包含G和R、或G和B這2色的行圖像數(shù)據，無法進行顏色再現(xiàn)。因此，通常是每(2η+1)行讀出I行量的圖像數(shù)據的間拔讀出(垂直方向1/(2η+1)間拔、奇數(shù)間拔)。而且，即使在進行除此以外的間拔讀出的情況下，為了得到顏色再現(xiàn)，也需要交替地讀出包含G和R的水平行與包含G和B的水平行，讀出方式非常受限制。
[0008]另外，在拜耳排列中，在生成G信號為傾斜方向、R、B信號為水平、垂直方向的高頻信號時的再現(xiàn)精度存在問題，對于高頻信號存在無法抑制彩色莫爾條紋(偽色)的發(fā)生的問題，但是在進行了前述的那樣的間拔讀出的情況下，成為與原來的拜耳排列相同的彩色排列，因此產生相同問題。
[0009]本發(fā)明為了解決上述問題點而作出，目的在于提供在使用了具備拜耳排列以外的排列的濾色器的攝像元件的情況下，能夠進行有效的間拔讀出的攝像裝置、攝像裝置的控制方法、及控制程序。
[0010]用于解決課題的方法
[0011]為了解決上述課題，本發(fā)明的攝像裝置的特征在于，具備:攝像元件，包括在預先規(guī)定的第I方向及與第I方向交叉的第2方向上排列的多個光電轉換元件；濾色器，設于由多個光電轉換元件構成的多個像素上，并重復配置有以下的基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與第I色以外的兩色以上的第2色對應的第2濾光片在第I方向及第2方向上以(NXM)像素(N、M:3以上的整數(shù))的預先規(guī)定的圖案配置；行圖像數(shù)據生成單元，從攝像元件以設定的周期讀出多個像素中的像素信號，并根據讀出的像素信號，生成多個像素中的在第I方向上以(N — k) (0〈k〈N，k為自然數(shù))行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據；圖像數(shù)據生成單元，基于行圖像數(shù)據來生成圖像數(shù)據。
[0012]根據本發(fā)明，從攝像元件以設定的周期讀出多個像素中的像素信號，根據讀出的像素信號，生成多個像素中的在第I方向上以(N — k)行(0〈k〈N，k為自然數(shù))周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據。即，以小于基本排列圖案的第I方向的像素數(shù)N的周期來生成行圖像數(shù)據，因此與以基本排列圖案的第I方向的像素數(shù)以上的周期來生成行圖像數(shù)據的情況相比，間拔率可以減小，能夠抑制畫質的劣化。
[0013]此外，可以是，行圖像數(shù)據生成單元以第I方向上(N — k)行周期作為設定的周期從攝像元件讀出像素信號而生成行圖像數(shù)據。 [0014]根據本發(fā)明，從攝像元件沿第I方向間拔讀出像素信號，因此與將全部行的量的像素信號讀出后將在第I方向上以(N — k)行周期排列的行圖像數(shù)據抽出來生成圖像數(shù)據的情況相比，能夠縮短從攝像元件讀出像素信號的時間。
[0015]另外，可以是，基本排列圖案在該基本排列圖案的整個區(qū)域中相對于第I方向為線對稱或者在該基本排列圖案的第I方向的2個一半周期的區(qū)域中相對于第I方向分別為線對稱，行圖像數(shù)據生成單元生成以(N — I)行周期作為設定的周期而在第I方向上排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據。
[0016]根據本發(fā)明，間拔后的圖像也與間拔前同樣地成為包含基本排列圖案重復而成的圖像這樣的圖像，因此能夠與靜止圖像攝影那樣不進行圖像數(shù)據的間拔的情況共通地進行圖像處理。
[0017]另外，可以是，行圖像數(shù)據生成單元生成以(N — k)行(0〈k≤N/2)周期作為設定的周期而在第I方向上排列且沿第2方向排列的像素的像素信號構成的行圖像數(shù)據，并根據該行圖像數(shù)據，生成在第I方向上以N行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據，攝像裝置具備像素混合單元，該像素混合單元對第I方向上以(N -k)行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據和從該行圖像數(shù)據起在第I方向上以N行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據同色像素彼此分別進行像素混合。
[0018]根據本發(fā)明，對在第I方向上以(N - k)行周期沿第2方向讀出的行圖像數(shù)據與從行圖像數(shù)據起在第I方向上以N行周期沿第2方向讀出的行圖像數(shù)據同色像素彼此分別進行像素混合，因此與未進行像素混合的情況相比，能夠提高圖像的S/N比。
[0019]另外，可以是，攝像元件包括放大單元，該放大單元將第I方向上(N - k)像素以下的多個像素作為共有像素，對每個該共有像素放大攝像信號。
[0020]根據本發(fā)明，在第I方向的共有像素內不會讀出多個行圖像數(shù)據，因此能夠防止各行的曝光時機較大地錯動的情況。
[0021]另外，可以是，攝像元件具備切換單元，切換第I生成方法和第2生成方法的，該第I生成方法生成在第I方向上以(N — k)行(0〈k〈N)周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據，該第2生成方法生成在第I方向上以(N+k)行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據。
[0022]根據本發(fā)明，例如根據攝影模式能夠切換是利用第I生成方法進行生成還是利用第2生成方法進行生成，因此根據攝影模式能夠適當?shù)乜刂茍D像的分辨率或S/N比，并且在AffB(自動白平衡)控制或AE(自動露出)控制中能夠進行適當?shù)脑O定。
[0023]另外，可以是，第I濾光片在濾色器面內在第I方向、第2方向、與第I方向及第2方向交叉的第3方向的各行內配置I個以上，與第2色的各色對應的第2濾光片在基本排列圖案內在第I方向及第2方向的各行內分別配置I個以上。
[0024]根據本發(fā)明，與最有助于得到亮度信號的第I色對應的第I濾光片在濾色器內配置在第I方向~第3方向的各行內，因此能夠提高高頻區(qū)域的去馬賽克算法處理的再現(xiàn)精度。而且，關于第I色以外的兩色以上的第2色所對應的第2濾光片，在基本排列圖案內，在第I方向及第2方向的各行內配置I個以上，因此能夠減少彩色莫爾條紋(偽色)的發(fā)生而實現(xiàn)高分辨率化。
[0025]另外，可以是，濾色器包含由第I濾光片構成的與2X2像素對應的正方排列。
[0026]根據本發(fā)明，基于與2X2像素對應的正方排列的4像素的各像素間的像素值的差量值能夠以最小像素間隔判別亮度的相關方向為4方向中的哪一方向。
[0027]另外，可以是，第I色是綠(G)色，第2色是紅(R)色及藍⑶色。
[0028]另外，可以是，濾色器具有與紅(R)色、綠(G)色、藍⑶色對應的R濾光片、G濾光片及B濾光片，并且，濾色器由第I排列和第2排列交替地排列于第I方向及第2方向上而構成，該第I排列對應于3X 3像素，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，該第2排列對應于3 X 3像素，在中心和四角配直G濾光片，隔著中心的G濾光片上下配直有R濾光片，左右排列有B濾光片。
[0029]根據本發(fā)明， 以第I排列或第2排列為中心而提取5X5像素(馬賽克圖像的局部區(qū)域)時，在5X5像素的四角存在2X2像素的G像素。這些2X2像素的G像素的像素值在4方向的相關方向的判別中能夠使用。
[0030]另外，可以是，濾色器具有與紅(R)色、綠(G)色、藍⑶色對應的R濾光片、G濾光片及B濾光片，并且，濾色器由第I排列和第2排列交替地排列于第I方向及第2方向上而構成，該第I排列對應于3X3像素，在中心配置有R濾光片，在四角配置有B濾光片，隔著中心的R濾光片上下左右配置有G濾光片，該第2排列對應于3X3像素，在中心配置有B濾光片，在四角配置有R濾光片，隔著中心的B濾光片上下左右配置G濾光片。
[0031]根據本發(fā)明，在以第I排列或第2排列為中心提取5X5像素(馬賽克圖像的局部區(qū)域)時，隔著5X5像素的中心的像素(R像素或B像素)存在沿水平及垂直方向分別相鄰的G像素。上述的G像素(總計8像素)的像素值在4方向的相關方向的判別中能夠使用。
[0032]另外，可以是，濾色器相對于基本排列圖案的中心而點對稱。
[0033]根據本發(fā)明，能夠減小后段的處理電路的電路規(guī)模。
[0034]本發(fā)明的攝像裝置的控制方法中，該攝像裝置具備:攝像元件，包括在預先規(guī)定的第I方向及與第I方向交叉的第2方向上排列的多個光電轉換元件；濾色器，設于由多個光電轉換元件構成的多個像素上，并重復配置有以下基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與第I色以外的兩色以上的第2色對應的第2濾光片在第I方向及第2方向上以(NXM)像素(N、M:3以上的整數(shù))的預先規(guī)定的圖案配置，攝像裝置的控制方法的特征在于，從攝像元件以設定的周期讀出多個像素中的像素信號，根據讀出的像素信號，生成多個像素中的在第I方向上以(N — k) (0〈k〈N，k為自然數(shù))行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據，基于行圖像數(shù)據來生成圖像數(shù)據。
[0035]另外，本發(fā)明的控制程序的特征在于，用于使控制攝像裝置的計算機執(zhí)行處理，該攝像裝置具備:攝像元件，包括在預先規(guī)定的第I方向及與第I方向交叉的第2方向上排列的多個光電轉換元件；濾色器，設于由多個光電轉換元件構成的多個像素上，并重復配置有以下基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與第I色以外的兩色以上的第2色對應的第2濾光片在第I方向及第2方向上以(NXM)像素(N、M:3以上的整數(shù))的預先規(guī)定的圖案配置，該處理包括以下步驟:從攝像元件以設定的周期讀出多個像素中的像素信號；根據讀出的像素信號，生成多個像素中的在第I方向上以(N -k) (0〈k〈N，k為自然數(shù))行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據；基于行圖像數(shù)據來生成圖像數(shù)據。
[0036]本發(fā)明的控制程序的特征在于，用于使計算機執(zhí)行處理，所述處理包括以下步驟:根據從包括在預先規(guī)定的第I方向及與第I方向交叉的第2方向上排列的多個光電轉換元件和設于由多個光電轉換元件構成的多個像素上的濾色器的攝像元件以設定的周期讀出多個像素中的像素信號而得到的像素信號，生成多個像素中的在第I方向上以(N - k)(0〈k〈N，k為自然數(shù))行周期排列且沿第2方向排列的像素的像素信號所構成的行圖像數(shù)據，所述濾色器重復配置有以下基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與第I色以外的兩色以上的第2色對應的第2濾光片在第I方向及第2方向上以(NXM)像素(N、M:3以上的整數(shù))的預先規(guī)定的圖案配置；基于行圖像數(shù)據來生成圖像數(shù)據。 [0037]發(fā)明效果
[0038]根據本發(fā)明，具有以下的效果:能夠在使用了具備拜耳排列以外的排列的濾色器的攝像元件的情況下進行有效的間拔讀出。
【專利附圖】

【附圖說明】
[0039]圖1是第I實施方式的攝像裝置的概略框圖。
[0040]圖2是第I實施方式的濾色器的構成圖。
[0041]圖3是表示第I實施方式的濾色器包含的基本排列圖案的圖。
[0042]圖4是表示將第I實施方式的濾色器包含的6X6像素的基本排列圖案分割成3X3像素的A排列和B排列，并將它們沿水平及垂直方向重復配置而成的濾色器的圖。
[0043]圖5是表示第3實施方式的濾色器的G像素的特征性的配置的圖。
[0044]圖6是用于對沿垂直方向每(N -1)行讀出I行量的圖像數(shù)據時的圖像進行說明的圖。
[0045]圖7是用于對沿垂直方向為線對稱的濾色器進行說明的圖。
[0046]圖8是用于對沿垂直方向為線對稱的濾色器進行說明的圖。
[0047]圖9是用于對沿垂直方向為線對稱的濾色器進行說明的圖。
[0048]圖10是表示由控制部執(zhí)行的處理的流程圖。
[0049]圖11是第2實施方式的濾色器的構成圖。
[0050]圖12是表示第2實施方式的濾色器包含的基本排列圖案的圖。[0051]圖13A是表不將第2實施方式的濾色器包含的6X6像素的基本排列圖案分割成3X3像素的A排列和B排列，并將它們沿水平及垂直方向重復配置而成的濾色器的圖。
[0052]圖13B是表示第2實施方式的濾色器的G像素的特征性的配置的圖。
[0053]圖14是用于對第3實施方式的像素加法運算處理進行說明的圖。
[0054]圖15是第4實施方式的由CMOS傳感器構成的攝像元件的概略構成圖。
[0055]圖16是表示像素共有的結構的構成圖。
[0056]圖17是用于對各掃描行的曝光等的時機進行說明的圖。
[0057]圖18是用于對第5實施方式的讀出行的切換進行說明的圖。
[0058]圖19是用于對第5實施方式的讀出行的切換進行說明的圖。
[0059]圖20是表示濾色器的變形例的圖。
[0060]圖21是表示濾色器的變形例的圖。
[0061]圖22是表示濾色器的變形例的圖。
[0062]圖23是表示濾色器的變形例的圖。
[0063]圖24是表示濾色器的變形例的圖。
[0064]圖25是表示濾色器的變形例的圖。
[0065]圖26是表示濾色器的變形例的圖。
[0066]圖27是表示濾色器的變形例的圖。
【具體實施方式】
[0067]以下，參照附圖，說明本發(fā)明的實施方式。
[0068](第I實施方式)
[0069]圖1示出了本實施方式的攝像裝置10的概略框圖。攝像裝置10包含光學系統(tǒng)
12、攝像元件14、攝像處理部16、圖像處理部20、驅動部22、及控制部24而構成。
[0070]光學系統(tǒng)12包含例如由多個光學透鏡構成的透鏡組、光圈調整機構、變焦機構、及自動焦點調節(jié)機構等而構成。
[0071]攝像元件14是在包含排列于水平方向及垂直方向的多個光電轉換元件的攝像元件例如 CCD (Charge Coupled Device)或 CMOS (Complementary Metal Oxide Semiconductor)等攝像元件上配置有濾色器的結構的所謂單板式的攝像元件。
[0072]圖2示出本實施方式的濾色器的一部分。在各像素上，配置有紅(R)、綠(G)、藍(B)這3原色的濾色器中的任一個。
[0073]〈濾色器排列的特征〉
[0074]第I實施方式的濾色器具有下述的特征(I)~(6)。
[0075]〔特征⑴〕
[0076]濾色器排列成為將基本排列圖案重復配置的結構，該基本排列圖案是將紅(R)、綠(G)、藍⑶這3原色的濾光片沿著垂直方向及水平方向以(NXM)像素(N、M:3以上的整數(shù))的預先規(guī)定的圖案配置，并將綠(G)的濾光片與紅(R)及藍(B)中的至少一方的顏色的濾光片沿著垂直方向及水平方向配置而成的基本排列圖案。
[0077]本實施方式的圖2所示的濾色器作為一例包含由對應于6X6像素(N = M = 6)的正方排列圖案構成的基本排列圖案P(由粗框表示的圖案)，并將該基本排列圖案P沿垂直方向(第I方向)及水平方向(第2方向)重復配置。即，該濾色器將R、G、B這各色的濾光片(R濾光片、G濾光片、B濾光片)以規(guī)定的周期性進彳T排列。
[0078]這樣，R濾光片、G濾光片、B濾光片以規(guī)定的周期性進行排列，因此在進行從彩色攝像元件讀出的R、G、B信號的去馬賽克算法處理(也稱為去馬賽克處理。以下相同)等時，能夠按照重復圖案進行處理。
[0079]〔特征⑵〕
[0080]圖2所示的濾色器排列中，與最有助于獲得亮度信號的顏色(在本實施方式中為G色)對應的G濾光片配置于濾色器排列的作為第I方向的垂直方向、作為第2方向的水平方向、及在濾色器面內與第I方向及第2方向交叉的第3方向即傾斜(NE、NW)方向(第3方向)的各行內。需要說明的是，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情況下，斜右上及斜右下方向相對于水平方向分別成為45°的方向，但若是長方形的像素的排列，則是長方形的對角線的方向，根據長邊/短邊的長度而其角度改變。
[0081]與亮度系像素對應的G濾光片配置在濾色器排列的垂直方向、水平方向及傾斜(NE、NW)方向的各行內，因此無論成為高頻的方向如何都能夠提高高頻區(qū)域的去馬賽克算法處理的再現(xiàn)精度。
[0082]〔特征⑶〕
[0083]圖2所示的濾色器排列中， 與上述G色以外的兩色以上的其他的顏色(在本實施方式中為R、B的顏色)對應的R濾光片、B濾光片在基本排列圖案P內的濾色器排列的垂直方向及水平方向的各行內配置I個以上。
[0084]R濾光片、B濾光片配置在濾色器排列的垂直方向及水平方向的各行內，因此能夠減少彩色莫爾條紋(偽色)的發(fā)生。
[0085]由此，能夠將用于抑制偽色的發(fā)生的光學低通濾波器不配置在光學系統(tǒng)的從入射面到攝像面的光路上，或者即使在應用光學低通濾波器的情況下也可以適用用于防止偽色產生的截止高頻率成分的作用弱的裝置，能夠避免損害分辨率。
[0086]〔特征⑷〕
[0087]圖3示出將圖2所示的基本排列圖案P四分為3X3像素的狀態(tài)。
[0088]如圖3所示，基本排列圖案P可以被當作由實線的框包圍的3X3像素的A排列和由虛線的框包圍的3X3像素的B排列沿水平、垂直方向交替排成的排列。
[0089]A排列及B排列分別將作為亮度系像素的G濾光片配置在四角和中央，且配置在兩對角線上。而且，A排列隔著中央的G濾光片在水平方向上排列有R濾光片，在垂直方向上排列有B濾光片，另一方面，B排列隔著中央的G濾光片在水平方向上排列有B濾光片,在垂直方向上排列有R濾光片。即，A排列與B排列的R濾光片與B濾光片的位置關系顛倒，但是其他的配置也同樣。
[0090]另外，A排列和B排列的四角的G濾光片如圖4所示，A排列和B排列沿水平、垂直方向交替配置，由此成為對應于2X2像素的正方排列的G濾光片。
[0091]即，圖2所示的濾色器排列(基本排列圖案P)包含由G濾光片構成的對應于2X2像素的正方排列。
[0092]現(xiàn)在，如圖5所示，從攝像元件14輸出的馬賽克圖像以A排列為中心而提取5X5像素的局部區(qū)域時，該局部區(qū)域內的四角的2X2像素的G像素成為圖5所示的配置。[0093]如圖5所示，將2X2像素的G像素的像素值按照從左上至右下的順序設為G1、G2、G3、G4時，這些G像素的像素值的垂直方向的差的絕對值為(IGl - G3 | +1G2 一 G4|)/2，水平方向的差的絕對值為(I Gl - G2 I +1G3 - G4 |) /2，右上斜方向的差的絕對值為| G2 一 G3 |，左上斜方向的差的絕對值為|G1 —G4|。
[0094]能夠判別為這4個相關絕對值中差的絕對值為最小的方向具有相關性(相關方向)。
[0095]現(xiàn)在，如圖4或圖5所示，以3X3像素的A排列位于中央的方式從馬賽克圖像提取5X5像素的局部區(qū)域時，2X2像素的G像素配置在四角。因此，在將上述局部區(qū)域內的A排列的3X3像素作為去馬賽克算法處理的對象像素時，求出四角的各方向的相關絕對值的總和(或平均值)，將各方向的相關絕對值的總和(或平均值)中值為最小的的方向判別為去馬賽克算法處理的對象像素中的亮度的相關方向。判別的相關方向在進行去馬賽克算法處理等時能夠利用。
[0096]〔特征(5)〕
[0097]構成圖2所示的濾色器排列基本排列圖案P相對于該基本排列圖案的中心(4個G濾光片的中心)而點對稱。而且，如圖3所示，基本排列圖案內的A排列及B排列也分別相對于中心的G濾光片而點對稱，且上下左右成為對稱(線對稱)。
[0098]由于這樣的對稱性，能夠減小或簡化后段的處理電路的電路規(guī)模。 [0099]〔特征(6)〕
[0100]構成圖2所示的濾色器排列的基本排列圖案P在從攝像元件14沿垂直方向以(N-1)行周期讀出沿水平方向的行的行圖像數(shù)據時，成為基本排列圖案P重復而成的圖像。即，在圖2的濾色器的情況下，間拔后的圖像成為基本排列圖案P重復而成的圖像。圖2的濾色器的基本排列圖案為6X6像素，因此如圖6的箭頭所示，在垂直方向上以5行周期讀出行圖像數(shù)據(垂直方向1/5間拔)，由此間拔后的圖像成為基本排列圖案P重復而成的圖像。
[0101]即，當基本排列圖案P的垂直方向的行從上方起設為I~6行時，沿垂直方向以5行周期讀出時的順序成為1、6、5、4、3、2、1、6、5、4、3、2、1吣的順序。因此，在間拔后的圖像中，雖然相位錯動，但由于包含基本排列圖案P，因此與間拔前同樣地包含基本排列圖案重復而成的圖像。
[0102]這樣，在沿垂直方向以(N — I)行周期讀出沿水平方向的行的行圖像數(shù)據時，作為成為基本排列圖案P重復而成的圖像的條件是以下情況:在濾色器排列的基本排列圖案的整個區(qū)域內相對于垂直方向為線對稱，或者在該基本排列圖案的垂直方向的2個一半周期的區(qū)域內相對于垂直方向分別為線對稱。
[0103]例如，圖2所示的濾色器在基本排列圖案的垂直方向的一半周期的區(qū)域即垂直方向上的I~3行的區(qū)域內，以第2行為中心沿垂直方向為線對稱，在垂直方向上的4~6行的區(qū)域內，以第5行為中心而為線對稱。
[0104]在這樣的濾色器的情況下，沿垂直方向以(N — I)行周期讀出行圖像數(shù)據時，雖然相位錯動但成為基本排列圖案重復而成的圖像。在圖7中，示出了在N = 6的濾色器的基本排列圖案的垂直方向的2個一半周期的區(qū)域內分別成為線對稱時的圖像圖。
[0105]另外，在圖8中，示出了在N = 6的情況下，以第3、4行為中心而成為線對稱的基本排列圖案的圖像圖，在圖9中，示出了在N = 5的情況下，以第3行為中心成為線對稱的基本排列圖案的圖像圖。這些情況下，在沿垂直方向以(N — I)行周期讀出行圖像數(shù)據時，間拔后的圖像也為包含基本排列圖案重復而成的圖像這樣的圖像。
[0106]另外，例如圖2所示的基本排列圖案那樣，可以還相對于水平方向為線對稱，或者在該基本排列圖案的水平方向的2個一半周期的區(qū)域內相對于水平方向分別為線對稱。
[0107]攝像處理部16對從攝像元件14輸出的攝像信號實施放大處理或相關雙重采樣處理、A/D轉換處理等的預先確定的處理，作為圖像數(shù)據向圖像處理部20輸出。
[0108]圖像處理部20對從攝像處理部16輸出的圖像數(shù)據實施所謂去馬賽克算法處理。即，關于全部像素，對對應的顏色以外的顏色的圖像數(shù)據根據周圍的像素的像素數(shù)據進行插補，生成全部像素的R、G、B的圖像數(shù)據。并且，對生成的R、G、B的圖像數(shù)據實施所謂YC轉換處理，生成亮度數(shù)據Y、色差數(shù)據Cr、Cb。并且，進行將這些信號縮放為與攝影模式相應的尺寸的縮放處理。
[0109]驅動部22按照來自控制部24的指示而進行從攝像元件14讀出攝像信號的讀出驅動等。
[0110]控制部24根據攝影模式等而統(tǒng)一控制驅動部22及圖像處理部20等。詳細情況后述，控制部24指示驅動部22使得以與攝影模式對應的讀出方法來讀出攝像信號，或者指示圖像處理部20以進行與攝影模式對應的圖像處理。
[0111]根據攝影模式的不同，有時需要對來自攝像元件14的攝像信號進行間拔讀出，因此控制部24指示驅動部22以與所指示的攝影模式對應的間拔方法間拔地讀出攝像信號。
[0112]作為攝影模式包括:拍攝靜止圖像的靜止圖像模式、對拍攝到的圖像進行間拔而生成較高分辨率的HD(高清)動畫數(shù)據并記錄在未圖示的存儲卡等記錄介質中的HD動畫模式、對拍攝到的圖像進行間拔而將較低分辨率的實時取景動畫(實時取景圖像)輸出到未圖示的顯示部的實時取景動畫模式(實時取景模式)等動畫模式，但攝影模式的種類并不局限于此。
[0113]接下來，作為本實施方式的作用，對于由控制部24執(zhí)行的處理，參照圖10所示的流程圖進行說明。
[0114]需要說明的是，圖10所示的處理在指示了執(zhí)行與攝影模式對應的攝影的情況下執(zhí)行。而且，以下，說明在垂直方向上以預先規(guī)定的周期讀出行圖像數(shù)據的情況，即，對垂直方向上的預先規(guī)定的周期的行以外的行進行間拔(去除)而讀出的情況。而且，這種情況的行圖像數(shù)據是沿水平方向排列的像素的像素數(shù)據的集合。
[0115]首先，在步驟100中，以通過與攝影模式對應的間拔方法讀出圖像數(shù)據的方式對驅動部22作出指示。
[0116]在本實施方式中，指示驅動部22以從攝像元件14在垂直方向上以(N — k)行(0〈k〈N)周期讀出沿水平方向的行的行圖像數(shù)據。即，指示驅動部22使得以基本排列圖案P的垂直方向的周期以下的周期讀出沿水平方向的行的行圖像數(shù)據(在本實施方式中，驅動部22及控制部24對應于行圖像數(shù)據生成單元)。
[0117] 例如圖2所示的濾色器為N = M = 6，為了使間拔后的圖像成為包含基本排列圖案P的圖像而設為k = I。因此，指示驅動部22以在垂直方向上以5行周期僅讀出沿水平方向的行的行圖像數(shù)據。由此，垂直方向每5行讀出I行量的圖像數(shù)據，該圖像成為包含基本排列圖案P重復而成的圖像這樣的圖像。
[0118]在步驟102中，指示圖像處理部20以對間拔讀出后的圖像數(shù)據執(zhí)行與攝影模式對應的圖像處理(例如去馬賽克算法處理、YC轉換處理、重定尺寸處理等)(在本實施方式中，圖像處理部20及控制部24對應于圖像數(shù)據生成單元)。
[0119]需要說明的是，控制部24及圖像處理部20可以由包含CPU、ROM、RAM、非易失性ROM等的計算機構成。這種情況下，可以將上述的處理的處理程序例如預先存儲在非易失性ROM中，CPU將其讀入并執(zhí)行。
[0120]這樣，在本實施方式中，以小于基本排列圖案P的垂直方向的像素數(shù)的周期來讀出行圖像數(shù)據，因此與以基本排列圖案P的垂直方向的像素數(shù)以上的周期來讀出行圖像數(shù)據的情況相比，間拔率可以減小，能夠抑制畫質劣化。
[0121]另外，本實施方式的濾色器將G濾光片、R濾光片及B濾光片沿垂直方向及水平方向分別配置，因此即使以(N — k)行周期進行讀出，讀出的各行圖像數(shù)據中也包含G濾光片、R濾光片及B濾光片。
[0122]因此，不是如在以往的拜耳排列中進行1/2間拔的情況那樣，讀出的行圖像數(shù)據僅包含G和R、或G和B這2色的行圖像數(shù)據，因此在讀出任意的行圖像數(shù)據都能夠進行顏色再現(xiàn)。而且，即使基本排列圖案的尺寸變大，也能夠以低間拔率進行間拔。
[0123]另外，在本實施方式中，由于沿垂直方向以(N — I)行周期進行讀出，因此間拔后的圖像也與間拔前同樣地成為包含基本排列圖案重復而成的圖像這樣的圖像。
[0124]因此，能夠和靜止圖像攝影那樣未對圖像數(shù)據進行間拔的情況共通地進行圖像處理。
[0125](第2實施方式)
[0126]接下來，說明本發(fā)明的第2實施方式。在本實施方式中，說明濾色器的變形例。
[0127]圖11示出了本實施方式的濾色器。如該圖所示，本實施方式的濾色器包含由與6 X 6像素對應的正方排列圖案構成的基本排列圖案P (由粗框表示的圖案)，該基本排列圖案P沿水平方向及垂直方向重復配置。即，該濾色器排列將R、G、B的各色的濾光片(R濾光片、G濾光片、B濾光片)以規(guī)定的周期性來排列。
[0128]另外，圖11所示的濾色器排列中，G濾光片配置在濾色器排列的垂直方向及水平方向的各行內。
[0129]另外，圖11所示的濾色器排列中，R濾光片、B濾光片在基本排列圖案P內在濾色器排列的垂直方向及水平方向的各行內配置I個以上。
[0130]圖12示出將圖11所示的基本排列圖案P四分成3X3像素的狀態(tài)。
[0131]如圖12所示，基本排列圖案P可以當作由實線的框包圍的3X3像素的A排列和由虛線的框包圍的3X3像素的B排列沿水平、垂直方向交替排成的排列。
[0132]A排列在中心配置有R濾光片，在四角配置有B濾光片，隔著中心的R濾光片上下左右配置有G濾光片。另一方面，B排列在中心配置有B濾光片，在四角配置有R濾光片，隔著中心的B濾光片上下左右配置有G濾光片。上述的A排列和B排列使R濾光片與B濾光片的位置關系顛倒，但是其他的配置同樣。
[0133]如圖13A所示，第I實施方式的濾色器也可以當作是上述A排列和B排列沿水平
及垂直方向交替配置。[0134]現(xiàn)在，如圖13A所示，在從攝像元件14輸出的馬賽克圖像以A排列為中心而提取5X5像素的局部區(qū)域(由粗框表示的區(qū)域)的情況下，該局部區(qū)域內的8個G像素如圖13B所示配置成十字形狀。這些G像素按照從左至右的順序設為G1、G2、G3、G4，按照從上至下的順序設為G5、G6、G7、G8時，像素G1G2、像素G2G3在水平方向上相鄰，像素G5G6、像素G7G8在垂直方向上相鄰，像素G6G3、像素G2G7在左上斜方向上相鄰，像素G6G2、像素G3G7在右上斜方向上相鄰。
[0135]因此，通過求出上述的相鄰的像素的像素值的差的絕對值，能夠以最小像素間隔判別水平、垂直及傾斜(NE、NW)方向的各方向中的、亮度的變化最小的方向(相關性高的相關方向)。
[0136]即，水平方向的差的絕對值之和為Igi — G2| + |G3 — G4|，水平方向的差的絕對值之和為G5 — G6| + |G7 — G8|，右上斜方向的差的絕對值之和為G6 — G2 | + |G3 — G7 |，左上斜方向的差的絕對值之和為|G6 — G3| + |G2G7|。
[0137]能夠判別為這4個相關絕對值中差的絕對值最小的方向具有相關性(相關方向)。需要說明的是，判別的相關方向可以在進行去馬賽克算法處理等時被利用。
[0138]另外，構成圖11所示的濾色器的基本排列圖案P相對于該基本排列圖案P的中心而點對稱。
[0139]如圖12所示，基本排列圖案內的A排列及B排列分別相對于中心的R濾光片或G濾光片成為點對稱，且上下左右 成為對稱(線對稱)。
[0140]另外，構成圖11所示的濾色器排列的基本排列圖案P在從攝像元件14沿垂直方向以(N — I)行周期讀出沿水平方向的行的行圖像數(shù)據時，成為基本排列圖案P重復而成的圖像。即，圖11所示的濾色器在基本排列圖案的垂直方向的一半周期的區(qū)域即垂直方向的I~3行的區(qū)域內，以第2行為中心沿垂直方向為線對稱，在垂直方向的4~6行的區(qū)域內，以第5行為中心而為線對稱。
[0141]這樣，第2實施方式的濾色器具有與第I實施方式的濾色器的特征(I)、(3)~(6)相同的特征。
[0142](第3實施方式)
[0143]接下來，說明本發(fā)明的第3實施方式。在本實施方式中，說明沿垂直方向以預先規(guī)定的周期讀出行圖像數(shù)據并讀出與所讀出的行圖像數(shù)據為同一排列的行圖像數(shù)據而進行像素混合(例如像素加算)的情況。
[0144]在本實施方式中，控制部24在圖10的步驟100中，指示驅動部22以從攝像元件14沿垂直方向以(N — k)行(0KN/2)周期讀出沿水平方向的行圖像數(shù)據，并讀出從該行圖像數(shù)據起在垂直方向上以N行周期沿水平方向讀出的行圖像數(shù)據。
[0145]另外，控制部24在圖10的步驟102中，指示圖像處理部20以執(zhí)行以下的圖像處理:對以垂直方向(N - k)行周期沿水平方向讀出的行圖像數(shù)據和從該行圖像數(shù)據起在垂直方向上以N行周期沿水平方向讀出的行圖像數(shù)據同色像素彼此分別進行像素混合。
[0146]圖14示出了如下情況:在6X6像素的基本排列圖案P重復配置的濾色器中，沿垂直方向以(N — 2)行周期讀出行圖像數(shù)據，即如圖14的實線的箭頭所示，以4行周期讀出行圖像數(shù)據(垂直方向1/4間拔)，并讀出從以4行周期讀出的行圖像數(shù)據起沿垂直方向以N行周期即如圖14的虛線的箭頭所示以6行周期讀出的行圖像數(shù)據，并將它們同色像素彼此分別進行像素加算。
[0147]如圖14所示，以4行周期讀出的行圖像數(shù)據的排列與從該行圖像數(shù)據起的6行后的行圖像數(shù)據的排列相同。
[0148]這樣，對于以4行周期讀出的行圖像數(shù)據和從該行圖像數(shù)據起垂直方向上6行后的同一排列的行圖像數(shù)據，相同的顏色彼此進行像素加算，即沿水平方向為同一位置的像素彼此進行像素加算，由此與不進行像素加法運算的情況相比，能夠提高圖像的S/N比。
[0149]需要說明的是，在使用了圖14所示的濾色器的情況下，在k>N/2時，例如，k = 4時，以2行周期讀出行圖像數(shù)據(沿垂直方向為1/2間拔)，并從該行圖像數(shù)據起以6行周期讀出行圖像數(shù)據。這種情況下，以2行周期讀出的行圖像數(shù)據與從該行圖像數(shù)據起以6行周期讀出的行圖像數(shù)據在垂直方向上成為相同位置，因此不優(yōu)選。因此，在進行像素混合的情況下，優(yōu)選為k<N/2。
[0150]需要說明的是，在本實施方式中，說明了將同一排列的行圖像數(shù)據的同色彼此的像素值單純進行加算的情況，但并不局限于此，也可以賦以權重地進行加算。
[0151](第4實施方式)
[0152]接下來，說明本發(fā)明的第4實施方式。在本實施方式中，對以下情況進行說明:攝像元件14由CMOS傳感器構成，將多個像素作為共有像素，并按照各共有像素將信號放大。
[0153]圖15示出了由MOS型(例如CMOS)圖像傳感器構成的攝像元件14的概略結構。 [0154]圖15所示的攝像元件14包括形成在半導體基板上的像素陣列30、垂直驅動掃描電路32、列信號處理電路34、水平驅動掃描電路36、信號線38及放大器40而構成。
[0155]像素陣列30包含垂直方向及水平方向的呈二維狀排列的多個像素而構成。
[0156]垂直驅動掃描電路32 —并選擇沿水平方向的掃描行上的多個像素而進行驅動。需要說明的是，也可以逐個地選擇掃描行上的像素而進行驅動。
[0157]列信號處理電路34由未圖示的多個信號處理電路構成。該信號處理電路按照水平方向的各共有像素而設置。各信號處理電路包含未圖示的ADC(模擬一數(shù)字轉換)電路而構成。該ADC電路將來自各像素的對應于像素值的攝像信號分別轉換成數(shù)字信號。
[0158]水平驅動掃描電路36包括:與列信號處理電路34包含的多個信號處理電路分別連接的未圖示的開關；對該開關進行通斷控制的未圖示的控制電路。通過將該開關接通，將由信號處理電路處理后的攝像信號向信號線38輸出，該攝像信號經由放大器40而向攝像元件14的外部輸出。
[0159]需要說明的是，垂直驅動掃描電路32、列信號處理電路34及水平驅動掃描電路36由驅動部22控制。
[0160]在本實施方式中，將多個像素作為共有像素，按照各共有像素將信號放大。在圖16中，示出了沿垂直方向及水平方向將2X2像素的總計4像素作為共有像素，并將這4像素利用同一放大器進行放大時的結構。
[0161]如圖16所示，分別由MOS晶體管等構成的開關SWl~SW4的一端與作為像素的光電二極管PDl~ro4的陰極分別連接。并且，開關SWl~SW4的另一端與復位開關RST及放大器AP的輸入端連接，放大器AP的輸出端與信號線S連接。信號線S與列信號處理電路34的未圖示的信號處理電路連接。
[0162]電荷傳送控制信號VTl~VT4從垂直驅動掃描電路32向開關SWl~SW4分別輸入。垂直驅動掃描電路32將欲讀出電荷的開關接通，由此將連接有該開關的光電二極管中蓄積的電荷利用放大器AP放大而向信號線S輸出。
[0163]在本實施方式中，如圖16所示，成為每2X2像素連接有I個放大器AP的結構，因此能夠減少開關的個數(shù)，能夠實現(xiàn)高精細化。需要說明的是，像素共有的像素數(shù)并不局限于2X2像素，也可以為3X3像素以上，在垂直方向上共有的像素數(shù)與在水平方向上共有的像素數(shù)可以不同。
[0164]另外，如圖16所示，在各光電二極管設有開關的MOS型圖像傳感器中，通過向掃描行上的每多個像素或每I像素依次施加快門脈沖而進行蓄積于光電二極管的電荷的掃出的所謂旋轉快門方式，來進行電荷的掃出。
[0165]具體而言，不是對于I畫面內的全部像素一齊進行復位，而是對于掃描行上的每多個像素或每I像素依次進行復位而開始曝光，執(zhí)行攝像信號的讀出。
[0166]在旋轉快門方式的情況下，如圖17所示，例如按照各掃描行重復進行復位、曝光、讀出。
[0167]另外，由于多個像素共有I個放大器，因此在共有像素內，僅能讀出I個像素。因此，在沿垂直方向對圖像數(shù)據進行間拔讀出的情況下，在垂直方向上的共有像素內欲讀出多個行圖像數(shù)據時，必須在共有像素內首先讀出的行上的像素的復位、曝光、讀出結束之后，才進行共有像素內的下一讀出的行上的像素的復位、曝光、讀出。因此，曝光時機產生大的差別，給圖像造成產生偽色等的壞影響。例如，將共有像素設為3X3像素，以垂直方向1/2間拔來讀出第I行、第3行的行圖像數(shù)據的情況下，若不是在第I行的像素的復位、曝光、讀出結束之后，則無法進行第3行的像素的復位、曝光、讀出。
[0168]因此，在像素共有的情況下，優(yōu)選沿垂直方向將(N — k)像素以下的多個像素作為共有像素，按照各該共有像素將攝像信號放大的結構?；蛘撸瑑?yōu)選構成為，在沿垂直方向像素共有L像素量的情況下，優(yōu)選沿垂直方向進行間拔讀出的像素周期(N - k)大于L。
[0169]例如第I實施方式中說明那樣，在使用了 6X6像素的基本排列圖案重復的圖2所示的濾色器的情況下，在k= I而沿垂直方向以(N — I)行周期即以5行周期讀出沿水平方向的行圖像數(shù)據時，優(yōu)選沿垂直方向以(N — k) = 5像素以下進行像素共有。例如若以2X2像素進行像素共有，則在垂直方向上的共有像素內不會讀出多個行圖像數(shù)據，因此能夠防止各行的曝光時機較大錯動的情況。
[0170](第5實施方式)
[0171]接下來，說明本發(fā)明的第5實施方式。在本實施方式中，說明根據攝影模式對讀出的行進行切換即對間拔方法進行切換的情況。
[0172] 在圖18所示的6X6像素的基本排列圖案P重復的濾色器的情況下，第2行、第5行、第8行、第11行的行圖像數(shù)據包含的R、B比G多。因此，在選擇了對含有較多的R、B的被攝體進行拍攝的攝影模式的情況下，控制部24指示驅動部22以將第2行作為開頭而沿垂直方向以1/3間拔來讀出行圖像數(shù)據。由此，在拍攝R、B多的被攝體的情況下，能夠提高析像感。而且，在拍攝R、B極少的被攝體的情況下，能夠提高圖像的S/N比。
[0173]另外，如圖18所示，第I行目、第4行、第7行、第10行的行圖像數(shù)據所包含的G比R、B多。因此，在選擇了對包含較多的G的被攝體進行拍攝的攝影模式的情況下，控制部24指示驅動部22以將第I行作為開頭而沿垂直方向以1/3間拔來讀出行圖像數(shù)據。由此，在拍攝G多的被攝體時，能夠提高圖像的S/N比。
[0174]另外，如圖18所示，第2行、第4行、第7行、第11行的行圖像數(shù)據的R、B、G的比率為相同程度。因此，在選擇了對含有較多黑白成分的被攝體進行拍攝的攝影模式的情況下，控制部24指示驅動部22以按照第2行、第4行、第7行、第11行…的順序讀出行圖像數(shù)據。由此，在拍攝黑白成分多的被攝體時，能夠提高圖像的S/N比。
[0175]另外，在未要求比較高的分辨率的攝影模式的情況下，控制部24可以如圖19所示指示驅動部22使得沿垂直方向以(N+k)行(0〈k〈N)周期讀出沿水平方向的行圖像數(shù)據。在圖19的情況下，N = 6，k = 1，沿垂直方向以7行周期讀出行圖像數(shù)據。這種情況下，如圖19所示，間拔后的圖像也成為基本排列圖案P重復而成的圖像。因此，能夠對間拔后的圖像數(shù)據實施與靜止圖像攝影那樣沒有對圖像數(shù)據進行間拔時的圖像處理共通的處理。
[0176]這樣，在本實施方式中，根據攝影模式能夠對讀出的行進行切換，即對間拔方法進行切換，因此根據攝影模式能夠適當?shù)乜刂茍D像的分辨率、S/N比，并且在AWB(自動白平衡)控制或AE(自動露出)控制中能夠進行適當?shù)脑O定。
[0177]另外，如前述那樣，在以往的拜耳排列的濾色器中，沿垂直方向每偶數(shù)行讀出I行量的圖像數(shù)據時(例如垂直方向1/2間拔)，成為僅讀出G和R、或G和B這2色的行圖像數(shù)據，因此沿垂直方向每奇數(shù)行僅能讀出I行量的圖像數(shù)據。
[0178]相對于此，在本實施方式的濾色器中，既能夠沿垂直方向每偶數(shù)行讀出I行量的圖像數(shù)據，也能夠沿垂直方向每奇數(shù)行讀出I行量的圖像數(shù)據。
[0179]這樣，垂直方向的任何行的圖像數(shù)據都能夠讀出，因此能夠應對各種分辨率或幀率。例如，根據攝影模式，在欲優(yōu)先提高幀率的情況下，使分辨率下降，在優(yōu)先提高分辨率的情況下，降低幀率等，從而能夠應對各種攝影模式。
[0180]另外，也可以根據被攝體的動作來對讀出的行進行切換。例如，在使攝像裝置搖攝的情況下，使用被攝體信息(例如幀間信息)或者使用陀螺傳感器等外部傳感器來檢測被攝體移動量。
[0181]并且，根據被攝體移動量來設定分辨率或幀率，通過與設定的分辨率或幀率對應的間拔方法來讀出圖像數(shù)據。由此，能夠得到被攝體的動作的延遲與析像感的最佳平衡。
[0182]需要說明的是，濾色器排列并不局限于上述各實施方式中說明的結構，在具有以下那樣的濾色器排列的攝像元件的攝像裝置中也可以應用本發(fā)明。
[0183]例如，作為具有上述特征⑴、(2)、⑷、(5)、(6)的濾色器排列，例如圖20所示，有基本排列圖案P為3X3像素的濾色器排列。該濾色器排列是由以下的基本排列圖案重復而成:在3 X 3像素中的中心和四角配置有G濾光片且在其余的4像素配置有同數(shù)的R或B。作為具有上述特征(I)、(2)、(3)、(4)、(5)、(6)的濾色器排列，如圖21所示，有基本排列圖案P為5X5像素的濾色器排列。該濾色器排列由如下設定的基本排列圖案重復而成:在5X5像素中的2條對角線上配置有G,在其余的像素位置R、B像素配置為在5X5像素中的水平及垂直方向的各行內配置I個以上，且G的個數(shù)比R、B的個數(shù)多。上述的濾色器具有特征(6)，因此如圖20、21所示，在沿垂直方向以(N — I)行周期讀出行圖像數(shù)據時，間拔后的圖像成為包含基本排列圖案重復而成的圖像這樣的圖像。
[0184]另外，作為具有上述特征⑴、(3)、⑷、(5)、(6)的濾色器排列，存在如圖22所示基本排列圖案P為4X 4像素的濾色器排列。該濾色器排列由如下設定的基本排列圖案重復而成:在4X4像素中的2條對角線上配置有G,在其余的像素位置R、B像素配置為在4X4像素中的水平及垂直方向的各行內配置I個以上，且G的個數(shù)比R、B的個數(shù)多。另外，作為具有上述特征(I)、(2)、(3)、(6)的濾色器排列，存在如圖23所示基本排列圖案P為5X5像素的濾色器排列。另外，作為具有上述特征(I)、(2)、(3)的濾色器排列，存在如圖24所示基本排列圖案P為6X6像素的濾色器排列。該濾色器排列由如下配置的基本排列圖案重復而成:G呈矩形形狀地配置于R或B的外周的第I子排列和G配置于中央部的第2子排列分別各2個地沿水平方向、垂直方向交替地彼此相鄰。在該排列中，在特征(3)中，還具有R及B在濾色器排列的傾斜(NE、NW)方向(第3方向)的各行內配置I個以上的特征。另外，作為具有上述特征(I)、(2)、(3)、(4)、(5)、(6)的濾色器排列，如圖25所示，存在基本排列圖案P為7X7像素的濾色器排列，作為具有上述特征(I)、(2)、(3)的濾色器排列，如圖26所不，有基本排列圖案P為8X8像素的濾色器等。
[0185]需要說明的是，當考慮到去馬賽克算法處理或動畫攝影時的間拔處理等的圖像處理的容易度時，N、M優(yōu)選為10以下。
[0186]另外，在上述實施方式中，說明了具有RGB的3原色的濾色器的彩色攝像元件，但本發(fā)明并不局限于此，也可以適用于RGB的3原色+其他的顏色(例如，翠綠(E))這4色的濾色器例如圖27所示那樣的濾色器。而且，也可以將本發(fā)明適用于作為其他的顏色而具有白色或透明(W)濾光片的濾色器。例如可以取代圖27的翠綠而配置W濾光片。這種情況下，W與G的組合、或W成為對亮度信號最有助的第I色。
[0187]另外，本發(fā)明也可以適用于具有作為原色RGB的互補色的C(青色)、M(品紅)、Y(黃色)中加入了 G的4色的互補色系的濾色器的彩色攝像元件。
[0188]另外，在 上述各實施方式中，說明了沿垂直方向以預先規(guī)定的周期讀出沿水平方向的行圖像數(shù)據的情況，但是也可以將本發(fā)明適用于沿水平方向以預先規(guī)定的周期讀出沿垂直方向的行圖像數(shù)據的情況。
[0189]另外，在本實施方式中，說明了從攝像元件14沿垂直方向以(N — k)行周期讀出沿水平方向的行的像素的像素信號來生成行圖像數(shù)據，并基于這些行圖像數(shù)據來生成圖像數(shù)據的情況，但也可以讀出全部行量的像素的像素信號，選擇性地使用(N — k)行周期的行的行圖像數(shù)據(不使用或不存儲其他的行的行圖像數(shù)據)，來生成圖像數(shù)據。而且，還可以讀出全部行量的像素的像素信號而暫時存儲于RAM等存儲器，選擇性地使用(N — k)行周期的行的行圖像數(shù)據來作成圖像數(shù)據(在此方式的情況下，攝像處理部16或圖像處理部20對應于行圖像數(shù)據生成單元)。
[0190]此外，本發(fā)明并未限定為上述的實施方式，在不脫離本發(fā)明的主旨的范圍內能夠進行各種變形，這是不言而喻的。
[0191]附圖標記說明
[0192]10攝像裝置
[0193]12光學系統(tǒng)
[0194]14攝像元件
[0195]16攝像處理部
[0196]20圖像處理部
[0197]22驅動部[0198]24控制部
[0199]30像素陣列
[0200]32垂直驅動掃描電路
[0201]34列信號處理電路
[0202]36水平驅動掃描電路
[0203]38信號線
[0204]40放大器
[0205]AP放大器
[0206]P基本排列圖案
[0207]PDl~PD4光電二極管
[0208]RST復位開關
[0209]S信號線
[0210] Sffl ~SW4 開關
【權利要求】
1.一種攝像裝置，具備: 攝像元件，包括在預先規(guī)定的第I方向及與所述第I方向交叉的第2方向上排列的多個光電轉換兀件； 濾色器，設于由所述多個光電轉換元件構成的多個像素上，并重復配置有以下的基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與所述第I色以外的兩色以上的第2色對應的第2濾光片在所述第I方向及所述第2方向上以(NXM)像素的預先規(guī)定的圖案配置，其中N、M為3以上的整數(shù)； 行圖像數(shù)據生成單元，從所述攝像元件以設定的周期讀出所述多個像素中的像素信號，并根據讀出的所述像素信號，生成所述多個像素中的在第I方向上以(N — k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，其中0〈k〈N，k為自然數(shù)； 圖像數(shù)據生成單元，基于所述行圖像數(shù)據來生成圖像數(shù)據。
2.根據權利要求1所述的攝像裝置，其中， 所述行圖像數(shù)據生成單元以所述第I方向上(N — k)行周期作為所述設定的周期從所述攝像元件讀出所述像素信號而生成所述行圖像數(shù)據。
3.根據權利要求1或2所述的攝像裝置，其中， 所述基本排列圖案在該 基本排列圖案的整個區(qū)域中相對于所述第I方向為線對稱或者在該基本排列圖案的所述第I方向上的2個一半周期的區(qū)域中相對于所述第I方向分別為線對稱， 所述行圖像數(shù)據生成單元生成以(N -1)行周期作為所述設定的周期而在所述第I方向上排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據。
4.根據權利要求1~3中任一項所述的攝像裝置，其中， 所述行圖像數(shù)據生成單元生成以(N - k)行(0〈k ( N/2)周期作為所述設定的周期而在所述第I方向上排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，并且根據該行圖像數(shù)據，生成在所述第I方向上以N行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據， 所述攝像裝置具備像素混合單元，該像素混合單元對所述第I方向上以(N - k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據和從該行圖像數(shù)據起在所述第I方向上以N行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據同色像素彼此分別進行像素混合。
5.根據權利要求1~4中任一項所述的攝像裝置，其中， 所述攝像元件包括放大單元，該放大單元將所述第I方向上(N - k)像素以下的多個像素作為共有像素，對每個該共有像素放大攝像信號。
6.根據權利要求1~5中任一項所述的攝像裝置，其中， 具備切換單元，切換第I生成方法和第2生成方法，該第I生成方法生成在所述第I方向上以(N — k)行(0〈k〈N)周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，該第2生成方法生成在所述第I方向上以(N+k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據。
7.根據權利要求1~6中任一項所述的攝像裝置，其中，所述第I濾光片在所述濾色器面內在所述第I方向、所述第2方向、與所述第I方向及所述第2方向交叉的第3方向的各行內配置I個以上， 與所述第2色的各色對應的所述第2濾光片在所述基本排列圖案內在所述第I方向及所述第2方向的各行內分別配置I個以上。
8.根據權利要求1~7中任一項所述的攝像裝置，其中， 所述濾色器包含由所述第I濾光片構成的與2X2像素對應的正方排列。
9.根據權利要求1~8中任一項所述的攝像裝置，其中， 所述第I色是綠(G)色，所述第2色是紅(R)色及藍⑶色。
10.根據權利要求9所述的攝像裝置，其中， 所述濾色器具有與紅(R)色、綠(G)色、藍(B)色對應的R濾光片、G濾光片及B濾光片，并且， 所述濾色器由第I排列和第2排列交替地排列于所述第I方向及所述第2方向上而構成，該第I排列對應于3X3像素，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配置有B濾光片，左右排列有R濾光片，該第2排列對應于3X3像素，在中心和四角配置有G濾光片，隔著中心的G濾光片上下配直有R濾光片，左右排列有B濾光片。
11.根據權利要求9所述的攝像裝置，其中， 所述濾色器具有與紅(R)色、綠(G)色、藍(B)色對應的R濾光片、G濾光片及B濾光片，并且， 所述濾色器由第I排列和第2排列交替地排列于所述第I方向及所述第2方向上而構成，該第I排列對應于3X3像素，在中心配置有R濾光片，在四角配置有B濾光片，隔著中心的R濾光片上下左右配置有G濾光片，該第2排列對應于3X3像素，在中心配置有B濾光片，在四角配置有R濾光片，隔著中心的B濾光片上下左右配置有G濾光片。
12.根據權利要求1~11中任一項所述的攝像裝置，其中， 所述濾色器相對于所述基本排列圖案的中心而點對稱。
13.一種攝像裝置的控制方法， 該攝像裝置具備: 攝像元件，包括在預先規(guī)定的第I方向及與所述第I方向交叉的第2方向上排列的多個光電轉換兀件； 濾色器，設于由所述多個光電轉換元件構成的多個像素上，并重復配置有以下基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與所述第I色以外的兩色以上的第2色對應的第2濾光片在所述第I方向及所述第2方向上以(NXM)像素的預先規(guī)定的圖案配置，其中N、M為3以上的整數(shù)， 所述攝像裝置的控制方法中， 從所述攝像元件以設定的周期讀出所述多個像素中的像素信號， 根據讀出的所述像素信號，生成所述多個像素中的在第I方向上以(N - k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，其中0〈k〈N，k為自然數(shù)，基于所述行圖像數(shù)據來生成圖像數(shù)據。
14.一種控制程序，用于使控制攝像裝置的計算機執(zhí)行處理， 該攝像裝置具備:攝像元件，包括在預先規(guī)定的第I方向及與所述第I方向交叉的第2方向上排列的多個光電轉換兀件； 濾色器，設于由所述多個光電轉換元件構成的多個像素上，并重復配置有以下的基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與所述第I色以外的兩色以上的第2色對應的第2濾光片在所述第I方向及所述第2方向上以(NXM)像素的預先規(guī)定的圖案配置，其中N、M為3以上的整數(shù)， 所述處理包括以下步驟: 從所述攝像元件以設定的周期讀出所述多個像素中的像素信號； 根據讀出的所述像素信號，生成所述多個像素中的在第I方向上以(N - k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，其中0〈k〈N，k為自然數(shù)； 基于所述行圖像數(shù)據來生成圖像數(shù)據。
15.一種控制程序，用于使計算機執(zhí)行處理， 所述處理包括以下步驟: 根據從包括在 預先規(guī)定的第I方向及與所述第I方向交叉的第2方向上排列的多個光電轉換元件和設于由上述多個光電轉換元件構成的多個像素上的濾色器的攝像元件以設定的周期讀出所述多個像素中的像素信號而得到的像素信號，生成所述多個像素中的在第I方向上以(N — k)行周期排列且沿所述第2方向排列的像素的像素信號所構成的行圖像數(shù)據，所述濾色器重復配置有以下的基本排列圖案:與最有助于獲得亮度信號的第I色對應的第I濾光片和與所述第I色以外的兩色以上的第2色對應的第2濾光片在所述第I方向及所述第2方向上以(NXM)像素的預先規(guī)定的圖案配置，其中N、M為3以上的整數(shù)，0〈k〈N，k為自然數(shù)； 基于所述行圖像數(shù)據來生成圖像數(shù)據。
【文檔編號】H04N9/07GK104025576SQ201280064783
【公開日】2014年9月3日 申請日期:2012年12月27日 優(yōu)先權日:2011年12月27日
【發(fā)明者】田中誠二, 林健吉, 河合智行, 倉橋秀和, 河村典子, 堀井洋史 申請人:富士膠片株式會社