專利名稱:攝像裝置和光軸控制方法
技術領域:
本發(fā)明涉及攝像裝置和光軸控制方法。本申請是基于2008年4月2日在日本申請的專利申請2008-95851號主張優(yōu)先權, 并在此處引用其內容。
背景技術:
近年,高畫質的數(shù)字靜像攝像機和數(shù)字攝影機(以下稱為數(shù)碼攝像機)正在迅速 普及。而且,與此同時數(shù)碼攝像機的小型化、薄型化的開發(fā)也被推進,小型且高畫質的數(shù)碼 攝像機開始被搭載于便攜式電話等中。數(shù)碼攝像機所代表的攝像裝置基本上由攝像元件和透鏡光學系統(tǒng)構成。使 用 CMOS (Complementary Metal Oxide Semiconductor)傳感器或 CCD (Charge Coupled Device)傳感器等電子器件作為攝像元件。這些攝像元件對成像于攝像面的光量分布進行 光電變換并記錄為攝影圖像。作為透鏡光學系統(tǒng),為了消除象差,由多數(shù)枚非球面透鏡構 成。并且在具有變焦功能的情況下,需要改變多個透鏡和攝像元件的間隔的驅動機構(執(zhí) 行元件)。另一方面,響應攝像裝置的高畫質化、高功能化的要求,攝像元件向著多像素化、 高精細化發(fā)展,成像光學系統(tǒng)向著低象差、高精度化發(fā)展。與此同時,存在攝像裝置變大,小 型化、薄型化變得困難的課題。針對這樣的課題,提出了在透鏡光學系統(tǒng)中采用復眼構造的 技術,以及由多個攝像元件與透鏡光學系統(tǒng)構成的攝像裝置。例如,提出了由配置為平面狀的固體透鏡陣列和液晶透鏡陣列以及攝像元件構成 的攝像透鏡裝置(例如,參照專利文獻1)。該攝像透鏡裝置,如圖24所示,由如下部分構 成透鏡系統(tǒng),其具有透鏡陣列2001和相同數(shù)目的可變焦型的液晶透鏡陣列2002 ;攝像 元件2003,其對通過該透鏡系統(tǒng)成像的光學像進行攝像;運算裝置2004,其對由攝像元件 2003得到的多個圖像進行圖像處理而重構全體的圖像;和液晶驅動裝置2005,其從運算裝 置2004檢測聚焦信息并驅動液晶透鏡陣列2002。通過該結構可以實現(xiàn)縮短了焦點距離的 小型薄型的攝像透鏡裝置。另外,還提出了對由攝像透鏡、彩色濾波器、檢測器陣列構成的4個子攝像機進行 組合,具有子像素分辨率的薄型彩色攝像機(例如參照專利文獻2)。該薄型彩色攝像機,如 圖25所示,由4個透鏡22a 22d、彩色濾波器25、和檢測器陣列24構成。彩色濾波器25 由透過紅色光(R)的濾波器25a、透過綠色光(G)的濾波器25b和25c、透過藍色光(B)的 濾波器25d構成,檢測器陣列對紅色、綠色、藍色的圖像進行攝影。根據(jù)該結構,可以從在人 的視覺系統(tǒng)中具有高靈敏度的綠色的兩個圖像形成高分辨率的合成圖像,并與紅色和藍色 組合得到全彩色圖像。專利文獻1 JP特開2006-251613號公報專利文獻2 JP特表2007-520166號公報另外,在多眼攝像裝置中生成全彩色圖像的情況下,需要解決顏色偏差的問題。在專利文獻2 (圖25)中公開的薄型彩色攝像機因為由4個子攝像機構成,并且彩色濾波器25 成為拜耳排列,所以顏色偏差的問題較少,但在具備更多的子攝像機來高分辨率化的情況 下,各色子攝像機的攝影位置偏離,因此會產生紅、綠、藍的圖像間的偏差(視差)。例如,即 使在產品組裝時嚴密地進行了調整,但經過時間變化等光學透鏡系統(tǒng)和攝像元件的相對位 置也會變化,因此會發(fā)生該偏差。并且,存在如下問題因為紅、綠、藍的圖像間的偏差量根 據(jù)到攝影對象為止的距離(攝影距離)而變化,所以很難用唯一的調整來對應。在可以拍 攝高分辨率的細致圖案的多眼攝像裝置中,解決全彩色合成時的顏色偏差問題的必要性很 大。
發(fā)明內容
本發(fā)明鑒于這種情況而作,目的在于提供一種即使在為了提高分辨率而具備多個 攝像裝置的情況下,也可以生成無顏色偏差的高精細的全彩色圖像的攝像裝置和光軸控制 方法。本發(fā)明的特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進 行攝像的第1攝像元件和使像成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像 部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2攝像元件上的 第2光學系統(tǒng)構成;藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成 像于所述第3攝像元件上的第3光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠 色攝像部中拍攝的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調 整入射到所述綠色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和 顏色合成處理部,其以由所述高畫質合成處理部得到的所述高分辨率的綠色圖像和由所述 紅色攝像部拍攝的紅色圖像的相關值、以及所述高分辨率的綠色圖像和由所述藍色攝像部 拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入射到所述紅色 攝像部和所述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和所述藍色圖像 來得到彩色圖像。本發(fā)明的特征在于,所述第1、第2以及第3光學系統(tǒng)具備可以使折射率分布變化 的非固體透鏡,通過使所述非固體透鏡的折射率分布變化,來進行入射到所述攝像元件的 光的光軸的調整。本發(fā)明的特征在于,所述非固體透鏡為液晶透鏡。本發(fā)明的特征在于,所述高畫質合成處理部進行合成在所述多個綠色攝像部中拍 攝的多個圖像而得到的綠色圖像的空間頻率分析,對高空間頻段分量的功率是否為預先決 定的高分辨率判定閾值以上進行判定,并根據(jù)該判定結果進行光軸的調整。本發(fā)明的特征在于,所述紅色攝像部和所述藍色攝像部以夾在所述多個綠色攝像 部中的方式配置。本發(fā)明的特征在于,將所述多個綠色攝像部、所述紅色攝像部以及所述藍色攝像 部排列為一列。本發(fā)明的特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進 行攝像的第1攝像元件和使像成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像 部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2攝像元件上的
6第2光學系統(tǒng)構成;藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成 像于所述第3攝像元件上的第3光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠 色攝像部中拍攝的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調 整入射到所述綠色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和 顏色合成處理部,其以由配置于所述紅色攝像部和所述藍色攝像部之間的所述綠色攝像部 得到的綠色圖像和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述綠色圖像和由所 述藍色攝像部拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入 射到所述紅色攝像部和所述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和 所述藍色圖像來得到彩色圖像。本發(fā)明的特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進 行攝像的第1攝像元件和使像成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色和藍 色攝像部,其由對紅色分量的圖像和藍色分量的圖像進行攝像的第2攝像元件和使像成像 于所述第2攝像元件上的第2光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠色 攝像部中拍攝的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整 入射到所述綠色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和顏 色合成處理部,其以由所述高畫質合成處理部得到的所述高分辨率的綠色圖像和由所述紅 色和藍色攝像部拍攝的紅色圖像的相關值和藍色圖像的相關值分別都成為規(guī)定的相關值 的方式,通過調整入射到所述紅色和藍色攝像部的光的光軸并合成所述綠色圖像、所述紅 色圖像和所述藍色圖像來得到彩色圖像。本發(fā)明是一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各 綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像成像于所述第1攝像元件 上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使 像成像于所述第2攝像元件上的第2光學系統(tǒng)構成;和藍色攝像部,其由對藍色分量的圖像 進行攝像的第3攝像元件和使像成像于所述第3攝像元件上的第3光學系統(tǒng)構成,該光軸 控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝 的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠 色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步 驟,其以由所述高畫質合成處理步驟得到的所述高分辨率的綠色圖像和由所述紅色攝像部 拍攝的紅色圖像的相關值、以及所述高分辨率的綠色圖像和由所述藍色攝像部拍攝的藍色 圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入射到所述紅色攝像部和所 述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和所述藍色圖像來得到彩色 圖像。本發(fā)明是一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各 綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像成像于所述第1攝像元件 上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使 像成像于所述第2攝像元件上的第2光學系統(tǒng)構成;和藍色攝像部,其由對藍色分量的圖像 進行攝像的第3攝像元件和使像成像于所述第3攝像元件上的第3光學系統(tǒng)構成,該光軸 控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝 的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步 驟,其以由配置于所述紅色攝像部和所述藍色攝像部之間的所述綠色攝像部得到的綠色圖 像和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述綠色圖像和由所述藍色攝像部 拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入射到所述紅色 攝像部和所述藍色攝像部的光的光軸并合成所述高分辨率的綠色圖像、所述紅色圖像和所 述藍色圖像來得到彩色圖像。本發(fā)明是一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各 綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像成像于所述第1攝像元件 上的第1光學系統(tǒng)構成;和紅色和藍色攝像部,其由對紅色分量的圖像和藍色分量的圖像 進行攝像的第2攝像元件和使像成像于所述第2攝像元件上的第2光學系統(tǒng)構成,該光軸 控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝 的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠 色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步 驟,其以由所述高畫質合成處理步驟得到的所述高分辨率的綠色圖像和由所述紅色和藍色 攝像部拍攝的紅色圖像的相關值和藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通 過調整入射到所述紅色和藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和所 述藍色圖像來得到彩色圖像。發(fā)明效果根據(jù)本發(fā)明可以得到如下效果可以生成無顏色偏差的高精細的全彩色圖像。
圖1是表示本發(fā)明的第1實施方式中的攝像裝置的外觀的立體圖。圖2是表示圖1所示的攝像裝置的結構的模塊圖。圖3是表示圖2所示的攝像裝置的動作的流程圖。圖4是表示圖2所示的影像處理部13R的結構的模塊圖。圖5是表示圖2所示的分辨率變換部14R的處理動作的說明圖。圖6是表示圖2所示的高分辨率合成處理部15的處理動作的說明圖。圖7是表示圖2所示的高分辨率合成處理部15的處理動作的說明圖。圖8是表示圖2所示的高分辨率合成處理部15的結構的模塊圖。圖9是表示圖8所示的分辨率判定控制部52的結構的模塊圖。圖IOA是表示圖9所示的分辨率判定圖像生成部92的處理動作的說明圖。圖IOB是表示圖9所示的分辨率判定圖像生成部92的處理動作的另一說明圖。圖IOC是表示圖9所示的分辨率判定圖像生成部92的處理動作的另一說明圖。圖IlA是表示圖9所示的高頻分量比較部95在內部所具有的移動標志(shift flag)的圖。圖IlB是表示圖9所示的高頻分量比較部95的動作的流程圖。圖12是表示圖2所示的顏色合成處理部17的結構的模塊圖。圖13A是表示圖12所示的相關檢測控制部71R、71B在內部所具有的移動標志的 圖。
8
圖13B是表示圖12所示的相關檢測控制部71R、71B的動作的流程圖。圖14是表示圖2所示的攝像部10G2的結構的模塊圖。圖15是表示圖14所示的液晶透鏡900的結構的說明圖。圖16A是表示圖2所示的攝像部的配置實例的立體圖。圖16B是表示圖2所示的攝像部的另一個配置實例的立體圖。圖16C是表示圖2所示的攝像部的另一個配置實例的立體圖。圖17是表示本發(fā)明的第2實施方式中的攝像裝置的外觀的立體圖。圖18是表示圖17所示的攝像裝置的結構的模塊圖。圖19是表示圖18所示的攝像裝置的動作的流程圖。圖20是表示圖18所示的攝像部10G2的結構的模塊圖。圖2IA是表示本發(fā)明的第3實施方式中的攝像裝置的外觀的立體圖。圖21B是表示該實施方式中的攝像裝置的另一外觀的立體圖。圖22是表示圖21A、圖21B所示的攝像裝置的結構的模塊圖。圖23是表示圖22所示的攝像裝置的動作的流程圖。圖24是表示以往的攝像裝置的結構的模塊圖。圖25是表示另一以往的攝像裝置的結構的模塊圖。符號說明10G1、10G2、10G3、10G4…綠色攝像部、IOR…紅色攝像部、IOB…藍色攝像部、11... 攝像透鏡、12…攝像元件、13R、13B、13G1、13G2、13G3、13G4…影像處理部、14R、14B…分辨率 變換部、15···高分辨率合成處理部、160、161…光軸控制部、17···顏色合成處理部。
具體實施例方式<第一實施方式>以下,參照附圖對本發(fā)明的第1實施方式的攝像裝置進行說明。圖1是表示本實 施方式中的攝像裝置的外觀的圖。如圖1所示,本發(fā)明的攝像裝置的攝像部是將如下6個 系統(tǒng)的攝像部固定于基板10,即具備透過綠色光的彩色濾波器的4個系統(tǒng)的綠色攝像部 10G1、10G2、10G3、10G4 ;具備透過紅色光的彩色濾波器的1個系統(tǒng)的紅色攝像部IOR ;和具 備透過藍色光的彩色濾波器的1個系統(tǒng)的藍色攝像部10B。圖2是表示圖1所示的攝像裝置的詳細結構的模塊圖。各攝像部10G1、10G2、10G3、 10G4、10RU0B各自具備攝像透鏡11和攝像元件12。攝像透鏡11將來自攝像對象的光成 像于攝像元件12上,成像的圖像由攝像元件12進行光電變換,并作為電信號的影像信號 而輸出。攝像元件12通過應用CMOS邏輯LSl制造工序可以大量生產,使用具有低耗電量 的優(yōu)點的CMOS攝像元件。雖不做特別限定,但本實施方式的CMOS攝像元件的規(guī)格為像 素尺寸5.6 4!1^5.6 4 111、像素間距6 4 11^6 4 111、有效像素數(shù)640(水平)\480(垂直)。在 6個系統(tǒng)的攝像部IOGl、10G2、10G3、10G4、10RU0B中拍攝的圖像的影像信號分別輸入到影 像處理部 13G1、13G2、13G3、13G4、13R、13B。6 個系統(tǒng)的影像處理部 13G1、13G2、13G3、13G4、 13R、13B分別對輸入的圖像施加補正處理并輸出。2個系統(tǒng)的分辨率變換部14R、14B分別根據(jù)輸入的圖像的影像信號進行分辨率的 變換。高分辨率合成處理部15輸入4個系統(tǒng)的綠色圖像的影像信號,并合成該4個系統(tǒng)的影像信號,輸出高分辨率的圖像的影像信號。顏色合成處理部17輸入2個系統(tǒng)的分辨率變 換部14R、14B所輸出的紅色、藍色的影像信號,和高分辨率合成處理部15所輸出的綠色的 影像信號,并合成這些影像信號,輸出高分辨率的彩色影像信號。光軸控制部160進行調整 3個系統(tǒng)的攝像部10G2、10G3、10G4的入射光軸的控制,以對合成了 4個系統(tǒng)的綠色圖像的 影像信號的結果影像信號進行解析,根據(jù)該解析結果得到高分辨率的影像信號。光軸控制 部161進行調整2個系統(tǒng)的攝像部10RU0B的入射光軸的控制,以對合成了 3個系統(tǒng)(紅 色、藍色、綠色)的圖像的影像信號的結果影像信號進行解析,根據(jù)該解析結果得到高分辨 率的影像信號。接著,參照圖3,對圖2所示的攝像裝置的動作進行說明。圖3是表示圖2所示的 攝像裝置的動作的流程圖。首先,6個系統(tǒng)的攝像部10G1、10G2、10G3、10G4、10R、IOB分別對 攝像對象進行攝像,并將得到的影像信號(VGA640X480像素)輸出(步驟Si)。該6個系 統(tǒng)的影像信號輸入到6個系統(tǒng)的影像處理部13G1、13G2、13G3、13G4、13R、13B。6個系統(tǒng)的 影像處理部13G1、13G2、13G3、13G4、13R、13B分別對輸入的影像信號施加影像補正處理即 變形補正處理并輸出(步驟S2)。接著,2個系統(tǒng)的分辨率變換部14R、14B分別施加用于對輸入的變形補正后的影 像信號(VGA640X480像素)的分辨率進行變換的處理(步驟S3)。通過該處理,2個系 統(tǒng)的影像信號被變換為Qimd-VGA1280X960像素的影像信號。另一方面,高分辨率合成 處理部15施加用于合成輸入的4個系統(tǒng)的變形補正后的影像信號(VGA640X480像素) 并進行高分辨率化的處理(步驟S4)。通過該合成處理,4個系統(tǒng)的影像信號被合成為 Quad-VGA1280X960像素的影像信號并輸出。此時,高分辨率合成處理部15對光軸控制部 160輸出控制信號,以進行調整3個系統(tǒng)的攝像部10G2、10G3、10G4的入射光軸的控制,來對 合成了 4個系統(tǒng)的綠色圖像的影像信號的結果影像信號進行解析,并根據(jù)該解析結果得到 高分辨率的影像信號。接著,顏色合成處理部17輸入3個系統(tǒng)(紅色、藍色、綠色)的影像信號 (Quad-VGA1280X960像素),并合成該3個系統(tǒng)的影像信號,輸出RGB彩色的影像信號 (Quad-VGA1280X960像素)(步驟S5)。此時,顏色合成處理部17向光軸控制部161輸出 控制信號,以進行調整2個系統(tǒng)的攝像部10RU0B的入射光軸的控制,來對合成了 3個系統(tǒng) (紅色、藍色、綠色)的圖像的影像信號的結果影像信號進行解析,并根據(jù)該解析結果得到 高分辨率的影像信號。然后,顏色合成處理部17對是否得到了希望的RGB彩色影像信號進 行判定,并反復處理直到得到希望的RGB彩色影像信號(步驟S6),在得到了希望的RGB彩 色影像信號的時點處理結束。接著,參照圖4,對圖2所示的影像處理部13R的詳細結構進行說明。因為圖2所 示的6個系統(tǒng)的影像處理部13G1、13G2、13G3、13G4、13R、13B具備同樣的結構,所以在此對 影像處理部13R的詳細結構進行說明,而省略5個影像處理部13G1、13G2、13G3、13G4、13B 的詳細結構的說明。影像處理部13R由以下部分構成影像輸入處理部301,其輸入影像信 號;變形補正處理部302,其對輸入的影像信號施加變形補正處理;和校正參數(shù)存儲部303, 其預先存儲用于進行變形補正的校正參數(shù)。從攝像部IOR輸出的影像信號輸入到影像輸入 處理部301,并施加例如拐點(knee)處理、伽馬(gamma)處理、白平衡處理等。接下來,變形補正處理部302根據(jù)保存在校正參數(shù)存儲部303的校正參數(shù),對影像輸入處理部301所輸出的影像信號施加圖像變形的補正處理。存儲于校正參數(shù)存儲部303 的校正參數(shù)被稱為針孔攝像機模型的內部參數(shù),其由圖像中心位置信息、由像素尺寸和光 學透鏡的焦距的積得到的比例系數(shù)、和圖像的坐標軸的變形信息構成。通過按照該校正參 數(shù)進行幾何學的補正處理,來補正例如攝像透鏡的歪曲象差等變形。另外,校正參數(shù)可以在 工廠發(fā)貨時進行測定并預先保存于校正參數(shù)存儲部303,也可以對圖案形狀為已知的方格 花紋的西洋跳棋圖案一邊改變姿勢和角度一邊進行數(shù)次攝像,從其拍攝圖像來算出。由該 6個系統(tǒng)的影像處理部13G1、13G2、13G3、13G4、13R、13B分別對各攝像部10G1、10G2、10G3、 10G4、10RU0B進行固有的影像變形的補正。接著,參照圖5,對圖2所示的分辨率變換部14R的詳細動作進行說明。因為圖 2所示的分辨率變換部14R、14B為同樣的處理動作,所以在此對分辨率變換部14R的動作 進行說明,而省略分辨率變換部14B的動作的說明。分辨率變換部14R將輸入的紅色影像 信號從VGA圖像的分辨率變換為Quad-VGA圖像的分辨率。從VGA圖像(640X480像素) 向Quad-VGA圖像(1280X960像素)變換的處理可以使用公知的處理方法。例如可以使 用如圖5的(A)所示的單純地將原來的1個像素復制為4個像素的近鄰取樣法(Nearest Neighbor)、或如圖5(B)所示的用線性插值從周圍的4個像素生成四周的像素的雙線 性(bi-linear)法、或使用三元函數(shù)從未作圖示的周圍的16個像素進行插值的雙三次 (bi-cubic)法(未作圖示)等。由該分辨率變換部14R,被施加了變形補正后的紅色影像 信號從VGA圖像的分辨率變換為Quad-VGA圖像的分辨率。同樣地,由分辨率變換部14B,被 施加了變形補正后的藍色影信號從VGA圖像的分辨率變換為Quad-VGA圖像的分辨率。接著,參照圖6、圖7,對圖2所示的高分辨率合成處理部15的處理動作進行說明。 高分辨率合成處理部15進行將由攝像部10G1、10G2、10G3、10G4拍攝的4個系統(tǒng)的影像信 號合成為一個高分辨率圖像的處理。對于該合成方法,使用圖6、圖7所示的示意圖進行說 明。在圖6中,橫軸表示空間的范圍(大小),縱軸表示光的強度。為了說明的簡單化,在此 對由兩個攝像部10G1、10G2拍攝的兩個圖像的高分辨率合成處理進行說明。圖6中的箭頭 40b和40c分別為攝像部IOGl和攝像部10G2的像素,假設相對位置關系只偏離了偏移量 40d。因為攝像元件12是以像素為單位對光強度進行積分的,所以對曲線圖Gl所示的(a) 拍照對象的輪廓若用攝像元件IOGl進行攝像則可以得到曲線圖G2所示的光強度分布的影 像信號、若用攝像元件10G2進行攝像則可以得到曲線圖G3所示的光強度分布的影像信號。 通過合成這兩個影像可以再現(xiàn)曲線圖G4所示的接近于實際輪廓的高分辨率的圖像。在圖6中說明了兩個圖像的高分辨率合成處理,參照圖7對使用由圖2所示的4個 攝像部10G1、10G2、10G3、10G4得到的VGA (640 X 480像素)圖像進行高分辨率合成處理的 動作進行說明。高分辨率合成處理部15為了將其變換為VGA(640X480像素)的4倍的像 素數(shù)的Quad-VGA的像素(1280 X 960像素),對相鄰的4個像素分配由不同的攝像部拍攝的 像素并進行合成。像這樣,通過使用4個可以得到VGA(640X480像素)圖像的攝像元件, 可以得到高分辨率的圖像。例如,將由攝像部IOGl拍攝的圖像的像素G15、由攝像部10G2、 10G3U0G4分別拍攝的對應的像素G25、G35、G45這4個像素作為高分辨率合成處理后的相 鄰的周圍的圖像。該高分辨率合成處理的效果很大程度地依賴于圖6所示的偏移量40d。如圖6的 示意圖所示,將偏移量40d設定為1/2像素尺寸較為理想。然而,由于攝像距離的變化、裝配精度、長年劣化產生的松散等,總是維持1/2像素尺寸的偏移量是很困難的。因此,在本 發(fā)明中,通過將合成的高分辨率影像的分辨率與規(guī)定的閾值比較,并根據(jù)其結果移動各攝 像部的光軸,來維持理想的偏移。接著,參照圖8,對高分辨率合成處理部15進行的光軸移動控制進行說明。圖8是 表示圖2所示的高分辨率合成處理部15的詳細結構的模塊圖。影像合成處理部15由以下部分構成合成處理部51,其將在攝像部10G1、10G2、 10G3U0G4中拍攝的4個影像信號合成為1個高精細圖像(圖7的處理動作),并輸出到顏 色合成處理部17 ;和分辨率判定控制部52,其將用于對攝像部10G2、10G3、10G4的光軸進行 移動控制的控制信號輸出到光軸控制部160,使得從合成處理部51輸出的合成圖像成為良 好的分辨率。接著,參照圖9,對圖8所示的分辨率判定控制部52的詳細結構進行說明。如圖 9所示,分辨率判定控制部52具備用于3個攝像部10G2、10G3、10G4的3個分辨率比較控 制部912、913、914。各個分辨率比較控制部912、913、914分別由以下部分構成分辨率判 定圖像生成部92,其生成用于從輸入的兩個圖像判定分辨率的圖像;FFT(Fast Fourier Transform 高速傅里葉變換)部93,其用FFT處理將生成的分辨率判定圖像變換為空間頻 率分量;HPF部94(High Pass Filter 高通濾波器),其從變換后的空間頻率分量檢測高空 間頻段的功率(電力值);和高頻分量比較部95,其將檢測出的高空間頻段分量的功率與閾 值相比較,控制光軸移動方向以成為最佳分辨率。由3個分辨率判定圖像生成部92所生成的圖像在圖10A、圖10B、圖IOC中表示。 分辨率判定圖像是以使用了在圖7的高分辨率合成處理中的合成方法的配置,將成為基本 圖像的由攝像部IOGl拍攝的圖像,和由各攝像部10G2、10G3、10G4分別拍攝的圖像組合生 成的。然后,通過由FFT部93和HPF部94檢測生成的各自的分辨率判定圖像的高空間頻 段分量的功率,并根據(jù)此檢測結果將用于對攝像部10G2、10G3、10G4的各自的光軸進行移 動控制的控制信號輸出到光軸控制部160,來控制各攝像部的攝像圖像維持理想的偏移。在此,參照圖IlB對高頻分量比較部95進行的光軸移動控制的處理動作進行說 明。在高頻分量比較部95內部具有表示圖IlA所示的移動方向的移動標志。S卩,在從當前 時點的位置向上方移動的情況下將移動標志設為0,在向下方移動的情況下將移動標志設 為3,在向左方移動的情況下將移動標志設為1,在向右方移動的情況下將移動標志設為2。首先,高頻分量比較部95將移動標志初期化為0 (步驟Sl 100)。接下來,在圖像被 輸入或被更新時生成圖10A、圖10B、圖IOC所示的分辨率判定圖像,并檢測高空間頻段分量 的功率(步驟S1101)。然后,判定高空間頻段分量的功率是否為規(guī)定的閾值以上,即是否為 高分辨率(步驟S1103),在為高分辨率的情況下不進行光軸移動,而是將移動標志初期化 (步驟S1110),并反復處理。另一方面,在高空間頻段分量的功率比閾值小,為低分辨率的情況下,將光軸向移 動標志的方向移動規(guī)定量(步驟Sl 104 Sl 107、步驟Sllll S1114),并對移動標志+1, 即加上1 (步驟S1109)。在由于移動0 3的任意光軸移動而高空間頻段分量的功率成為 閾值以上的情況下,以該光軸移動的狀態(tài)將移動標志初期化并反復循環(huán),而在即使0 3的 光軸移動也為閾值以下的情況下,向在0 3的光軸移動中分辨率最高的方向進行規(guī)定量 的移動(步驟Sl 108),接著將移動標志初期化(步驟Sl 115),并反復處理直到判定為控制
12結束為止(步驟S1102)。通過以上的處理,用于進行光軸移動的控制的控制信號被輸出到 光軸控制部160,以使合成圖像成為閾值以上的分辨率,或者成為最高分辨率。另外,閾值判定(步驟S1103)可以使用固定的閾值,但也可以例如與過去的判定 結果聯(lián)動等,相應地變更閾值。接著,參照圖12,對圖2所示的顏色合成處理部17的詳細結構和處理動作進行說 明。顏色合成處理部17合成由2個系統(tǒng)的分辨率變換部14R、14B擴大為Quad-VGA的分 辨率的紅色影像信號和藍色影像信號,和由高分辨率合成處理部15高分辨率合成處理為 Quad-VGA的綠色影像信號,并輸出全彩色的Quad-VGA圖像。顏色合成處理部17具備兩個 相關檢測控制部71R、71B,其算出輸入的兩個圖像的相關值,并進行控制以使得兩個圖像成 為較高的相關值。因為在同一時刻對同一拍照對象進行攝像,所以輸入的紅色影像信號和 藍色影像信號和綠色影像信號具有很大的相關關系。通過監(jiān)視該相關關系來補正紅、綠、藍 的圖像的相對的偏差。在此以高分辨率處理合成后的綠色圖像的影像信號為基準,補正紅 色圖像和藍色圖像的位置。對圖像的相關值計算方法的具體實例進行說明。假設綠色圖像的函數(shù)為G(x,y), 紅色圖像的函數(shù)為R(x,y),對這些函數(shù)進行傅里葉變換,得到函數(shù)G( ξ,η)、函數(shù)R( ξ, n)。根據(jù)該函數(shù),綠色圖像和紅色圖像的相關值Cor表示為以下式子。
權利要求
一種攝像裝置,其特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2攝像元件上的第2光學系統(tǒng)構成;藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成像于所述第3攝像元件上的第3光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理部,其以由所述高畫質合成處理部得到的所述高分辨率的綠色圖像和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述高分辨率的綠色圖像和由所述藍色攝像部拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入射到所述紅色攝像部和所述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和所述藍色圖像來得到彩色圖像。
2.根據(jù)權利要求1所述的攝像裝置,其特征在于,所述第1、第2以及第3光學系統(tǒng)具備能夠使折射率分布變化的非固體透鏡,通過使所 述非固體透鏡的折射率分布變化,來進行入射到所述攝像元件的光的光軸的調整。
3.根據(jù)權利要求2所述的攝像裝置,其特征在于, 所述非固體透鏡為液晶透鏡。
4.根據(jù)權利要求1所述的攝像裝置,其特征在于,所述高畫質合成處理部進行合成在所述多個綠色攝像部中拍攝的多個圖像而得到的 綠色圖像的空間頻率分析,對高空間頻段分量的功率是否為預先決定的高分辨率判定閾值 以上進行判定,并根據(jù)該判定結果進行光軸的調整。
5.根據(jù)權利要求1所述的攝像裝置,其特征在于,所述紅色攝像部和所述藍色攝像部以夾在所述多個綠色攝像部中的方式配置。
6.根據(jù)權利要求1所述的攝像裝置,其特征在于,將所述多個綠色攝像部、所述紅色攝像部以及所述藍色攝像部排列為一列。
7.一種攝像裝置,其特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像 成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2 攝像元件上的第2光學系統(tǒng)構成;藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成像于所述第3 攝像元件上的第3光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠色 圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并合 成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理部,其以由配置于所述紅色攝像部和所述藍色攝像部之間的所述綠色攝像部得到的綠色圖像和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述綠色圖像和 由所述藍色攝像部拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分 別入射到所述紅色攝像部和所述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖 像和所述藍色圖像來得到彩色圖像。
8.一種攝像裝置,其特征在于,具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像 成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色和藍色攝像部,其由對紅色分量的圖像和藍色分量的圖像進行攝像的第2攝像元 件和使像成像于所述第2攝像元件上的第2光學系統(tǒng)構成;高畫質合成處理部,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠色 圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并合 成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理部,其以由所述高畫質合成處理部得到的所述高分辨率的綠色圖像和由 所述紅色和藍色攝像部拍攝的紅色圖像的相關值及藍色圖像的相關值分別都成為規(guī)定的 相關值的方式,通過調整入射到所述紅色和藍色攝像部的光的光軸并合成所述綠色圖像、 所述紅色圖像和所述藍色圖像來得到彩色圖像。
9.一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像 成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2 攝像元件上的第2光學系統(tǒng)構成;和藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成像于所述第3 攝像元件上的第3光學系統(tǒng)構成,該光軸控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠 色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并 合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步驟,其以由所述高畫質合成處理步驟得到的所述高分辨率的綠色圖像 和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述高分辨率的綠色圖像和由所述藍 色攝像部拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整分別入射到 所述紅色攝像部和所述藍色攝像部的光的光軸并合成所述綠色圖像、所述紅色圖像和所述 藍色圖像來得到彩色圖像。
10.一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像 成像于所述第1攝像元件上的第1光學系統(tǒng)構成;紅色攝像部,其由對紅色分量的圖像進行攝像的第2攝像元件和使像成像于所述第2 攝像元件上的第2光學系統(tǒng)構成;和藍色攝像部,其由對藍色分量的圖像進行攝像的第3攝像元件和使像成像于所述第3 攝像元件上的第3光學系統(tǒng)構成,該光軸控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠 色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并 合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步驟,其以由配置于所述紅色攝像部和所述藍色攝像部之間的所述綠色 攝像部得到的綠色圖像和由所述紅色攝像部拍攝的紅色圖像的相關值、以及所述綠色圖像 和由所述藍色攝像部拍攝的藍色圖像的相關值分別都成為規(guī)定的相關值的方式,通過調整 分別入射到所述紅色攝像部和所述藍色攝像部的光的光軸并合成所述高分辨率的綠色圖 像、所述紅色圖像和所述藍色圖像來得到彩色圖像。
11. 一種攝像裝置中的光軸控制方法,該攝像裝置具備多個綠色攝像部,各綠色攝像部由對綠色分量的圖像進行攝像的第1攝像元件和使像 成像于所述第1攝像元件上的第1光學系統(tǒng)構成;和紅色和藍色攝像部,其由對紅色分量的圖像和藍色分量的圖像進行攝像的第2攝像元 件和使像成像于所述第2攝像元件上的第2光學系統(tǒng)構成, 該光軸控制方法的特征在于,具有高畫質合成處理步驟,其以合成在所述多個綠色攝像部中拍攝的多個圖像而得到的綠 色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到所述綠色攝像部的光的光軸并 合成所述多個圖像來得到高分辨率的綠色圖像;和顏色合成處理步驟,其以由所述高畫質合成處理步驟得到的所述高分辨率的綠色圖像 和由所述紅色和藍色攝像部拍攝的紅色圖像的相關值及藍色圖像的相關值分別都成為規(guī) 定的相關值的方式,通過調整入射到所述紅色和藍色攝像部的光的光軸并合成所述綠色圖 像、所述紅色圖像和所述藍色圖像來得到彩色圖像。
全文摘要
本發(fā)明的攝像裝置,通過具備如下部件來生成高分辨率的彩色圖像多個綠色攝像部,其對綠色分量的圖像進行攝像;紅色攝像部,其對紅色分量的圖像進行攝像;藍色攝像部,其對藍色分量的圖像進行攝像;高畫質合成處理部,其以合成在多個綠色攝像部中拍攝的多個圖像而得到的綠色圖像的分辨率成為規(guī)定的分辨率的方式,通過調整入射到綠色攝像部的光的光軸并合成多個圖像來得到高分辨率的綠色圖像;和顏色合成處理部,其通過調整分別入射到紅色攝像部和藍色攝像部的光的光軸并合成綠色圖像、紅色圖像、以及藍色圖像來得到彩色圖像。
文檔編號G02F1/1343GK101981938SQ20098011142
公開日2011年2月23日 申請日期2009年4月2日 優(yōu)先權日2008年4月2日
發(fā)明者田中誠一 申請人:夏普株式會社