專利名稱：成像裝置、成像方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可以選擇性地運(yùn)行正常成像模式中的成像操作和組合成像 模式中的成像操作的成像裝置、成像方法和程序，正常成像模式中的成像 操作在一個(gè)單位周期中輸出正常曝光圖像信號(hào)，而組合成像模式中的成像操作在單位周期中輸出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光(long-time-exposure) 圖像信號(hào)和與相對(duì)較短的曝光時(shí)間相對(duì)應(yīng)的短曝光(short-time-exposure) 圖像信號(hào)。
背景技術(shù)：
在使用諸如電荷耦合器件之類的固態(tài)成像器件的現(xiàn)有技術(shù)的成像裝置 中，通過控制孔徑和電子快門速度來調(diào)節(jié)輸入到成像器件的光(曝光) 量。換句話說，控制曝光量。當(dāng)成像是在亮場(chǎng)景中執(zhí)行的時(shí)，曝光量被縮 減以便防止由于成像器件的輸出信號(hào)的飽和而發(fā)生的過曝光。相反地，對(duì) 于暗場(chǎng)景，光量被增大以便防止所謂的欠曝光的發(fā)生。在對(duì)具有大的亮度差異的場(chǎng)景執(zhí)行成像的情況下(例如背投式成像和 室內(nèi)-室外同時(shí)成像)，固態(tài)成像器件的動(dòng)態(tài)范圍的不足可能導(dǎo)致這樣的問 題，即只控制曝光量使得難以適當(dāng)?shù)卦佻F(xiàn)亮部分和暗部分，這是因?yàn)榱敛?分傾向于飽和因此被過曝光，而暗部分傾向于欠曝光。為了解決這一問題，在日本未實(shí)審專利申請(qǐng)公布No. 6-141229和相應(yīng) 的美國(guó)專利No. 5,455,621中公開了一種方法，其中通過在一場(chǎng)中使用兩個(gè) 不同的電子快門速度，或者改變每一場(chǎng)中的電子快門速度，來分別執(zhí)行對(duì) 亮區(qū)域信息的成像和對(duì)暗區(qū)域信息的成像，并將所得到的信息處理為圖 像。另外，作為以上方法被應(yīng)用到的裝置，有一種可以對(duì)具有寬動(dòng)態(tài)范圍 的圖像執(zhí)行成像的裝置(寬動(dòng)態(tài)范圍照相機(jī))，并且在日本未實(shí)審專利申
請(qǐng)公布No. 2002-84449和2004-120205 (相應(yīng)的美國(guó)專利申請(qǐng)No. 2006-0033823A1)中公開了一種提高組合圖像的質(zhì)量的裝置和方法。一般而言，寬動(dòng)態(tài)范圍照相機(jī)的操作狀態(tài)是兩種類型之一執(zhí)行寬動(dòng) 態(tài)范圍成像的組合成像模式和不執(zhí)行寬動(dòng)態(tài)范圍成像的正常成像模式。在 現(xiàn)有技術(shù)的寬動(dòng)態(tài)范圍照相機(jī)的曝光控制中，組合成像模式和正常成像模 式具有共同的成像器件的輸出幅度(工作區(qū)域)。如圖8所示，工作區(qū)域 被設(shè)置在低于成像器件的飽和區(qū)域的水平。這是因?yàn)楫?dāng)成像器件的工作區(qū) 域延伸到飽和區(qū)域時(shí)，如圖9所示，由于對(duì)于高亮度信號(hào)每個(gè)像素的動(dòng)態(tài) 范圍的變化而生成了飽和不均勻性，并且高亮度部分中的圖像質(zhì)量惡化。然而，如上所述，當(dāng)工作區(qū)域被設(shè)置在低于飽和區(qū)域的水平時(shí)，防止 了飽和不均勻性的生成。顯然，發(fā)生了新的問題，即工作區(qū)域的降低導(dǎo)致 了信噪比的惡化。另外，希望的是在正常操作模式中，工作區(qū)域得以擴(kuò)展。因此，其中 盡可能地減小飽和均勻性的信號(hào)處理是必要的。在日本未實(shí)審專利申請(qǐng)公布No. 7-240859中公開了一種成像裝置，其 中通過孔徑校正防止了由于每個(gè)像素動(dòng)態(tài)范圍的變化而在白部分中生成的 固定形式的噪聲的增強(qiáng)，并且該裝置被配置為獲得寬動(dòng)態(tài)范圍。通過在正常成像模式的信號(hào)處理中使用該技術(shù)，可以擴(kuò)展工作區(qū)域， 并且可以增大信噪比。取決于照相機(jī)的目的，信噪比的惡化可能比飽和不均勻性更嚴(yán)重。在 正常操作模式中，可能希望工作區(qū)域被擴(kuò)展，即使不執(zhí)行減小飽和不均勻 性的上述處理。發(fā)明內(nèi)容如上所述，當(dāng)工作區(qū)域被設(shè)置在低于飽和區(qū)域的水平時(shí)，可以防止飽 和不均勻性的生成。然而，降低工作區(qū)域?qū)е滦旁氡葠夯膯栴}在寬動(dòng)態(tài) 范圍照相機(jī)中僅僅在正常成像模式中很重要。在組合成像模式中，該問題 并不重要，因?yàn)榻M合成像模式的主要目的是擴(kuò)展動(dòng)態(tài)范圍。在組合成像模 式中，包括飽和不均勻性的圖像的組合導(dǎo)致圖像質(zhì)量惡化；該惡化取決于
用于組合處理的信號(hào)處理。因而，有必要設(shè)置工作區(qū)域完全低于飽和區(qū) 域?？紤]到現(xiàn)有技術(shù)的以上情形，希望提供這樣一種成像裝置、成像方法 和程序，當(dāng)選擇性地運(yùn)行正常成像模式中的成像操作(該操作輸出一種曝 光圖像信號(hào))和組合成像模式中的成像操作(該操作在單位周期中輸出與 相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的曝光時(shí)間相 對(duì)應(yīng)的短曝光圖像信號(hào))時(shí)，該成像裝置、成像方法和程序增大了正常成 像模式中的信噪比，并且防止了組合成像模式中的飽和不均勻性。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種成像裝置，包括成像單元、預(yù) 處理單元、信號(hào)處理單元和執(zhí)行控制的控制單元，成像單元能夠選擇性地 運(yùn)行正常成像模式中的成像操作和組合成像模式中的成像操作，正常成像 模式中的成像操作在一個(gè)單位周期中輸出作為一種曝光圖像信號(hào)的正常曝 光圖像信號(hào)，而組合成像模式中的成像操作在單位周期中輸出與相對(duì)較長(zhǎng) 的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的曝光時(shí)間相對(duì)應(yīng)的短 曝光圖像信號(hào)；預(yù)處理單元對(duì)正常曝光圖像信號(hào)、或長(zhǎng)曝光圖像信號(hào)和短 曝光圖像信號(hào)執(zhí)行增益處理；信號(hào)處理單元通過對(duì)受到增益處理的長(zhǎng)曝光 圖像信號(hào)和短曝光圖像信號(hào)進(jìn)行組合，來生成具有比長(zhǎng)曝光圖像信號(hào)和短 曝光圖像信號(hào)的動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的動(dòng)態(tài)范圍的組合圖像信 號(hào)；在控制單元的控制中，通過根據(jù)正常成像模式和組合成像模式之一切 換預(yù)處理單元的增益處理中的參考增益設(shè)置值，使得當(dāng)成像單元處于組合 成像模式時(shí)，參考增益設(shè)置值被設(shè)置為大于當(dāng)成像單元處于正常成像模式 時(shí)設(shè)置的參考增益設(shè)置值。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種成像方法，包括以下步驟 以正常成像模式中的成像操作和組合成像模式中的成像操作之一執(zhí)行成 像，正常成像模式中的成像操作在一個(gè)單位周期中輸出作為一種曝光圖像 信號(hào)的正常曝光圖像信號(hào)，而組合成像模式中的成像操作在單位周期中輸 出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的曝光時(shí) 間相對(duì)應(yīng)的短曝光圖像信號(hào)；對(duì)正常曝光圖像信號(hào)或長(zhǎng)曝光圖像信號(hào)和短 曝光圖像信號(hào)執(zhí)行增益處理；通過對(duì)受到增益處理的長(zhǎng)曝光圖像信號(hào)和短
曝光圖像信號(hào)進(jìn)行組合，來生成具有比長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào) 的動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的動(dòng)態(tài)范圍的組合圖像信號(hào)；以及通過 根據(jù)正常成像模式和組合成像模式之一切換增益處理中的參考增益設(shè)置 值，來在組合成像模式的情況下，將參考增益設(shè)置值設(shè)置為大于在正常成 像模式的情況下的參考增益設(shè)置值。根據(jù)本發(fā)明的另 一個(gè)實(shí)施例，提供了 一種用于使得計(jì)算機(jī)運(yùn)行成像方 法的程序，該成像方法包括以下步驟以正常成像模式中的成像操作和組 合成像模式中的成像操作之一執(zhí)行成像，正常成像模式中的成像操作在一 個(gè)單位周期中輸出作為一種曝光圖像信號(hào)的正常曝光圖像信號(hào)，而組合成 像模式中的成像操作在單位周期中輸出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng) 曝光圖像信號(hào)和與相對(duì)較短的曝光時(shí)間相對(duì)應(yīng)的短曝光圖像信號(hào)；對(duì)正常 曝光圖像信號(hào)或長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)執(zhí)行增益處理；通過對(duì) 受到增益處理的長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)進(jìn)行組合，來生成具有 比長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)的動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的 動(dòng)態(tài)范圍的組合圖像信號(hào)；以及通過根據(jù)正常成像模式和組合成像模式之 一切換增益處理中的參考增益設(shè)置值，來在組合成像模式的情況下，將參 考增益設(shè)置值設(shè)置為大于在正常成像模式的情況下的參考增益設(shè)置值。


圖1是示出本發(fā)明被應(yīng)用到的成像裝置的配置的框圖； 圖2A和2B是圖示成像裝置中的長(zhǎng)曝光和短曝光的圖表； 圖3是圖示成像裝置中的組合處理的圖表；圖4是示出通過在預(yù)處理單元中改變PGA的增益設(shè)置來改變成像器 件的工作區(qū)域的狀態(tài)的圖示；圖5是示出成像裝置中的組合成像模式下的參考增益設(shè)置值的圖示； 圖6是示出成像裝置中的正常成像模式下的參考增益設(shè)置值的圖示； 圖7是示出成像裝置的操作的流程圖；圖8是示出在現(xiàn)有技術(shù)的寬動(dòng)態(tài)范圍照相機(jī)的曝光控制中的工作區(qū)域 的設(shè)置狀態(tài)的電荷耦合器件光電轉(zhuǎn)換特性圖表；以及圖9是示出由現(xiàn)有技術(shù)的寬動(dòng)態(tài)范圍照相機(jī)獲得的圖像的亮度信號(hào)的 波形圖。
具體實(shí)施方式
將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。本發(fā)明并不限于以下示例。顯然，本發(fā)明可以在不脫離其精神的前提下自由地改變。本發(fā)明被應(yīng)用于例如具有圖1中所示的配置的成像裝置10。這里，成像裝置10是能夠以用于寬動(dòng)態(tài)范圍照相機(jī)的組合成像模式來進(jìn)行成像操作的成像裝置，并且例如適合用作監(jiān)視照相機(jī)。很明顯，成像裝置10可以用作普通用戶所用的數(shù)字靜態(tài)照相機(jī)、數(shù)字視頻照相機(jī)等等。成像裝置IO包括成像光學(xué)系統(tǒng)1、成像元件單元2、預(yù)處理單元3、 信號(hào)處理單元4、輸出單元5、檢測(cè)單元6、定時(shí)發(fā)生器7、光學(xué)組件驅(qū)動(dòng) 單元8、控制單元9、操作單元11和顯示單元12。成像光學(xué)系統(tǒng)1包括透鏡和消除不必要的波長(zhǎng)的濾光鏡以及孔徑la。 從對(duì)象入射的光經(jīng)由成像光學(xué)系統(tǒng)1中的光學(xué)組件被引導(dǎo)到成像元件單元 2。成像元件單元2被配置為諸如電荷耦合器件(CCD)傳感器陣列或互 補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器陣列之類的固態(tài)圖像單元。成像元 件單元2對(duì)經(jīng)由成像光學(xué)系統(tǒng)1引導(dǎo)的光進(jìn)行光電轉(zhuǎn)化，并輸出電信號(hào)作 為所捕獲圖像。在成像裝置10中，成像元件單元2以正常成像模式和組 合成像模式執(zhí)行不同的曝光處理。換句話說，如圖2A所示，在正常成像模式中，成像元件單元2執(zhí)行在一場(chǎng)周期中曝光預(yù)定時(shí)間的正常曝光，并輸出電信號(hào)作為曝光圖像信號(hào)。在組合成像模式中，如圖2B所示，成像元件單元2在一場(chǎng)周期中執(zhí)行長(zhǎng)曝光和短曝光，并時(shí)分輸出電信號(hào)作為長(zhǎng)曝光圖像信號(hào)和短曝光圖像 Y會(huì)是1口 5 o在以下描述中，為了描述的簡(jiǎn)短，如圖2A所示正常成像模式中的曝 光操作被稱為"正常曝光"。因此，正常成像模式中的曝光操作與如圖 2B所示組合成像模式中的"長(zhǎng)曝光"和"短曝光"相區(qū)分。另外，通過正 常曝光獲得的曝光圖像信號(hào)被稱為"正常曝光圖像信號(hào)"，并且與"長(zhǎng)曝 光圖像信號(hào)"和"短曝光圖像信號(hào)"相區(qū)分。成像元件單元2并不限于使用固態(tài)成像器件的配置。例如，可以采用 這樣的配置，其中例如使用諸如圖像拾取管之類的非固態(tài)成像器件。關(guān)于 非固態(tài)成像器件，通過使用機(jī)械快門、液晶快門等，可以執(zhí)行長(zhǎng)曝光或短 曝光，并且可以改變正常曝光、長(zhǎng)曝光和短曝光中的每一種的曝光時(shí)間。這里，下面將提到正常成像模式和組合成像模式。在通常使用的成像裝置中的正常成像操作(正常成像模式)下，很難 應(yīng)對(duì)從對(duì)象的極暗部分到對(duì)象的極亮部分的寬動(dòng)態(tài)范圍。例如，在可以看 見室外場(chǎng)所的狀態(tài)下、在很好的天氣中的白天時(shí)間的室內(nèi)場(chǎng)所中執(zhí)行成像 的情況下，當(dāng)曝光參考是基于室外場(chǎng)所中的對(duì)象設(shè)置的時(shí)，室外部分丟失 灰度，并且生成了過曝光的高亮部分。相反地，當(dāng)曝光參考是基于室外部 分設(shè)置的時(shí)，室內(nèi)對(duì)象具有欠曝光狀態(tài)。換句話說，在對(duì)象的亮度存在大 的差異的情況下，很難獲得與亮度的動(dòng)態(tài)范圍相匹配的所捕獲圖像。與此不同，在組合成像模式下的成像操作中，通過使用例如電子快門 來改變快門速度并執(zhí)行組合具有不同曝光時(shí)間的多個(gè)圖像的處理，可以獲 得具有寬動(dòng)態(tài)范圍并且無過曝光高亮和欠曝光狀態(tài)的所捕獲圖像。然而，組合成像模式中獲得的圖像可能導(dǎo)致對(duì)眼睛有輕微的不自然 感。因此，取決于用戶的偏好、成像目的等，優(yōu)選地在執(zhí)行成像的情況下 在正常成像模式和組合成像模式之間切換。圖2A和2B中的每一個(gè)示出了在一場(chǎng)中的曝光時(shí)間和在成像元件單元 2中的累積曝光(電荷)量。圖2A示出了正常成像模式的情況，其中在作為成像單位周期的1/60 秒的一場(chǎng)周期中執(zhí)行曝光。盡管在圖2A中曝光時(shí)間是1/60秒，但是顯 然，曝光時(shí)間并不限于1/60秒。某一曝光時(shí)間被設(shè)置為電子快門速度。在 成像元件單元2中，在一場(chǎng)周期中針對(duì)某一曝光時(shí)間執(zhí)行曝光，并且獲得 一場(chǎng)的曝光圖像信號(hào)。對(duì)曝光圖像信號(hào)執(zhí)行信號(hào)處理以生成一場(chǎng)的所捕獲 圖像數(shù)據(jù)。
圖2B示出了組合成像模式的情況。圖2B表明，在具有1/60秒的一 場(chǎng)中，執(zhí)行了具有1/64秒的長(zhǎng)曝光和具有1/2000秒的短曝光。長(zhǎng)曝光時(shí) 間和短曝光時(shí)間可以被控制改變。通過在一場(chǎng)周期中執(zhí)行長(zhǎng)曝光和短曝光，獲得了長(zhǎng)曝光圖像信號(hào)和短 曝光圖像信號(hào)。另外，通過組合這兩種圖像信號(hào)，生成了一場(chǎng)的所捕獲圖 像數(shù)據(jù)。長(zhǎng)曝光和短曝光不需要在一場(chǎng)周期中執(zhí)行。相反，這樣的處理也是可 能的，其中在多場(chǎng)周期中執(zhí)行長(zhǎng)曝光，而在下一個(gè)多場(chǎng)周期中執(zhí)行短曝 光，并且對(duì)曝光圖像信號(hào)進(jìn)行組合。圖3示出了長(zhǎng)曝光圖像信號(hào)的輸入/輸出亮度特性L和短曝光圖像信號(hào) 的輸入/輸出亮度特性S，以說明針對(duì)長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)的 組合處理。在組合處理中，例如由亮度閾值代表的切換點(diǎn)被用作組合位置。具有 低于組合位置(即，切換點(diǎn))的亮度的每個(gè)像素采用像素信號(hào)作為長(zhǎng)曝光 圖像信號(hào)。具有高于組合位置(即，切換點(diǎn))的亮度的每個(gè)像素采用像素 信號(hào)作為短曝光圖像信號(hào)。此時(shí)，通過將短曝光圖像乘以長(zhǎng)曝光圖像和短 曝光圖像之間的曝光比，執(zhí)行了這兩種圖像的水平匹配。如果長(zhǎng)曝光圖像和短曝光圖像之間的曝光比是10: 1，則針對(duì)短曝光 圖像的曝光是針對(duì)長(zhǎng)曝光圖像的曝光的1/10。然而，存在的光量是短曝光 圖像的亮度信號(hào)水平的十倍。因此，通過將短曝光圖像信號(hào)乘以作為增益 K的10，執(zhí)行了水平匹配。如上所述，針對(duì)短曝光圖像信號(hào)執(zhí)行增益相乘，并且，如圖3所示， 獲得了其水平與長(zhǎng)曝光圖像信號(hào)特性相匹配的特性KS。結(jié)果，生成了由特性L-KS表示的組合圖像。換句話說，關(guān)于組合圖 像，對(duì)象的相對(duì)較暗區(qū)域提供了基于長(zhǎng)曝光圖像信號(hào)并且沒有欠曝光狀態(tài) 的部分，而對(duì)象的相對(duì)較亮區(qū)域提供了基于短曝光圖像信號(hào)并且沒有過曝 光高亮部分的部分。關(guān)于組合成像模式以捕獲具有寬動(dòng)態(tài)范圍的對(duì)象的圖像(其中輸出圖 像包括亮部分到暗部分)的技術(shù)，不僅有如上所述的用于組合具有不同曝光時(shí)間的亮和暗圖像的技術(shù)，還有各種技術(shù)。例如，有這樣一種技術(shù)，其中在以像素為單位改變靈敏度的同時(shí)僅從 成像器件中提取出基于相同曝光條件的信號(hào)，再現(xiàn)圖像，并對(duì)具有不同曝 光條件的 一個(gè)或至少兩個(gè)圖像進(jìn)行組合。另外，還有一種技術(shù)，該技術(shù)對(duì)來自具有光縮減功能的成像器件的光 輸出進(jìn)行組合，具有光縮減功能的成像器件例如是中性濾光鏡，其中入射 光被棱鏡分割并且所發(fā)送的光在所有波長(zhǎng)上都被縮減，即，入射光的量被 均等地縮減。根據(jù)采用這些技術(shù)的組合成像模式，可以獲得比在正常成像模式下的 成像情況寬得多的動(dòng)態(tài)范圍。因此，可以執(zhí)行對(duì)具有寬動(dòng)態(tài)范圍(在輸出 圖像中包括極亮部分到極暗部分)的對(duì)象的成像。例如，組合成像模式適 用于在具有強(qiáng)外部光的房間中、在具有大照明差異的場(chǎng)所中等等成像的情 況。具體而言，組合成像模式對(duì)于這樣的情況是優(yōu)選的在諸如到建筑物 (例如銀行)的入口或公路之類的場(chǎng)所中執(zhí)行成像的情況下，動(dòng)態(tài)范圍根 據(jù)諸如白天或夜間之類的時(shí)間區(qū)有極大地不同。成像裝置10中的預(yù)處理單元3是所謂的模擬前端。預(yù)處理單元3對(duì)從成像元件單元2輸出的作為所捕獲圖像的電信號(hào)執(zhí)行相關(guān)雙采樣 (CDS)、增益處理和模數(shù)轉(zhuǎn)換處理。預(yù)處理單元3將通過以上處理獲得 的曝光圖像信號(hào)提供給信號(hào)處理單元4。換句話說，在正常成像模式中， 預(yù)處理單元3將正常曝光圖像信號(hào)提供給信號(hào)處理單元4。在組合成像模 式中，預(yù)處理單元3將長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)提供給信號(hào)處理 單元4。信號(hào)處理單元4通過對(duì)正常成像模式和組合成像模式中的每一種執(zhí)行 必要的信號(hào)處理來生成所捕獲圖像數(shù)據(jù)。例如，在正常成像模式中，通過對(duì)輸入的正常曝光圖像信號(hào)執(zhí)行諸如 伽馬校正處理和白平衡處理之類的處理，生成了所捕獲圖像數(shù)據(jù)。另外，在組合成像模式中，對(duì)作為輸入的長(zhǎng)曝光圖像信號(hào)和短曝光圖 像信號(hào)執(zhí)行參考圖3所描述的組合處理。換句話說，信號(hào)處理單元4對(duì)時(shí) 分提供的長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)執(zhí)行定時(shí)調(diào)節(jié)和顏色平衡校正
處理，并執(zhí)行使得短曝光圖像信號(hào)的亮度水平與長(zhǎng)曝光圖像信號(hào)的亮度水平一致的增益處理，以及組合處理。信號(hào)處理單元4還通過對(duì)組合圖像信號(hào)執(zhí)行伽馬校正處理和白平衡處理來生成所捕獲圖像數(shù)據(jù)。信號(hào)處理單元4將所生成的所捕獲圖像數(shù)據(jù)輸出到輸出單元5和檢測(cè) 單元6。輸出單元5對(duì)來自信號(hào)處理單元4的所捕獲圖像數(shù)據(jù)執(zhí)行用于顯示在 監(jiān)視顯示器上的處理，或用于發(fā)送到外部設(shè)備的處理。檢測(cè)單元6計(jì)算累積亮度值，作為對(duì)來自信號(hào)處理單元4的所捕獲圖 像數(shù)據(jù)的測(cè)光處理，并將累積亮度值提供給控制單元9。在檢測(cè)單元6 中，根據(jù)來自控制單元9的指令選擇要運(yùn)行的測(cè)光方法。作為測(cè)光方法， 可以運(yùn)行中心加權(quán)度量方法、評(píng)估度量方法、平均度量方法和部分曝光度 量方法。這些測(cè)光方法在圖像區(qū)域中具有不同的檢測(cè)幀。檢測(cè)單元6向控 制單元9提供由要運(yùn)行的每種測(cè)光方法設(shè)置的每個(gè)檢測(cè)幀?？刂茊卧?例如由包括中央處理單元(CPU)、只讀存儲(chǔ)器 (ROM)、隨機(jī)訪問存儲(chǔ)器(RAM)和閃存的微計(jì)算機(jī)形成，并且控制 整個(gè)成像裝置10的操作。另外，控制單元9控制形成成像處理系統(tǒng)的成像元件單元2、預(yù)處理 單元3、信號(hào)處理單元4和定時(shí)發(fā)生器7，以運(yùn)行正常成像模式和組合成 像模式中的每一種的成像操作。另外，控制單元9控制檢測(cè)單元6以指定累積亮度幀。另外，控制單元9改變要賦予預(yù)處理單元3的可編程增益放大器 (PGA) 3a的增益，以改變組合成像模式和正常成像模式中的每一種中的 工作區(qū)域。通過使用最優(yōu)的增益設(shè)置作為參考增益設(shè)置來執(zhí)行曝光處理。圖4示出了通過改變PGA 3a的增益設(shè)置來改變成像器件的工作區(qū)域 的狀態(tài)。換句話說，輸出信號(hào)的工作區(qū)域被固定。因而，輸入信號(hào)區(qū)域被增益 設(shè)置改變。輸入信號(hào)的最大值由下式表示 IN = OUT/X其中輸出信號(hào)的最大值是OUT，增益是X倍。因此，工作區(qū)域被設(shè)置。這里，關(guān)于在組合成像模式和正常成像模式中的每一種中通過參考增 益設(shè)置改變工作點(diǎn)的示例，討論這樣一種情況，其中當(dāng)成像器件的輸出是500至600 mV時(shí)，每個(gè)像素的動(dòng)態(tài)范圍的變化出現(xiàn)，并且生成了由飽和 引起的不均勻性。在組合成像模式中，包括由飽和引起的不均勻性的組合信號(hào)導(dǎo)致圖像 惡化。因而，如圖5所示，有必要設(shè)置高達(dá)500 mV (在此處生成由飽和 引起的不均勻性)的區(qū)域作為工作區(qū)域。因此，增益設(shè)置被加倍。組合成 像模式中的參考增益設(shè)置值被稱為WDGAIN。另外，在正常成像模式中，有必要盡可能地?cái)U(kuò)展工作區(qū)域以增大信噪 比。因而，如圖6所示，為了設(shè)置直到飽和的高達(dá)600 mV的區(qū)域作為工 作區(qū)域，增益設(shè)置被設(shè)置為1.67倍。正常成像模式中的參考增益設(shè)置值被 稱為NMGAIN。組合成像模式中的參考增益設(shè)置值由WDGAIN>NMGAIN表示。即， 組合成像模式中的參考增益設(shè)置值WDGAIN大于正常成像模式中的參考 增益設(shè)置值NMGAIN?？刂茊卧?中的ROM存儲(chǔ)用于運(yùn)行以上控制處理的成像控制程序。 基于成像控制程序，運(yùn)行以上類型的控制所必需的計(jì)算和控制處理。定時(shí)發(fā)生器7生成諸如CCD之類的成像元件單元2所必需的操作脈 沖。例如，定時(shí)發(fā)生器7生成各種類型的脈沖，例如用于垂直傳送的四相 位脈沖、場(chǎng)偏移脈沖、用于水平傳送的兩相位脈沖和快門脈沖，并將所生 成的脈沖提供給成像元件單元2。成像元件單元2可以被定時(shí)發(fā)生器7驅(qū) 動(dòng)(電子快門功能等)。當(dāng)被控制單元9指示激活正常成像模式時(shí)，定時(shí) 發(fā)生器7允許成像元件單元2運(yùn)行一場(chǎng)周期中預(yù)定時(shí)間的正常曝光，如圖 2A所示。當(dāng)被控制單元9指示激活組合成像模式時(shí)，定時(shí)發(fā)生器7允許成 像元件單元2運(yùn)行具有相對(duì)較長(zhǎng)的曝光時(shí)間的長(zhǎng)曝光和具有相對(duì)較短的曝 光時(shí)間的短曝光。很明顯，正常成像模式中的正常曝光時(shí)間、以及組合成像模式中的長(zhǎng) 時(shí)和短曝光時(shí)間可以改變。
光學(xué)組件驅(qū)動(dòng)單元8被用于驅(qū)動(dòng)成像光學(xué)系統(tǒng)1中的光學(xué)組件。例 如，光學(xué)組件驅(qū)動(dòng)單元8包括驅(qū)動(dòng)孔徑la以調(diào)節(jié)入射光量的驅(qū)動(dòng)電路部 分。操作單元11和顯示單元12被提供用于用戶接口。操作單元11響應(yīng)于 用戶操作將操作信息輸出到控制單元9。響應(yīng)于來自控制單元9的指令，顯示單元12顯示要顯示的信息，例 如操作狀態(tài)、時(shí)間信息、模式信息和消息。操作單元ll和顯示單元12可以與成像裝置IO相分離。另外，要顯示 在顯示單元12上的信息可以顯示在監(jiān)視顯示器上，以通過將例如作為字 符圖像的信息疊加在輸出單元5中的所捕獲圖像數(shù)據(jù)上來顯示所捕獲圖 像。在具有上述配置的成像裝置10中，基于控制單元9的控制，根據(jù)圖7 中所示的流程圖來執(zhí)行成像操作。在成像裝置10開始成像操作之后，在步驟ST1中，控制單元9執(zhí)行 操作模式判定，判定組合成像模式是否被激活。如果控制單元9得到了肯 定的判定，g卩，如果組合成像模式被激活，則控制單元9進(jìn)行到步驟ST2-1,并且執(zhí)行組合成像處理?；蛘撸绻刂茊卧?得到了否定的判定， 即，如果正常成像模式被激活，則控制單元9進(jìn)行到步驟ST2-2，并且執(zhí) 行正常成像處理。在步驟ST2-1的組合成像處理中，控制單元9使用定時(shí)發(fā)生器7來控 制成像元件單元2的驅(qū)動(dòng)并在成像元件單元2中設(shè)置一個(gè)電子快門速度， 并且運(yùn)行如圖2B所示的長(zhǎng)曝光和短曝光。換句話說，定時(shí)發(fā)生器7可以 在一場(chǎng)周期中設(shè)置兩個(gè)不同的電子快門速度，并且允許成像元件單元2在 一場(chǎng)周期中運(yùn)行如圖2B所示的長(zhǎng)曝光和短曝光。這使得可以獲得基于不 同曝光量的兩個(gè)所捕獲圖像信號(hào)，例如與1/64秒曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光 圖像信號(hào)和與1/2000秒曝光時(shí)間相對(duì)應(yīng)的短曝光圖像信號(hào)。長(zhǎng)曝光圖像信 號(hào)和短曝光圖像信號(hào)被預(yù)處理單元3處理，并且處理后的信號(hào)被提供給信 號(hào)處理單元4。在步驟ST3-1中，控制單元9使用在PGA中設(shè)置的參考增益設(shè)置值作
為組合成像模式中的參考增益設(shè)置值WDGAIN，從而從飽和區(qū)域降低工 作點(diǎn)，因而防止了由飽和引起的不均勻性的生成。在步驟ST4中，控制單元9控制信號(hào)處理單元4以參考圖3所描述的 技術(shù)執(zhí)行組合處理。換句話說，在組合成像模式中，信號(hào)處理單元4對(duì)由預(yù)處理單元3數(shù) 字化的長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)進(jìn)行組合以擴(kuò)展動(dòng)態(tài)范圍，并將 組合信號(hào)輸出到輸出單元5和檢測(cè)單元6。另外，在步驟ST2-2的正常成像處理中，定時(shí)發(fā)生器7控制成像元件 單元2的驅(qū)動(dòng)，并且在成像元件單元2中設(shè)置一個(gè)電子快門速度。定時(shí)發(fā) 生器7控制成像元件單元2在一場(chǎng)周期中運(yùn)行預(yù)定時(shí)間的正常曝光，并生 成正常曝光圖像信號(hào)。正常曝光圖像信號(hào)被預(yù)處理單元3處理，并且處理 后的信號(hào)被提供給信號(hào)處理單元4。在正常成像模式中，信號(hào)處理單元4 不執(zhí)行組合，并將正常曝光圖像信號(hào)輸出到輸出單元5和檢測(cè)單元6。在步驟ST5中，檢測(cè)單元6執(zhí)行檢測(cè)處理。在步驟ST5的檢測(cè)處理中，檢測(cè)單元6生成由控制單元9指定的檢測(cè) 幀中的累積亮度值，并針對(duì)每一場(chǎng)將累積亮度值發(fā)送到控制單元9。 在步驟ST6中，控制單元9執(zhí)行曝光控制處理。在步驟ST6的曝光控制處理中，控制單元9使用從檢測(cè)單元6接收的 累積亮度值來由當(dāng)前亮度和目標(biāo)亮度之間的差異計(jì)算用于孔徑la的孔徑 值、成像元件單元2的長(zhǎng)曝光時(shí)間和短曝光時(shí)間、以及預(yù)處理單元3的 PGA所必需的控制值，從而執(zhí)行適當(dāng)?shù)钠毓饪刂?。換句話說，對(duì)象的亮度 越低，在PGA中設(shè)置的增益就增大的越多。對(duì)象的亮度越高，在PGA中 設(shè)置的增益就減小的越多。另外，隨著對(duì)象的亮度變高，通過控制孔徑la 的關(guān)閉來執(zhí)行亮度調(diào)節(jié)。換句話說，在成像裝置10中，由可以選擇性地運(yùn)行正常成像模式中 的成像操作和組合成像模式中的成像操作的成像元件單元2獲得的曝光圖 像信號(hào)、或者長(zhǎng)曝光圖像信號(hào)和短曝光圖像信號(hào)被預(yù)處理單元3放大，并 且放大后的信號(hào)被提供給信號(hào)處理單元4。信號(hào)處理單元4通過對(duì)在正常 成像模式下的成像操作中獲得的曝光圖像信號(hào)執(zhí)行信號(hào)處理來生成圖像信
號(hào)，并對(duì)由成像元件單元2在組合成像模式下的成像操作中獲得的長(zhǎng)曝光 圖像信號(hào)和短曝光圖像信號(hào)進(jìn)行組合，從而生成具有比長(zhǎng)曝光圖像信號(hào)和 短曝光圖像信號(hào)中的至少一個(gè)寬的動(dòng)態(tài)范圍的組合圖像信號(hào)。在這種情況下，控制單元9根據(jù)成像元件單元2中的成像模式切換預(yù)處理單元3中的 參考增益設(shè)置值，從而，當(dāng)成像元件單元2處于組合成像模式的圖像操作 狀態(tài)時(shí)，執(zhí)行控制以使得參考增益設(shè)置值大于當(dāng)成像元件單元2處于正常 成像模式的成像操作狀態(tài)時(shí)的參考增益設(shè)置值。如上所述，在成像裝置10中，通過在組合成像模式和正常成像模式 中的每一種中切換成像器件的工作區(qū)域，在正常成像模式中，工作點(diǎn)被擴(kuò) 展到飽和區(qū)域以增大信噪比。在組合成像模式中，工作點(diǎn)被設(shè)置為比飽和 區(qū)域低，從而防止了基于飽和的不均勻性，因而可以獲得對(duì)于這兩種成像 模式最優(yōu)的圖像質(zhì)量。在成像裝置10中，根據(jù)本發(fā)明的成像控制程序是控制單元9中的上 述處理程序，即，使得由微計(jì)算機(jī)形成的控制單元9運(yùn)行圖7中所示的步 驟的程序。該程序可以預(yù)先記錄在內(nèi)建在諸如成像裝置10之類的設(shè)備中的硬盤 驅(qū)動(dòng)器(作為記錄介質(zhì))內(nèi)，或者記錄在包括CPU的微計(jì)算機(jī)中的只讀存 儲(chǔ)器、閃存等中?；蛘?，程序可以臨時(shí)或永久地存儲(chǔ)(記錄)在可移動(dòng)記錄介質(zhì)中，例 如致密盤只讀存儲(chǔ)器、磁光盤、數(shù)字多功能盤、藍(lán)光光盤、磁盤、半導(dǎo)體 存儲(chǔ)器或存儲(chǔ)卡。該可移動(dòng)記錄介質(zhì)可以提供為所謂的打包軟件。成像控制程序可以從可移動(dòng)記錄介質(zhì)安裝到個(gè)人計(jì)算機(jī)等上。另外， 成像控制程序可以經(jīng)由諸如局域網(wǎng)或因特網(wǎng)之類的網(wǎng)絡(luò)從下載站點(diǎn)下載。己經(jīng)描述了實(shí)施例。然而，本發(fā)明可以作各種修改。盡管本發(fā)明例如可以應(yīng)用于執(zhí)行運(yùn)動(dòng)圖像成像的照相機(jī)系統(tǒng)，但是它 也可以應(yīng)用于執(zhí)行靜止圖像成像的照相機(jī)系統(tǒng)。即使靜止圖像成像是在設(shè) 置的曝光模式下執(zhí)行的，在直到例如成像定時(shí)的監(jiān)視期間，在每一場(chǎng)周期 中，也可以執(zhí)行上述的曝光控制(短曝光時(shí)間的控制)。另外，在執(zhí)行非交織掃描成像的情況下，場(chǎng)周期中的上述處理可以被 認(rèn)為是幀周期中的處理。顯然，圖像信號(hào)的單位周期可以是各種周期，例如一場(chǎng)周期、 一幀周 期、多場(chǎng)周期和多幀周期，無論掃描方法如何。例如，這樣的操作示例是 可能的，其中檢測(cè)處理、曝光校正處理和曝光控制處理例如在多場(chǎng)周期中 執(zhí)行一次。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其他因素，可以進(jìn)行各 種修改、組合、子組合和變更，只要它們?cè)跈?quán)利要求及其等同物的范圍 內(nèi)。本發(fā)明包含與2007年9月28日向日本專利局提交的日本專利申請(qǐng)JP 2007-255207相關(guān)的主題，這里通過引用將該申請(qǐng)的全部?jī)?nèi)容并入。
權(quán)利要求
1. 一種成像裝置，包括成像單元，該成像單元能夠選擇性地運(yùn)行正常成像模式中的成像操作和組合成像模式中的成像操作，正常成像模式中的成像操作在一個(gè)單位周期中輸出作為一種曝光圖像信號(hào)的正常曝光圖像信號(hào)，而組合成像模式中的成像操作在所述單位周期中輸出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的曝光時(shí)間相對(duì)應(yīng)的短曝光圖像信號(hào)；預(yù)處理單元，該預(yù)處理單元對(duì)所述正常曝光圖像信號(hào)、或所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信號(hào)執(zhí)行增益處理；信號(hào)處理單元，該信號(hào)處理單元通過對(duì)受到所述增益處理的所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信號(hào)進(jìn)行組合，來生成具有比所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信號(hào)的動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的動(dòng)態(tài)范圍的組合圖像信號(hào)；以及控制單元，該控制單元執(zhí)行通過根據(jù)所述正常成像模式和所述組合成像模式之一來切換所述預(yù)處理單元的增益處理中的參考增益設(shè)置值的控制，使得當(dāng)所述成像單元處于所述組合成像模式時(shí)，所述參考增益設(shè)置值被設(shè)置為大于當(dāng)所述成像單元處于所述正常成像模式時(shí)設(shè)置的參考增益設(shè)置值。
2. 如權(quán)利要求1所述的成像裝置， 其中所述預(yù)處理單元包括可編程增益放大器，并且 其中所述參考增益設(shè)置值是用于所述可編程增益放大器的參考增益設(shè)置值。
3. 如權(quán)利要求1所述的成像裝置，還包括響應(yīng)于所述信號(hào)處理單元的 輸出執(zhí)行檢測(cè)的檢測(cè)單元，其中所述控制單元響應(yīng)于所述檢測(cè)單元的輸出執(zhí)行曝光控制。
4. 一種成像方法，包括以下步驟以正常成像模式中的成像操作和組合成像模式中的成像操作之一執(zhí)行 成像，正常成像模式中的成像操作在一個(gè)單位周期中輸出作為一種曝光圖 像信號(hào)的正常曝光圖像信號(hào)，而組合成像模式中的成像操作在所述單位周 期中輸出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的 曝光時(shí)間相對(duì)應(yīng)的短曝光圖像信號(hào)；對(duì)所述正常曝光圖像信號(hào)、或所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像 信號(hào)執(zhí)行增益處理；通過對(duì)受到所述增益處理的所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信 號(hào)進(jìn)行組合，來生成具有比所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信號(hào)的 動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的動(dòng)態(tài)范圍的組合圖像信號(hào)；以及通過根據(jù)所述正常成像模式和所述組合成像模式之一切換所述增益處 理中的參考增益設(shè)置值，來在所述組合成像模式的情況下，將所述參考增 益設(shè)置值設(shè)置為大于在所述正常成像模式的情況下的參考增益設(shè)置值。
5. 如權(quán)利要求4所述的成像方法，其中所述參考增益設(shè)置值是用于所述可編程增益放大器的參考增益設(shè) 置值。
6. —種用于使得計(jì)算機(jī)運(yùn)行成像方法的程序，該成像方法包括以下步驟以正常成像模式中的成像操作和組合成像模式中的成像操作之一執(zhí)行 成像，正常成像模式中的成像操作在一個(gè)單位周期中輸出作為一種曝光圖 像信號(hào)的正常曝光圖像信號(hào)，而組合成像模式中的成像操作在所述單位周 期中輸出與相對(duì)較長(zhǎng)的曝光時(shí)間相對(duì)應(yīng)的長(zhǎng)曝光圖像信號(hào)和與相對(duì)較短的 曝光時(shí)間相對(duì)應(yīng)的短曝光圖像信號(hào)；對(duì)所述正常曝光圖像信號(hào)、或所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像 信號(hào)執(zhí)行增益處理；通過對(duì)受到所述增益處理的所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信 號(hào)進(jìn)行組合，來生成具有比所述長(zhǎng)曝光圖像信號(hào)和所述短曝光圖像信號(hào)的 動(dòng)態(tài)范圍中的至少一個(gè)相對(duì)較寬的動(dòng)態(tài)范圍的組合圖像信號(hào)；以及通過根據(jù)所述正常成像模式和所述組合成像模式之一切換所述增益處 理中的參考增益設(shè)置值，來在所述組合成像模式的情況下，將所述參考增 益設(shè)置值設(shè)置為大于在所述正常成像模式的情況下的參考增益設(shè)置值。
全文摘要
本發(fā)明公開了一種成像裝置、成像方法和程序。該成像裝置包括成像單元、預(yù)處理單元、信號(hào)處理單元和執(zhí)行控制的控制單元，成像單元能夠選擇性地運(yùn)行正常成像模式中的成像操作和組合成像模式中的成像操作，正常成像模式中的成像操作在一個(gè)單位周期中輸出正常曝光圖像信號(hào)，而組合成像模式中的成像操作輸出長(zhǎng)時(shí)和短曝光圖像信號(hào)，預(yù)處理單元對(duì)正常曝光圖像信號(hào)或長(zhǎng)時(shí)和短曝光圖像信號(hào)執(zhí)行增益處理，信號(hào)處理單元通過對(duì)長(zhǎng)時(shí)和短曝光圖像信號(hào)進(jìn)行組合來生成組合圖像信號(hào)，在控制單元的控制中，通過根據(jù)正?；蚪M合成像模式切換預(yù)處理單元的增益處理中的參考增益設(shè)置值，使得當(dāng)成像單元處于組合成像模式時(shí)，參考增益設(shè)置值被設(shè)置為大于當(dāng)成像單元處于正常成像模式時(shí)的參考增益設(shè)置值。
文檔編號(hào)H04N5/235GK101399923SQ20081016818
公開日2009年4月1日 申請(qǐng)日期2008年9月27日 優(yōu)先權(quán)日2007年9月28日
發(fā)明者游馬晃 申請(qǐng)人:索尼株式會(huì)社