專利名稱：成像裝置、成像方法以及程序的制作方法
技術領域：
本發(fā)明涉及一種成像裝置、一種成像方法、以及一種程序。
背景技術：
在使用諸如CCD(電荷耦合器件)的固態(tài)圖像拾取器件的相關技術中的成像裝置 中，根據光圈或者電子快門速度調整輸入于圖像拾取器件的光量(曝光量)。即，當對一個 明亮景象進行成像時，進行減少曝光量的調整，以致不會因圖像拾取器件輸出信號的飽和 出現(xiàn)所謂的"曝光過度"。反過來，在暗景象中，進行增加曝光量的調整，以致不會出現(xiàn)所謂 的"曝光不足"。 然而，當對一個高對比度景象進行成像(例如，暗光成像或者室內/室外同時成 像)時，引發(fā)了以下所描述的一個問題。由于將加以使用的固態(tài)圖像拾取器件的不充分的 動態(tài)范圍，僅通過調整曝光量，亮部分的飽和會導致其中曝光量不充分的暗部分中出現(xiàn)"曝 光過度"和"曝光不足"，因此，難以適當?shù)卦佻F(xiàn)這樣的兩個部分。 為了解決這一問題，已開發(fā)出一種在一場中使用兩種不同電子快門速度的方法 (例如，參見序號為6-141229的日本專利申請公開物)。根據這一方法，針對每一場改變電 子快門速度，以分別獲得亮區(qū)域的圖像信息和暗區(qū)域的圖像信息，然后把每段所獲得的信 息組合成一個圖像。作為上述方法的一個應用，一種能夠在寬動態(tài)范圍內拾取圖像的成像 裝置(寬動態(tài)范圍攝像機)已廣為人知。 人們普遍所熟悉的寬動態(tài)范圍攝像機的兩種操作狀態(tài)一種是其中執(zhí)行寬動態(tài)范 圍成像的合成成像模式，一種是其中不執(zhí)行寬動態(tài)范圍成像的通常成像模式。然而，通過在 合成成像模式獲得的圖像中，高對比度通常會丟失，如人們所知，如果在小亮度差情況(景 象)下切換至合成成像模式，會得到一個降低了圖像對比度的不自然的圖像。為了改進這 種情況，已開發(fā)出了一種在小亮度差情況下自動地切換至通常成像模式、以及在大亮度差 情況下自動切換至合成成像模式的方法(例如，參見序號為2002-84449的日本專利申請公 開物)。 根據序號為2002-84449的日本專利申請公開物，把通常成像模式下所檢測到的 拾取圖像的亮部分和暗部分之間的亮度差用作從通常成像模式至合成成像模式的切換條 件。于是，為了減小合成成像模式下的亮度差，通過長時間曝光圖像信號和短時間曝光圖像 信號的自動曝光控制，進行曝光不足校正和曝光過度校正，擴展動態(tài)范圍。

發(fā)明內容
然而，在進行合成成像模式下的涉及動態(tài)范圍擴展的自動曝光控制(曝光不足和 曝光過度校正)期間，與通常成像模式相比，亮度波動更大。因此，在完成自動曝光控制之 前，與通常成像模式相比，存在著輸出不自然圖像的問題。 在合成成像模式下的自動曝光控制中，同時或者順序地執(zhí)行通過調整曝光量對長 時間曝光圖像信號的曝光不足部分的校正處理和通過調整曝光量對短時間曝光圖像信號的曝光過度部分的校正處理。另外，還依據情況，通過考慮所成像對象的亮度分布(例如， 亮度直方圖)來實施自動曝光控制。因此，與通常成像模式相比，在合成成像模式下自動曝 光控制所需的時間變長，而且合成圖像的亮度波動更大，于是，用戶可能會感覺從成像裝置 所輸出的視頻不自然。 而且，如果在合成成像模式下根據對象變化(景象變化)而反復地實施自動曝光 控制，則如序號為2002-84449的日本專利申請公開物中所描述的，因對象的瞬間亮度變 化，以上所提到的不自然視頻將會更頻繁地輸出，從而導致作為動態(tài)圖像的質量劣化。艮P， 如果在合成成像模式下不間斷地實施自動曝光控制，則由于對對象的瞬間亮度變化(例 如，因某人穿過成像范圍所導致的亮度變化)的敏感反應，將頻繁地進行曝光不足校正和 曝光過度校正。另外，合成成像模式下的自動曝光控制在收斂之前花費較長時間。因此，合 成成像模式下的輸出圖像頻繁地變得較亮或者較暗，從而導致對于用戶的劣質可視性和不 自然視頻。 鑒于上述問題以及人們對提供一種能夠抑制合成成像模式下伴隨動態(tài)范圍擴展 頻繁出現(xiàn)的不自然亮度變化，并且能夠輸出穩(wěn)定合成圖像的新型、改進的成像裝置、成像方 法以及程序的期望，進行了本發(fā)明。 根據本發(fā)明的一個實施例，提供了一種成像裝置，包括成像處理單元，能夠選擇 性地執(zhí)行通常成像模式下的成像操作和合成成像模式下的成像操作，該通常成像模式下的 成像操作在一個單位時段中生成一個通常曝光圖像信號，合成成像模式下的成像操作通過 在一個單位時段中生成相對長曝光時間的長時間曝光圖像信號和相對短曝光時間的短時 間曝光圖像信號，以及把長時間曝光圖像信號和短時間曝光圖像信號加以組合，而生成合 成圖像信號，所述合成圖像信號具有比長時間曝光圖像信號和短時間曝光圖像信號的至少 任何之一的動態(tài)范圍寬的動態(tài)范圍；亮度檢測單元，其檢測從通常曝光圖像信號或者合成 圖像信號所獲得的圖像的亮度值；以及控制單元，其執(zhí)行自動曝光控制，以根據亮度檢測單 元所檢測的亮度值來控制通常曝光圖像信號的曝光量或者長時間曝光圖像信號和短時間 曝光圖像信號的曝光量，并且根據亮度檢測單元所檢測的亮度值在通常成像模式和合成成 像模式之間切換成像處理單元的成像模式，其中，在合成成像模式下，在暫時完成了針對長 時間曝光圖像信號和短時間曝光圖像信號的自動曝光控制之后，控制單元停止自動曝光控 制，以及如果在停止了自動曝光控制之后，在預定時間或者更長時間，根據亮度檢測單元所 檢測到的亮度值持續(xù)檢測到從合成圖像信號所獲得的圖像的預定亮度變化，則控制單元把 成像處理單元的成像模式從合成成像模式切換至通常成像模式。 合成成像模式下的自動曝光控制可以包括長時間曝光控制，用于通過對成像處 理單元的光闌、增益、或者快門速度至少任何之一進行控制，而對長時間曝光圖像信號的曝 光量進行控制的長時間曝光控制，以把從合成圖像信號所獲得的圖像的暗部分的亮度值調 整至第一目標亮度值；以及短時間曝光控制，用于通過對成像處理單元的快門速度的控制， 而對短時間曝光圖像信號的曝光量進行控制，以把從合成圖像信號所獲得的圖像的亮部分 的亮度值調整至第二目標亮度值。
合成成像模式下的自動曝光控制還可以包括這樣的處理根據從合成圖像信號所
獲得的圖像的亮度分布，校正第一 目標亮度值和第二目標亮度值至少任何之一 。 如果在停止自動曝光控制之后，在預定時間或更長時間，控制單元持續(xù)檢測到所述預定亮度變化，則控制單元可以把成像處理單元的成像模式從合成成像模式切換至通常
成像模式，而且還啟動對通常曝光模式中通常曝光圖像信號的自動曝光控制。 所述控制單元可以把在合成成像模式下、停止自動曝光控制之后亮度檢測單元所
檢測到的亮度值作為基準亮度值加以存儲，而且，如果在所述存儲之后亮度檢測單元所檢
測到的亮度值和該基準亮度值之間的差在預定時間或者更長時間內持續(xù)地等于或者大于
預定閾值，則控制單元把成像處理單元的成像模式從合成成像模式切換至通常成像模式。 根據本發(fā)明的另一個實施例，提供了一種成像裝置的成像方法，能夠選擇性地執(zhí)
行通常成像模式下的成像操作和合成成像模式下的成像操作，該通常成像模式下的成像操
作在一個單位時段中生成通常曝光圖像信號，合成成像模式下的成像操作通過在一個單位
時段中生成相對長曝光時間的長時間曝光圖像信號和相對短曝光時間的短時間曝光圖像
信號，以及把長時間曝光圖像信號和短時間曝光圖像信號加以組合，而生成合成圖像信號，
所述合成圖像信號具有比長時間曝光圖像信號和短時間曝光圖像信號的至少任何之一的
動態(tài)范圍寬的動態(tài)范圍，該方法包括下列步驟根據從通常曝光圖像信號所獲得的圖像中
的亮度差，把成像裝置的成像模式從通常成像模式切換至合成成像模式，執(zhí)行自動曝光控
制，以控制合成成像模式下的長時間曝光圖像信號和短時間曝光圖像信號的曝光量，并且
在暫時完成了自動曝光控制之后，停止自動曝光控制；以及在停止了自動曝光控制之后，檢
測從合成圖像信號所獲得的圖像的亮度值，以及如果根據所檢測到的亮度值，在預定時間
或者更長時間持續(xù)檢測到從合成圖像信號所獲得的圖像中的預定亮度變化，則把成像裝置
的成像模式從合成成像模式切換至通常成像模式。 根據本發(fā)明的另一個實施例，提供了一種程序，其致使作為成像裝置的計算機能 夠選擇性地執(zhí)行通常成像模式下的成像操作和合成成像模式下的成像操作，該通常成像模 式下的成像操作在一個單位時段中生成一個通常曝光圖像信號，合成成像模式下的成像操 作通過在一個單位時段中生成相對長曝光時間的長時間曝光圖像信號和相對短曝光時間 的短時間曝光圖像信號，以及把長時間曝光圖像信號和短時間曝光圖像信號加以組合，而 生成合成圖像信號，所述合成圖像信號具有比長時間曝光圖像信號和短時間曝光圖像信號 的至少任何之一的動態(tài)范圍寬的動態(tài)范圍，該方法包括下列步驟根據從通常曝光圖像信 號所獲得的圖像中的亮度差，把成像裝置的成像模式從通常成像模式切換至合成成像模 式，執(zhí)行自動曝光控制，以控制合成成像模式下的長時間曝光圖像信號和短時間曝光圖像 信號的曝光量，并且在暫時完成了自動曝光控制之后，停止自動曝光控制；以及在停止了自 動曝光控制之后，檢測從合成圖像信號所獲得的圖像的亮度值，以及如果根據所檢測到的 亮度值，在預定時間或者更長時間持續(xù)檢測到從合成圖像信號所獲得的圖像中的預定亮度 變化，則把成像裝置的成像模式從合成成像模式切換至通常成像模式。 根據上述配置，在能夠有選擇地執(zhí)行通常成像模式下的成像操作和合成成像模式 下的成像操作的成像裝置中，在合成成像模式下暫時完成針對長時間曝光圖像信號和短時 間曝光圖像信號的自動曝光控制之后停止自動曝光控制，而且，在停止自動曝光控制之后， 如果根據從合成圖像信號所獲得的圖像所檢測到的亮度值，持續(xù)檢測到圖像中預定亮度變 化一段預定時間或者更長一些時間，則把成像裝置的成像模式從合成成像模式切換至通常 成像模式。 根據本發(fā)明，如上述，可以抑制合成成像模式下伴隨動態(tài)范圍擴展的頻繁的不自然亮度變化，從而能夠輸出穩(wěn)定的合成圖像。


圖1是解釋性視圖，例示了根據本發(fā)明的一個實施例的通常成像模式的曝光； 圖2是解釋性視圖，例示了根據所述實施例的合成成像模式的曝光； 圖3是根據所述實施例的合成處理的是解釋性視圖； 圖4為一個框圖，示出了根據所述實施例的成像裝置的配置； 圖5為一個流程圖，示出了根據所述實施例的成像裝置的成像操作的全體處理；
圖6A是解釋性視圖，示出了根據所述實施例的通常成像模式下逆光對象的拾取 圖像； 圖6B是解釋性視圖，示出了當合成成像模式下拾取與圖6A中圖像相同的圖像時 的合成圖像； 圖6C是解釋性視圖，示出了從圖6B中的狀態(tài)發(fā)生亮度變化時的合成圖像； 圖7是一個流程圖，描述了根據所述實施例的合成成像模式下的自動曝光控制； 圖8是一個流程圖，示出了圖7中長時間曝光控制的細節(jié)； 圖9是一個流程圖，示出了圖7中短時間曝光控制的細節(jié)； 圖10是一個流程圖，示出了圖7中目標亮度值的校正處理的細節(jié)；以及 圖11是解釋性視圖，圖示根據所述實施例的亮度直方圖。
具體實施例方式
以下，將參照附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中，使 用相同的參照數(shù)字表示具有基本相同功能與結構的結構元素，并且省略了對這些結構元素 的重復解釋。 將按以下所示的次序進行這一描述
1.成像模式概述 2.成像模式切換與自動曝光控制概述
3.成像裝置的配置
4.成像操作的處理流程 以下，將描述根據本發(fā)明實施例的一種成像裝置和一種成像方法。在以下的描述 中，把能夠拾取動態(tài)圖像的監(jiān)視攝像機作為成像裝置的實例。然而，根據本發(fā)明的成像裝 置并不局限于這樣的一個實例，也可以把本發(fā)明應用于諸如拾取靜態(tài)圖像的數(shù)字靜態(tài)攝像 機、拾取動態(tài)圖像的數(shù)字攝像機、以及具有攝像機功能的移動電話的任何成像設備。
[1.成像模式概述] 首先，將參照圖1 圖3給出根據本發(fā)明實施例的成像裝置中的成像模式的概述。 根據所述實施例的成像裝置為作為寬動態(tài)范圍的攝像機的、能夠執(zhí)行合成成像模
式下成像操作的攝像機，以及例如，將其用作設置在室內或者室外的監(jiān)視攝像機。該成像裝
置能夠執(zhí)行至少兩種成像模式，即，通常成像模式和合成成像模式下的成像操作。 通常成像模式為一般成像裝置中的通常成像操作。在此通常成像模式下，由圖像
拾取器件對對象進行成像，以在單位時間內生成曝光圖像信號(通常曝光圖像信號)，并且通過信號處理電路、對曝光圖像信號進行預定信號處理，以生成拾取圖像數(shù)據。通常成像模
式適用于對在圖像中的亮部分和暗部分之間亮度差相對小的對象進行成像。 然而，在這一通常成像模式下，難以處理對象中從極暗部分到極亮部分的寬動態(tài)
范圍。例如，在晴朗的白日時間期間，在室外的景色可以從窗戶看到的狀態(tài)，在室內成像，如
果把室內對象用作曝光基準，則室外部分將失去灰度級并且曝光過度。相反，如果把室外部
分用作曝光基準，則室內對象將曝光不足。即，如果對象中的亮度差過大，則難以獲得相應
于其亮度動態(tài)范圍的拾取圖像。 相比之下，在合成成像模式下，例如，可以通過由電子快門改變快門速度以及對多 個具有不同曝光時間的曝光圖像信號進行合成處理，獲得具有寬動態(tài)范圍、而且無曝光過 度和曝光不足的拾取圖像。在這一合成成像模式下，由圖像拾取器件對對象成像，以在單位 時間內生成兩個曝光圖像信號(長時間曝光圖像信號和短時間曝光圖像信號)，并且通過 利用信號處理電路把長時間曝光圖像信號和短時間曝光圖像信號加以組合，而生成合成圖 像信號。此處，合成圖像信號的動態(tài)范圍寬于長時間曝光圖像信號或者短時間曝光圖像信 號的動態(tài)范圍。 獲得了這樣寬動態(tài)范圍的合成成像模式適合于對高對比度下的對象進行成像 (例如，逆光成像或者室內/室外同時成像)，并且可有利地防止上述圖像中亮部分中的曝 光過度和暗部分中的曝光不足。然而，合成成像模式下所獲得的圖像具有較低的對比度，因 此，有時候會引發(fā)視覺上的不舒適感，所以通常成像模式適合于對具有小亮度差的對象進 行成像。于是，最好能夠通過根據用戶的偏好或者成像目的對通常成像模式和合成成像模 式進行切換來拾取圖像。 圖1和圖2描述了配備有根據本實施例的成像裝置的固態(tài)圖像拾取器件中 一場中 的曝光時間和累積的曝光量(電荷量)。例如，固態(tài)圖像拾取器件為CCD或者CMOS (互補金 屬氧化物半導體)傳感器陣列。 圖1示出了通常成像模式和在作為成像的單位時段的一場時段(例如1/60秒) 中進行曝光的情況。盡管在圖1中按1/60秒設置曝光時間(電子快門速度)，然而曝光時 間自然并不局限于l/60秒，而可以為少于一場時段的任何時間。曝光時間相應于電子快門 速度。曝光時間(電子快門速度)可以可選地由用戶設置為任何所希望的值，以調整拾取 圖像的曝光量(快門速度優(yōu)先曝光)。于是，在圖像拾取器件中在一場時段執(zhí)行預定曝光時 間的曝光以獲取一場的曝光圖像信號。對曝光圖像信號進行預定信號處理，以生成一場的 拾取圖像數(shù)據。 圖2示出了與圖1中通常成像模式對應的合成成像模式的情況。圖2為這樣一種 情況其中，在1/60秒的一場中執(zhí)行1/64秒的長時間曝光和1/1200秒的短時間曝光。把 圖2中合成成像模式下的長時間曝光時間(1/64秒)設置為與圖1中通常成像模式下的曝 光時間(1/60秒)對應的值。長時間曝光時間和短時間曝光時間是可變地可控的。通過在 圖像拾取器件中執(zhí)行長時間曝光和短時間曝光，在一場時段中獲得具有不同曝光時間的長 時間曝光圖像信號和短時間曝光圖像信號。然后，通過組合這兩個圖像信號以獲得合成圖 像信號，來生成一場的拾取圖像數(shù)據。長時間曝光和短時間曝光不必在一場時段中執(zhí)行，也 可以考慮其中在某一場時段中執(zhí)行長時間曝光，而在下一場時段中執(zhí)行一個短時間曝光， 以組合各曝光圖像信號的處理。
從圖1和圖2之間的關系可以明顯看出，通常成像模式下的曝光時間和合成成像 模式下的長時間曝光時間是連動的。即，當從通常成像模式切換至合成成像模式時，按這 樣的方式設置合成成像模式下的長時間曝光時間盡可能地維持通常成像模式下所設置的 曝光時間。在圖1和圖2的例子中，例如，如果把通常成像模式下的曝光時間設置為"1/60 秒"，則把從通常成像模式轉移之后的合成成像模式下的長時間曝光時間設置為"1/64秒"， 這幾乎是相同的。另一方面，盡管未在圖中加以顯示，但如果把通常成像模式下的曝光時 間設置為"1/120秒"，則也把從通常成像模式轉移的長時間成像模式下的曝光時間設置為 "1/120秒"。在這一方式下，在把通常成像模式切換至合成成像模式前后，可以維持用戶所 希望的快門速度，并且通過抑制模式切換前后曝光量的變化，可以減輕拾取圖像的視覺上 的不適感。 此處，將參照圖3描述合成成像模式下長時間曝光圖像信號和短時間曝光圖像信 號的合成處理。圖3示出了長時間曝光圖像信號的輸入/輸出亮度特性L和短時間曝光圖 像信號的輸入/輸出亮度特性S。 如圖3中所示，例如，在合成處理過程中，把預定亮度值用作切換點SP。于是，亮度 低于切換點SP的亮度的像素采用長時間曝光圖像信號的像素信號。另一方面，亮度高于切 換點SP的亮度的像素采用短時間曝光圖像信號的像素信號。此時，通過把短時間曝光圖像 乘以增益K，調整兩個圖像的電平，其中，增益K為長時間曝光圖像和短時間曝光圖像的曝 光比(曝光比率)。 如果長時間曝光圖像和短時間曝光圖像的曝光比為10 : l，則短時間曝光圖像的 曝光為長時間曝光圖像的曝光的1/10。然而，就存在的光量而言，長時間曝光圖像信號10 倍于短時間曝光圖像的亮度信號電平的光量。因此，通過把短時間曝光圖像信號乘以io，調 整短時間曝光圖像信號的電平和長時間曝光圖像信號的電平。在這一方式下，把短時間曝 光圖像信號乘以增益，如圖3中所示，以獲得把其電平調整至長時間曝光圖像信號的電平 的特性KS。 因此，生成特性L-KS的合成圖像。即，作為合成圖像，獲得其中對象的相對暗的區(qū) 域中因長時間曝光圖像信號而不存在曝光不足以及相對亮的區(qū)域中因短時間曝光圖像信 號而不存在曝光過度的圖像。 根據其中采用了上述技術的合成成像模式，可以獲得遠寬于通常成像模式下成像 動態(tài)范圍的動態(tài)范圍。因此，可能對輸出圖像中含有亮部分和暗部分的寬動態(tài)范圍的對象 進行成像，例如，當對自然光照入其中的房間的內部或者具有明顯照度差的地方進行成像 時，這使得合成成像模式更為合適。更具體地講，合成成像模式適合于對其中動態(tài)范圍隨成 像的時間段(例如白天和夜間)的不同而明顯不同的銀行支行的出入口、捕獲其中交通狀 況的道路等進行成像。 在以下的描述中，為了便于描述，將把圖1中所示的通常成像模式下的曝光操作 稱為"通常曝光"，以與圖2中所示的合成成像模式下的"長時間曝光"和"短時間曝光"相 區(qū)別。將把通常成像模式下所獲得的曝光圖像信號稱為"通常曝光圖像信號"，以與合成成 像模式下的"長時間曝光圖像信號"和"短時間曝光圖像信號"相區(qū)別。另外，還將把通常 成像模式下的曝光時間稱為"通常曝光時間"，以與合成成像模式下的"長時間曝光時間"和 "短時間曝光時間"相區(qū)別。
9
[2.成像模式切換和自動曝光控制概述] 以下，將描述根據本實施例的通常成像模式和合成成像模式的切換方法的概要。
如同相關技術中通常成像模式和合成成像模式的切換方法，如上述，在小亮度差 情況下自動把成像模式切換至通常成像模式，以及在大亮度差情況下自動把成像模式切 換至合成成像模式的方法已為人們所熟悉(參見序號為2002-84449的日本專利申請公開 物)。序號為2002-84449的日本專利申請公開物把通常成像模式下所獲得的拾取圖像的亮 度差是否等于或者大于預定閾值設置為從通常成像模式切換至合成成像模式的切換條件。 另外，還把合成成像模式下長時間曝光的快門速度(或者光圈)和短時間曝光的快門速度 (或者光圈)之間的差是否等于或者小于恒定值設置為從合成成像模式切換至通常成像模 式的切換條件。 裝備有自動曝光功能的成像裝置在成像期間通常使用自動曝光控制。自動曝光 (auto e鄧osure，AE)是一種自動確定安裝于成像裝置中的曝光(f值、快門速度、以及增益 的組合)的功能，也將其稱為自動曝光。具有AE功能的成像裝置通過調整背景和對象的亮 度來自動地拍攝適當?shù)恼掌E的代表性模式包括程序(program) AE、光圈優(yōu)先AE、以及快 門速度優(yōu)先AE。 根據序號為2002-84449的日本專利申請公開物的成像系統(tǒng)在通常成像模式和合 成成像模式下典型地實施自動曝光控制。從把長時間曝光的快門速度(或者光圈)和短時 間曝光的快門速度(或者光圈)之間的差用作從合成成像模式切換至通常成像模式的切換 條件這一事實，也可以清楚地看出這一點。 然而，如上述，當在合成成像模式下實施涉及動態(tài)范圍擴展的自動曝光控制(曝 光不足/曝光過度校正)時，與通常成像模式相比，亮度波動較大，而且曝光時間變得較長。 因此，存在著這樣的問題在完成自動曝光控制之前，與通常成像模式相比，輸出了不自然 視頻。于是，如序號為2002-84449的日本專利申請公開物所描述的，存在著頻繁輸出上述 不自然視頻的問題，因為如果根據合成成像模式下成像期間對象的改變，反復地實施自動 曝光控制，則會對對象的瞬間改變敏感地做出反應。 因此，在從通常成像模式切換至合成成像模式之后，根據本實施例的成像裝置(1) 在暫時完成了自動曝光控制之后停止自動曝光控制。然后，(2)如果在停止了自動曝光控制 之后，成像裝置檢測到一段預定時間或者更長一些時間，持續(xù)檢測到對合成成像模式下所 獲得的拾取圖像中的預定亮度變化，則把成像模式從合成成像模式切換至通常成像模式。
使用上述配置，當切換至合成成像模式時，自動曝光控制僅實施一次，于是，甚至 是在拾取圖像中出現(xiàn)亮度變化的情況下也可以防止實施重復的自動曝光控制。因此，在合 成成像模式下成像所獲得的合成圖像中可以防止伴隨動態(tài)范圍擴展的頻繁的不自然亮度 變化，從而可以提供穩(wěn)定的合成圖像作為輸出圖像。 另外，在停止了合成成像模式下的自動曝光控制之后，通過檢測拾取圖像中預定 亮度變化一段預定時間或者更長一些時間，可以檢測到非瞬間的對象改變(景象改變)。 即，例如，當待成像的對象從合成成像模式轉移期間所成像的對象改變?yōu)楸仍搶ο蟀档枚?或者亮得多的對象時。因此，當待成像的對象在合成成像模式下成像期間改變時，亮度分布 不同于就在向合成成像模式轉移之后的對象的亮度分布。所以很可能必須再次執(zhí)行自動曝 光控制，或不必執(zhí)行合成成像模式。因此，當成像裝置一段預定時間或者更長一些時間檢測到合成成像模式下預定亮度變化時，則在重新啟動自動曝光控制之前，成像裝置從合成成像模式切換至通常成像模式。 以下，將詳細描述執(zhí)行上述模式切換和自動曝光控制的成像裝置和成像方法。
[3.成像裝置的配置] 接下來，將參照圖4描述根據本實施例的成像裝置的配置。圖4是一框圖，示出了根據本實施例的成像裝置的概要配置。 如圖4中所示，成像裝置包括成像光學系統(tǒng)10、圖像拾取器件20、前處理單元30、信號處理單元40、輸出單元50、檢測單元60、時序生成器70、光學部件驅動單元80、控制單元100、操作單元110、以及顯示單元120。在這些單元中，成像光學系統(tǒng)10、圖像拾取器件20、前處理單元30、信號處理單元40、時序生成器70、以及光學部件驅動單元80為本發(fā)明的成像處理單元的具體實例。檢測單元60為本發(fā)明的亮度檢測單元的具體實例?？刂茊卧?00為本發(fā)明的控制單元的具體實例。 成像光學系統(tǒng)10包括諸如透鏡11、去除不必要波長的濾光器、以及光闌12的光學部件。經由成像光學系統(tǒng)10中的光學部件，把從對象所入射的光引導至圖像拾取器件20。
圖像拾取器件20例如由諸如CCD和CMOS的固態(tài)圖像拾取器件構成，并且通過拾取入射對象圖像生成拾取圖像信號。圖像拾取器件20對經由成像光學系統(tǒng)10傳導的光(對象圖像)進行光電變換，以輸出作為曝光圖像信號的電子信號。在本實施例中，圖像拾取器件20在通常成像模式和合成成像模式執(zhí)行不同的曝光處理。即，在通常成像模式下，如圖1中所示，圖像拾取器件20執(zhí)行通常曝光其中在一場時段中、在預定曝光時間內對對象圖像進行曝光，并且輸出作為通常曝光圖像信號的電子信號。另一方面，在合成成像模式下，如圖2中所示，圖像拾取器件20在一場時段中，執(zhí)行長時間曝光和短時間曝光，并且按時分方式輸出作為長時間曝光圖像信號和短時間曝光圖像信號的電子信號。
圖像拾取器件20并不局限于使用固態(tài)圖像拾取器件的配置。例如，圖像拾取器件20也可以具有使用諸如拾取管的非固態(tài)圖像拾取器件的配置。對于非固態(tài)圖像拾取器件而言，可以使用機械快門或者液晶快門進行長時間曝光和短時間曝光，或者可以改變通常曝光、長時間曝光以及短時間曝光的曝光時間。 前處理單元30為所謂的模擬前端，其對曝光圖像信號進行前處理。例如，對從圖像拾取器件20輸出的作為曝光圖像信號的電子信號，前處理單元30執(zhí)行CDS (correlateddouble sampling,相關復式取樣)處理、通過可編程增益放大器(PGA)的增益處理、或者A/D變換處理。然后，前處理單元30向信號處理單元40提供已對其進行了前處理的曝光圖像信號。即，前處理單元30在通常成像模式下向信號處理單元40提供通常曝光圖像信號，在合成成像模式下向信號處理單元40提供長時間曝光圖像信號和短時間曝光圖像信號。
信號處理單元40針對通常成像模式和合成成像模式的每個執(zhí)行預定信號處理，以生成拾取圖像數(shù)據的視頻信號。更具體地，在通常成像模式下，例如，信號處理單元40對所輸入的通常曝光圖像信號進行伽馬(gamma)校正處理或者白平衡處理，以生成拾取圖像數(shù)據的視頻信號。另一方面，在合成成像模式下，信號處理單元40對所輸入的長時間曝光圖像信號和短時間曝光圖像信號進行參照圖3所描述的合成處理，以生成合成圖像信號。即，信號處理單元40對按時分方式提供的長時間曝光圖像信號和短時間曝光圖像信號進行時序調整、顏色平衡校正處理、使得短時間曝光圖像信號的亮度水平與長時間曝光圖像
11信號的亮度水平相匹配的增益處理、以及合成處理。信號處理單元40還對合成圖像信號進
行伽馬校正處理或者白平衡處理，以生成拾取圖像數(shù)據的視頻信號。信號處理單元40向輸
出單元50和檢測單元60輸出以上述各模式生成的拾取圖像數(shù)據的視頻信號。 輸出單元50對從信號處理單元40輸入的拾取圖像數(shù)據的視頻信號進行用于在監(jiān)
視顯示器中顯示的處理和向外部設備傳輸?shù)奶幚怼?檢測單元60檢測通常成像模式下通常曝光圖像信號所代表的拾取圖像的亮度值和合成成像模式下合成圖像信號所代表的拾取圖像的亮度值。把控制單元100所設置的預定檢測幀中的亮度累計值用作亮度值，然而，也可以使用任何區(qū)域中的亮度平均值等。更具體地，檢測單元60，對于從信號處理單元40輸入的拾取圖像數(shù)據的視頻信號，根據預定的測光方法，計算亮度累計值，并且把亮度累計值提供給控制單元100。在這一情況下，檢測單元60根據來自控制單元100的指令，選擇將加以執(zhí)行的測光方法。可以把諸如中心加權測定方法、評估測定方法、平均測定方法、以及選擇區(qū)域測定方法的任何測光方法用作測光方法。盡管圖像區(qū)域內的檢測幀隨測光方法的不同而不同，但檢測單元60把由待執(zhí)行的測光方法設置的每一檢測幀的亮度累計值提供給控制單元100。 例如，控制單元100由宏控制器構成，該宏控制器具有CPU(中央處理器)、R0M(只讀存儲器)、RAM(隨機存取存儲器)、以及閃存，并且控制上述成像裝置的各單元的操作。
特別地，根據本實施例的控制單元100實施控制，以致使作為成像處理單元的圖像拾取器件20、前處理單元30、信號處理單元40、時序生成器70、以及光學部件驅動單元80執(zhí)行針對通常成像模式和合成成像模式每個的成像操作。此時，控制單元ioo判斷是否滿足預定的切換條件，以控制通常成像模式和合成成像模式的切換。 控制單元100還為檢測單元60設置亮度累計幀(檢測幀)。另外，控制單元100還實施通過調整光闌12、圖像拾取器件20的電子快門速度設置、以及前處理單元30的AGC基準增益設置來自動調整拾取圖像的曝光量的自動曝光控制。控制單元100中的ROM中存儲有致使控制單元100執(zhí)行上述各種控制處理的程序，控制單元100根據這些程序執(zhí)行上述控制所需的運算/控制處理。 根據本實施例的程序為致使作為微處理器的控制單元100執(zhí)行上述控制單元100的處理的程序?？梢园堰@些程序預先存儲在包含在成像裝置中的存儲裝置(HDD、ROM或者閃存等)中。這樣的程序，在提供于成像裝置之前可以存儲在諸如CD、DVD、藍射線盤、以及存儲卡的可拆卸記錄媒體中，或者經由諸如LAN和Internet的網絡卸載于成像裝置。
時序生成器70(以下，將其稱為"TG70")根據來自控制單元100的指令控制圖像拾取器件20的電子快門速度。TG70生成諸如CCD的圖像拾取器件20所需的操作脈沖。例如，TG70生成諸如用于垂直傳送的四相脈沖、場位移(shift)脈沖、用于水平傳送的兩相脈沖、以及快門脈沖的各種類型的脈沖，這些脈沖被提供給圖像拾取器件20。可以由TG70驅動圖像拾取器件20 (電子快門功能)。TG70根據來自控制單元100的指令控制圖像拾取器件20的電子快門速度(曝光時間)。 例如，當從控制單元100指示通常成像模式時，如圖1中所示，TG70致使圖像拾取器件20執(zhí)行其曝光時間相對長的通常曝光。當指示合成成像模式時，如圖2中所示，TG70致使圖像拾取器件20在一場時段中執(zhí)行其曝光時間相對長的長時間曝光和其曝光時間相對短的短時間曝光?？梢园淹ǔ３上衲Ｊ较碌耐ǔＦ毓鈺r間以及合成成像模式下的長時間曝光時間和短時間曝光時間的圖示值改變?yōu)槠渌怠?光學部件驅動單元80根據來自控制單元100的指令驅動成像光學系統(tǒng)10中的光學部件。在本實施例中，光學部件驅動單元80用作驅動電路單元，其至少驅動光闌12以調整入射光的光量。 操作單元IIO和顯示單元120用作用戶接口。操作單元IIO根據用戶操作向控制單元100輸出操作信息。顯示單元120根據來自控制單元100的指令顯示要呈現(xiàn)給用戶的信息，例如操作狀態(tài)、時間信息、模式信息、以及消息。可以把操作單元110和顯示單元120構造成為獨立于成像裝置的設備。在令監(jiān)視顯示器輸出和顯示拾取圖像之前，可以把要在顯示單元120中顯示的信息作為字符圖像或者字母圖像疊置于輸出單元50中拾取圖像數(shù)據的視頻信號上。 在根據本實施例的成像裝置中，如上述，構成成像處理單元的單元10、20、30、40、70、以及80在控制單元100的控制下執(zhí)行通常成像模式或者合成成像模式下的成像操作。在合成成像模式下，從前處理單元30向信號處理單元40發(fā)送長時間曝光圖像信號和短時間曝光圖像信號，以及由信號處理單元40把這兩者圖像信號組合。另一方面，在通常成像模式下，僅從前處理單元30向信號處理單元40發(fā)送通常曝光圖像信號(相應于合成成像模式下的長時間曝光圖像信號)，而且信號處理單元40不執(zhí)行合成處理。
[4.成像操作的處理流程] 以下，將參照圖5描述根據本實施例的成像裝置的一種成像方法。圖5為一個流程圖，示出了根據本實施例的成像裝置的成像操作的整體處理。 如圖5中所示，當開始成像時，成像裝置通過執(zhí)行通常成像模式下的成像操作對對象進行成像(S10)。在通常成像模式下，控制單元100向TG70提供有關預設的預定曝光時間(電子快門速度)的指令，然后TG70根據曝光時間按時序驅動圖像拾取器件20。圖像拾取器件20通過在以上所提到的所設曝光時間(即，通常曝光時間)對對象進行成像，并且執(zhí)行對象圖像的光電變換，而生成通常曝光圖像信號。圖1的下方示出了這樣一種情況其中，在一場中設置通常曝光時間(1/60秒)，并且在1/60秒的曝光時間內拾取通常曝光圖像。 通常成像模式下的曝光時間(電子快門速度)并不局限于1/60秒，而可以將其改
變?yōu)槿魏沃?。成像裝置的控制單元ioo可以根據來自用戶的指令，按用戶所希望的值設置
曝光時間(電子快門速度)，例如，1/120秒、1/250秒、以及1/500秒等。因此，用戶可以通過指定所希望的曝光時間(快門速度優(yōu)先曝光)調整拾取圖像的曝光量。如果曝光時間變得較長(電子快門速度變得較慢)，則圖像信號的曝光量增加，以致可更適當?shù)貙Π祵ο筮M行成像。另一方面，如果曝光時間變得較短(電子快門速度變得較快)，則圖像信號的曝光量減少，以致能夠更適當?shù)貙α翆ο蠡蛘呖焖僖苿拥膶ο筮M行成像。 在通常成像模式下，如上述，前處理單元30對圖像拾取器件20所生成的通常曝光圖像信號進行預定的前處理(例如，CDS處理、通過PGA的增益處理、以及A/D變換處理)。另外，信號處理單元40對前處理單元30所數(shù)字化的通常曝光圖像信號進行信號處理，然后，把信號處理后的視頻信號(代表拾取圖像數(shù)據的信號)輸出于輸出單元50和檢測單元60。 在通常成像模式下，成像裝置還恒定地實施自動曝光(AE)控制(S20)。成像裝置
13的控制單元100通過執(zhí)行自動曝光控制，控制光闌12、圖像拾取器件20、以及前處理單元30，以把從通常曝光圖像信號所獲得的拾取圖像的曝光(曝光量)控制至適當值。
更具體地，在通常成像模式下，檢測單元60通過檢測從信號處理單元40輸入的拾取圖像的視頻信號，累加預定檢測幀(亮度累計幀)中像素的亮度值，并且把亮度累計值輸出于控制單元100?？刂茊卧?00使用從檢測單元60接收的亮度累計值來執(zhí)行拾取圖像的測光處理，以確定當前拾取圖像的亮度值和目標亮度值之間的差(亮度差)。可以把諸如中心加權測定方法、評估測定方法、平均測定方法、以及選擇區(qū)域測定方法的任何測光方法用作測光方法。然后，控制單元100根據所確定的亮度差，計算光闌12、 TG70、以及前處理單元30的PGA所需的控制量(例如，f值、電子快門速度以及基準增益值)，并且向各單元提供指令。如上述，執(zhí)行通常曝光模式下的一般自動曝光處理，以把通常曝光圖像信號所代表的拾取圖像控制在適當曝光量。 主要通過控制光闌12的f值和PGA的基準增益值，來實施通常成像模式下的自動曝光控制。然而，也可以通過TG70所控制的電子快門速度來控制曝光。例如，如果在最大程度地縮小了光闌12的光圈之后拾取圖像依然很亮，則可以對控制單元IOO進行控制以加快快門速度(即，使通常曝光時間較短)，從而進行了曝光調整。另外，在普通的數(shù)字攝像機或者監(jiān)視攝像機中，不僅可以使用光闌12和增益，而且可以使用圖像拾取器件20的電子快門速度來控制曝光量。 而且，在通常成像模式下的成像期間，控制單元100恒定地或者周期性地根據待成像的對象的亮部分和暗部分之間的亮度差，來判斷是否把成像模式從通常成像模式切換至合成成像模式(S30 S40)。 更具體地，控制單元100首先根據檢測單元60所獲得的各檢測幀的亮度累計值，檢測拾取圖像中對象的亮部分和暗部分的亮度比(S30)。亮度比為對象的亮部分和暗部分之間的亮度差的一個例子。此處，將參照圖6A說明亮部分和暗部分的檢測處理。圖6A是解釋性示圖，示出了如何對其中逆光拾取對象的拾取圖像1進行劃分，以及如何對其進行測光測量。通過對逆光對象進行成像，獲得圖6A中的拾取圖像l，其中，所述對象含有具有高亮度的亮的上部分和具有低亮度的暗的中間部分、以及具有中間(intermediate)亮度的其它部分。 如圖6A中所示，例如，控制單元100把拾取圖像1劃分成4 (水平)X 3 (垂直)的12個區(qū)域，并且設定針對檢測單元60的各區(qū)域的檢測幀。檢測單元60檢測從信號處理單元40輸入的視頻信號，并且累加各檢測幀的亮度值，然后把各檢測幀的亮度累計值輸出于控制單元100。控制單元100根據各檢測幀的亮度累計值，確定拾取圖像1中的最暗區(qū)域(暗部分)2和最亮區(qū)域(亮部分)3。然后，如以下所描述的公式所示，控制單元100通過把最亮區(qū)域的亮度累計值(YH)除以最暗區(qū)域的亮度累計值(YL)，確定亮度比(YM)。
亮度比(YM)=[最亮區(qū)域的亮度累計值(YH)]/[最暗區(qū)域的亮度累計值(YL)]
亮度比(YM)為通常成像模式下所成像的對象的亮部分的亮度與暗部分的亮度的比率，并且相應于拾取圖像1的亮度差。亮度比的計算方法并不局限于上述例子，而是可以按需改變。例如，檢測幀的設置并不局限于圖6A中的例子，而可以按任何配置設置或多或少的檢測幀。而且，取代確定各個檢測幀的亮度累計值，也可以各每一檢測幀的平均亮度值。
接下來，控制單元100使用以上所計算的亮度比(YM)來判斷是否把成像模式從通常成像模式切換到合成成像模式(S40)。此處，控制單元100把S30處所獲得的亮度比(YM)與預定閾值(CI)進行比較，以判斷亮度比是否等于或大于預定閾值(C1)。此處，閾值(CI)為表示需要從通常成像模式切換至合成成像模式的亮度比下限的值。根據成像裝置的性能，把閾值(CI)設置為需要合成成像模式的最小亮度比值。例如，如果亮度比大約為5，成像裝置即使在通常成像模式下也具有防止拾取圖像中出現(xiàn)曝光過度或者曝光不足的性能，則，例如，把閾值(CI)設置為6。 如果作為S40處的判斷結果，亮度比(預)等于或大于預定閾值(CI)，則控制單元100確定有必要從通常成像模式切換至合成成像模式，并且前進至步驟S50。在這一情況下，加以成像的對象具有使得合成成像模式成為必要的亮度比，因此，在S50處，把成像處理單元的成像模式從通常成像模式切換至合成成像模式。另一方面，如果亮度比(YM)小于預定閾值(Cl)，則控制單元IOO確定不需切換至合成成像模式，并且返回至步驟SIO，繼續(xù)通常曝光模式下的成像。 于是，可由步驟S40判斷正在通常成像模式下成像的對象的亮度比(預)是否等于或大于使得采用合成成像模式成為必要的亮度比的閾值。因此，當對低亮度比的、使得不必采用合成成像模式的對象進行成像時向合成成像模式的錯誤切換可以被避免。
如上述，在根據通常成像模式下所檢測的亮度比(預)從通常成像模式切換至合成成像模式之后，成像裝置執(zhí)行合成成像模式下的成像操作，以對對象進行成像(S50)。如上述，由于TG70可以設置兩種不同的電子快門速度，所以成像裝置在合成成像模式下能夠生成具有不同曝光量的兩種曝光圖像信號(即，長時間曝光圖像信號和短時間曝光圖像信號)。 在合成成像模式下，控制單元100向TG70提供有關相應于通常曝光時間(電子快門速度)的長時間曝光時間和預定短時間曝光時間的指令，TG70根據這些曝光時間、依時序驅動圖像拾取器件20。圖像拾取器件20在一場中在長時間曝光時間和短時間曝光時間內對對象進行成像，以生成長時間曝光圖像信號和短時間曝光圖像信號。如圖3中所示，信號處理單元40在具體切換點SP處把前處理單元30所數(shù)字化的長時間曝光圖像信號和短時間曝光圖像信號加以組合，以生成具有擴展動態(tài)范圍的合成圖像信號。然后，信號處理單元40對合成圖像信號進行預定信號處理，以生成拾取圖像數(shù)據的視頻信號，把該視頻信號輸出于輸出單元50和檢測單元60。 例如，上述圖2為這樣一種情況其中，在合成成像模式下，在一場中設置兩個不同的曝光時間(1/64秒和1/1200秒)，圖像拾取器件20生成兩個具有不同曝光量的曝光圖像信號。即，拾取其曝光時間為1/64秒的長時間曝光圖像信號和其曝光時間為1/1200秒的短時間曝光圖像信號。把與圖1中通常成像模式下的通常曝光時間(1/60秒)相應的值用作圖2中的長時間曝光時間。于是，當采用快門速度優(yōu)先曝光等時，把通常成像模式下的通常曝光時間反映于合成成像模式下的長時間曝光時間中，從而可以減小當切換成像模式時的畫質變化。 在合成成像模式下，緊接在從通常成像模式切換至合成成像模式(S60)之后，成像裝置僅實施一次自動曝光(AE)，并且在完成了自動曝光控制(S卩，自動曝光收斂)(S70)之后，停止自動曝光控制(S80)。
S卩，當出現(xiàn)向合成成像模式的轉移時，成像裝置實施自動曝光控制，以自動控制長 時間曝光圖像信號和短時間曝光圖像信號的曝光量，從而可以調整合成圖像信號所代表的 拾取圖像的曝光(S60)。成像裝置的控制單元100通過執(zhí)行自動曝光控制，控制光闌12、圖 像拾取器件20、以及前處理單元30，以把通過組合長時間曝光圖像信號和短時間曝光圖像 信號而獲得的拾取圖像的曝光(曝光量)控制到適當?shù)闹?。合成成像模式下的自動曝光?制包括控制長時間曝光圖像信號的曝光量以校正拾取圖像中曝光不足的長時間曝光控制， 以及控制短時間曝光圖像信號的曝光量以校正拾取圖像中曝光過度的短時間曝光控制。另 外，除了長時間曝光控制和短時間曝光控制之外，根據本實施例的合成成像模式下的自動 曝光控制還包括根據由曝光控制所獲得的合成圖像的亮度分布來校正長時間曝光控制和 短時間曝光控制的目標亮度值的處理。 此處，將參照圖7 圖11描述根據本實施例的合成成像模式下的自動曝光控制 (S60)。圖7是一個流程圖，示出了根據本實施例的合成成像模式下的自動曝光控制。
如圖7中所示，在合成成像模式下在自動曝光控制中，執(zhí)行長時間曝光控制(S62) 和短時間曝光控制(S64)。首先，為了校正合成圖像中低亮度部分(暗部分)的曝光不足， 成像裝置的控制單元100執(zhí)行長時間曝光控制，以把通過檢測合成圖像的暗部分所獲得的 當前亮度值調整至第一目標亮度值(Yb) (S62)。此處，合成圖像意指從通過組合長時間曝光 圖像信號和短時間曝光圖像信號所獲得的合成圖像信號所獲得的拾取圖像。接下來，為了 校正合成圖像中高亮度部分(亮部分)的曝光過度，控制單元100執(zhí)行短時間曝光控制，以 把通過檢測合成圖像的亮部分所獲得的當前亮度值調整至第二目標亮度值(Yw) (S64)。
然后，控制單元100檢查通過長時間曝光控制和短時間曝光控制所獲得的合成圖 像的亮度分布(例如，亮度直方圖)，以判斷亮度分布是否適當(S66)。如果亮度分布偏向 低亮度區(qū)域或者高亮度區(qū)域，則確定亮度分布為不適當?shù)摹Ｈ绻_定亮度分布為不適當?shù)模?則控制單元100校正用于S62處的長時間曝光控制的目標亮度值(Yb)和用于S64處的短 時間曝光控制的目標亮度值(Yw)(S68)。接下來，控制單元100使用校正后的目標亮度值 (Yb， Yw)重復上述S62處的長時間曝光控制和短時間曝光控制(S62 S64)。
如上述長時間曝光控制(S62)、短時間曝光控制(S64)、以及亮度分布的檢查 (S66)的完成，意味著已經完成了針對合成圖像的自動曝光控制。 以下，將參照圖8 圖11詳細描述圖7中S62 S68處的處理。圖8 圖10為 流程圖，分別示出了圖7中的長時間曝光控制(S62)、短時間曝光控制(S64)、以及目標亮度 值的校正處理(S68)的細節(jié)。圖ll是解釋性示圖，圖示了根據本實施例的亮度直方圖。
首先，將參照圖8描述圖7中的長時間曝光控制(S62)。如圖8中所示，控制單 元100通過使用從檢測單元60所獲得的亮度累計值控制長時間曝光圖像信號的曝光量 (S622)，來把合成圖像暗部分的亮度值(YL)調整至適當?shù)牧炼戎?第一目標亮度值Yb) (S624)。在長時間曝光控制中，控制單元100控制成像處理單元的光闌12的f值、前處理 單元30的AGC的增益值、以及圖像拾取器件20的長時間曝光的電子快門速度中的至少任 何之一。 更具體地，在檢測合成成像模式下，檢測單元60通過從信號處理單元40輸入的合 成圖像的視頻信號，累加在預定檢測幀中的像素的亮度值，并且把亮度累計值輸出于控制 單元100?？刂茊卧?00使用從檢測單元60所接收的亮度累計值來執(zhí)行合成圖像的測光處理，以確定如圖6A中所示的合成圖像中最暗部分(暗部分)的當前亮度值(YL)和用于長 時間曝光的第一目標亮度值(Yb)之間的亮度差(S622)。把第一目標亮度值(Yb)預設置為 這樣的亮度值合成圖像中的暗部分顯示出適當?shù)牧炼取Ｈ缓?，控制單?00根據所確定的 亮度差計算光闌12、 TG70、以及前處理單元30的PGA所需的控制量(例如，f值、長時間曝 光的電子快門速度以及基準增益值)，并且把指令提供于各單元(S622)。因此，光闌12更 寬地打開、PGA的增益增大、或者長時間曝光的電子快門速度加長，從而長時間曝光圖像信 號的曝光量增加以及合成圖像的暗部分變亮。 然后，控制單元IOO把通過檢測校正之后的合成圖像所獲得的當前亮度值(YL)與 第一目標亮度值(Yb)加以比較(S624)。于是，如果暗部分的當前亮度值(YL)達到第一目 標亮度值(Yb)，則消除了曝光不足，從而控制單元100結束長時間曝光控制。另一方面，如 果暗部分的當前亮度值(YL)沒有達到第一目標亮度值(Yb)，則控制單元100返回至S622， 以控制各單元，以便進一步增加長時間曝光圖像信號的曝光量。 在長時間曝光控制中，如上述，成像裝置執(zhí)行通常自動曝光(AE)處理，直至合成 圖像的暗部分的亮度達到適當?shù)哪繕肆炼取Ｔ谶@一情況下，控制單元IOO檢測曝光不足的 暗部分的亮度，并且增加長時間曝光圖像信號的曝光量(感光度)，直至該暗部分的亮度達 到適當?shù)哪繕肆炼?。在上述長時間曝光控制中，通常通過寬打開光闌12和增加PGA的增益， 來實現(xiàn)曝光不足校正。然而，如果即使在最大程度地打開光闌12的情況下暗部分的亮度也 沒有達到目標亮度，則可以通過加長用于長時間曝光的電子快門速度，來實施曝光控制。
接下來，將參照圖9描述圖7中的短時間曝光控制(S64)。如圖9中所示，控制單 元100使用從檢測單元60所獲得的亮度累計值，通過控制短時間曝光圖像信號的曝光量 (S642)，把合成圖像的亮部分的亮度值(YH)調整至適當?shù)牧炼戎?第二目標亮度值Yw) (S644)。在短時間曝光控制中，控制單元100控制針對成像處理單元的圖像拾取器件20的 短時間曝光的電子快門速度。 更具體地，在合成成像模式下，檢測單元60通過檢測從信號處理單元40輸入的合 成圖像的視頻信號，累加預定檢測幀中像素的亮度值，并且把亮度累計值輸出于控制單元 100?？刂茊卧?00使用從檢測單元60接收的亮度累計值執(zhí)行合成圖像的測光處理，以確 定如圖6A中所示的合成圖像中最亮部分(亮部分)的當前亮度值(YH)和用于短時間曝光 的第二目標亮度值(Yw)之間的亮度差(S622)。把第二目標亮度值(Yw)預設置為這樣的亮 度值合成圖像中的亮部分顯現(xiàn)出適當?shù)牧炼?。然后，控制單元IOO根據所確定的亮度差計 算TG70所需的控制量(短時間曝光的電子快門速度)，并且把指令提供于TG70(S622)。因 此，圖像拾取器件20中短時間曝光的電子快門速度縮短，以致短時間曝光圖像信號的曝光 量降低以及合成圖像的亮部分變暗。 然后，控制單元100把通過檢測校正之后的合成圖像所獲得的亮部分的當前亮度 值(YH)與第二目標亮度值(Yw)加以比較(S644)。于是，如果亮部分的當前亮度值(YH)達 到第二目標亮度值(Yw)，則消除了曝光過度，從而控制單元lOO結束短時間曝光控制。另一 方面，如果亮部分的當前亮度值(YH)沒有達到第二目標亮度值(Yw)，則控制單元100返回 至S642，以控制各單元，以便進一步減少短時間曝光圖像信號的曝光量。
在短時間曝光控制中，如上述，成像裝置執(zhí)行短時間曝光控制，直至合成圖像的亮 部分的亮度達到適當?shù)哪繕肆炼?。在這一情況下，控制單元ioo檢測曝光過度的亮部分的
17亮度，并且通過使短時間曝光的電子快門速度短于初始值(例如，1/1200秒)，來減少短時 間曝光圖像信號的曝光量，直至該亮部分的亮度達到適當?shù)哪繕肆炼?。在上述短時間曝光 控制中，通常僅控制短時間曝光的電子快門速度，而不控制光闌12和PGA的增益。這是因 為光闌12和增益用于具有寬控制寬度的長時間曝光控制，而且，如果在短時間曝光控制中 改變f值和PGA的增益，則可能會影響先前所執(zhí)行的長時間曝光控制。因此，在短時間曝光 控制中把光闌12的f值和PGA的增益固定為長時間曝光控制中所設置的值，而僅控制短時 間曝光控制電子快門速度。 以下，將參照圖10和圖ll描述圖7中亮度直方圖的檢查處理(S66)和目標亮度 值的校正處理(S68)。 上述檢測單元60可以通過檢測從信號處理單元40輸入的合成圖像的亮度，生成 合成圖像的各檢測幀的亮度累計值以及亮度直方圖，并且針對每一場把亮度累計值和亮度 直方圖傳輸于控制單元IOO?？刂茊卧?00檢查亮度直方圖(S66)，以根據亮度直方圖所代 表的亮度分布來校正針對長時間曝光控制的第一目標亮度值(Yb)或者針對短時間曝光控 制的第二目標亮度值(Yw) (S68)。 圖11描述了根據本實施例的亮度直方圖的一個實例。在這一例子中，把從黑水 平B到白水平W的亮度劃分成8個亮度范圍"B"、"mbr，、"mb2"、"mw3"、"mw2"、"mwl"、以
及"W"，并且針對這8個亮度范圍中的每一個，示出了一場圖像中全部像素的亮度的比率 (%)。 當實施圖7中所示的自動曝光控制時，控制單元IOO把用于長時間曝光控制(曝 光不足校正)的第一目標亮度值(Yb)的初始值設置為能夠創(chuàng)建不存在曝光不足的合成圖 像的預定亮度值?？刂茊卧?00還把用于短時間曝光控制(曝光過度校正)的第二目標亮 度值(Yw)的初始值設置為能夠創(chuàng)建不存在曝光過度的合成圖像的預定亮度值。
接下來，在從檢測單元60接收到當前合成圖像的亮度直方圖之后，控制單元100 檢查該亮度直方圖，以判斷亮度直方圖的黑部分(B)和白部分(W)是否小于預定的比率 (例如，5%或10%) (S66)。如果作為結果黑部分(B)和白部分(W)等于或者大于預定的比 率，則控制單元100校正第一目標亮度值(Yb)和第二目標亮度值(Yw)，以便可以消除曝光 不足和曝光過度(S68)。 更具體地，控制單元IOO通過檢查亮度直方圖中的黑部分(B)的比率，檢測曝光不 足。然后，如果黑部分(B)等于或者大于預定比率(例如，5%或10%)，則如圖IO中所示， 控制單元100根據所述比率增大/減小長時間曝光控制的目標亮度值(Yb) (S682)。例如， 控制單元IOO把目標亮度值(Yb)更新為通過把固定值(Cb)加到當前目標亮度值(Yb)所 獲得的值(Yb+Cb)。 S卩，沿增加長時間曝光量的方向更新目標亮度值(Yb)。
控制單元100還通亮度值的這種校正處理(S66 S68)和曝光控制處理(S62和S64)，例如，針對每一場時段，
合成圖像的曝光收斂于一種其中既無曝光不足也無曝光過度出現(xiàn)的曝光狀態(tài)。 如果作為結果在S66處黑部分(B)和白部分(W)小于預定的比率，則控制單元100
確定通過實施適當?shù)拈L時間曝光控制和短時間曝光控制，已經消除了曝光不足和曝光過
度，從而完成了圖7中的自動曝光控制。因此，通過使用代表合成圖像的亮度分布的亮度直
方圖，控制單元100可以正確地判斷合成圖像中是否存在任何曝光不足或者曝光過度，并
且如果需要的話，可以適當?shù)貓?zhí)行合成圖像的自動曝光控制。 在以上的描述中，已經參照圖7 圖11描述了合成成像模式下的自動曝光控制 (圖5中的S60)。通過執(zhí)行合成成像模式下的自動曝光控制，如圖6B中所示，可以輸出已 從中消除了曝光不足和曝光過度的合成圖像5。因此，例如，圖6A中通常成像模式下的拾取 圖像1的暗部分3中的人的曝光不足的臉，在圖6B的合成成像模式下的合成圖像5的中間 亮度的區(qū)域6中可識別地顯示。另外，圖6A中拾取圖像1的亮部分2中的曝光過度的背景 在圖6B的合成圖像5的比中間亮度亮的區(qū)域7中可識別地顯示。 然而，如上述，由于在上述合成成像模式下的自動曝光控制中既執(zhí)行了長時間曝 光控制也執(zhí)行了短時間曝光控制，所以與通常成像模式比較，花費較長的時間才能實現(xiàn)曝 光收斂。而且，如圖7中所示，除了曝光控制之外，對于某些成像裝置，還需要檢查合成圖像 的亮度分布(亮度直方圖)，以在校正目標亮度值同時進行曝光控制，以達到適當?shù)牧炼确?布。在這一情況下，將耗費更長的時間才能實現(xiàn)曝光收斂。從而，在組合成像模式下，實施 自動曝光控制將花費較長的時間(例如，5 10秒)。因此，存在著這樣的一個問題如果 像過去那樣，每次出現(xiàn)對象的瞬間亮度變化或者細微的亮度變化，都實施自動曝光控制，則 在自動曝光控制期間會頻繁地輸出不自然的合成圖像。于是，如果在合成成像模式下頻繁 地輸出伴隨AE處理的不自然的圖像，則所述成像裝置將不能用作監(jiān)視攝像機。
因此，在本實施例中，如圖5中所示，在暫時完成了合成成像模式下的自動曝光控 制(S70)之后，停止自動曝光控制(S80)。以下，將返回至圖5描述合成成像模式下自動曝 光控制之后的處理。 如圖5中所示，當出現(xiàn)從通常成像模式向合成成像模式的轉移時，控制單元IOO在 上述S60處執(zhí)行自動曝光控制(S60)，然后等待，直至暫時(temporarily)完成了自動曝光 控制(S70)。此處，暫時完成了自動曝光控制時的時刻指的是當在向合成成像模式轉移之后 最初執(zhí)行的自動曝光控制(長時間曝光控制和短時間曝光控制兩者)收斂時的時刻，以及 如果執(zhí)行了使用亮度直方圖的檢查，則是當完成了檢查時的時刻。 接下來，在完成了合成成像模式下的最初自動曝光控制之后(S70)，控制單元100 停止自動曝光控制功能(S80)，并且在后繼的合成成像模式下將不執(zhí)行自動曝光。通過停止 自動曝光控制功能，固定了光闌12的f值、PGA的增益、以及長時間曝光和短時間曝光的快 門速度。因此，防止追隨對象的亮度變化發(fā)生曝光控制，從而不會發(fā)生合成成像模式下成像 期間出現(xiàn)的伴隨動態(tài)范圍擴展的合成圖像中不自然的亮度變化。 然而，如果停止了自動曝光控制功能，當在合成成像模式下待成像的對象改變 (景象改變)時，將不能夠通過自動曝光對改變之后的景象加以成像。于是，在本實施例中， 如果在停止了合成成像模式下的自動曝光控制之后，控制單元100根據來自檢測單元60的 亮度累計值持續(xù)檢測到合成圖像中的預定亮度變化一段預定時間或者更長一些時間，則控制單元100確定發(fā)生了景象改變。于是，控制單元100根據景象改變的檢出，把成像裝置的 成像模式從合成成像模式切換至通常成像模式。 更具體地，控制單元100根據從檢測單元60所接收的亮度累計值獲取在完成了自 動曝光控制之后的合成圖像的亮度值(Yl)，并且把亮度值(Yl)作為基準亮度值存儲在存 儲器中。此處，假設可以通過諸如中心加權測定方法、評估測定方法、平均測定方法、以及選 擇區(qū)域測定方法的任何測光方法獲得所存儲的基準亮度值(Yl)。當在以下所描述的S120 處判斷亮度變化時，把基準亮度值(Yl)用作基準。 檢測合成圖像中間亮度變化的測光方法可以為上述任一方法，但最好是測量整個 合成圖像，原因如下。即，如果在合成成像模式下適用寬動態(tài)范圍，則如圖6B中所示，合成 圖像5具有許多中間亮度前后的區(qū)域6、7，導致合成圖像5中的低對比度圖像和小亮度差。 因此，例如，通過使用在整個合成圖像5中設置檢測幀，以及測量檢測幀中的亮度的測光方 法，能夠適當?shù)貦z測合成圖像5的亮度變化。如果有意選擇部分測光，則可以測量用戶頻繁 觀看的合成圖像5的中心部分，以檢測中心部分的亮度變化。 接下來，控制單元100對計時器(T)進行初始化(復位(reset)加以計數(shù)的計時 器值)(S100)。計時器用于檢測在停止了自動曝光控制之后對象的亮度變化。
另外，在存儲基準亮度值(Yl)之后的合成成像模式下的成像期間，控制單元 100根據從檢測單元60所接收的亮度累計值，獲取當前所成像的合成圖像的亮度值(Y2) (S110)。假設已通過類似于基準亮度值(Yl)的測光方法的測光方法獲得當前亮度值(Y2)。
接下來，控制單元100判斷當前亮度值(Y2)和基準亮度值(Yl)之間的差是否等 于或者大于預定閾值(C2)(S120)。作為結果，如果所述差小于預定閾值(C2)，則控制單元 100返回到SIOO，以初始化計時器(T) (S100)。另一方面，如果所述差等于或者大于預定閾 值(C2)，則控制單元IOO啟動計時器(T)的計數(shù)(S130)，并且繼續(xù)到S140。
然后，在S130處啟動計時器(T)的計數(shù)之后，控制單元IOO判斷預定時間是否已 過，即，設置于計時器(T)的時間是否已過(S140)。預定時間為用作判斷亮度是否存在任何 波動的基準的時間，并且例如，將其設置為5 10秒。作為S140處的判斷結果，如果預定 時間未過，而且設置于計時器(T)的時間未過，則控制單元100返回至S110，并且再次獲取 當前亮度值(Y2) (S110)，然后，把亮度值(Y2)和基準亮度值(Yl)之間的差與閾值(C2)進 行比較。 另一方面，如果在S140處，預定時間已過，而且設置于計時器(T)的時間已過，則 可以確定合成成像模式下成像期間對象的狀態(tài)已改變(景象已改變)，因為上述判斷結果 意味著合成圖像中發(fā)生了預定亮度變化。 例如，如果待成像的景象從向合成成像模式轉移期間所成像的對象改變至比該對 象暗得多或者亮得多的新對象，如圖6C中所示，則在合成圖像5中出現(xiàn)其亮度已經改變的 區(qū)域8。圖6C中的例子描述了這樣一種情況其中，成像范圍的上方包含非常暗的對象，在 合成圖像5的上方的其中間亮度已經改變的區(qū)域8中，亮度是低的。因此，控制單元100可 以根據檢測單元60所檢測的亮度累計值而檢測到區(qū)域8中的亮度變化，從而可以確定已經 發(fā)生了景象改變。， 當檢測到這樣的一個亮度變化時，如果預定或更大的亮度變化持續(xù)了預定時間或 者更長的時間，則確定出現(xiàn)了景象改變。因此，不把諸如一個人穿越成像范圍的瞬間亮度變化確定為景象改變，而如果這樣的亮度變化持續(xù)了一段預定時間或者更長一些時間，則確 定景象已改變。 使用上述合成成像模式下的處理S90 S140，在合成成像模式下，在停止了自動 曝光控制之后，可以檢測到對象的景象改變。然后，控制單元100根據對景象改變的檢出， 把成像裝置的成像模式從合成成像模式切換至通常成像模式，以重新啟動通常成像模式下 的成像操作和通常自動曝光控制(S10和S20)。其原因如下。 如上述，如果在合成成像模式下的成像期間發(fā)生景象改變，則當前加以成像的合 成圖像的亮度分布不同于緊接在向合成成像模式轉移之后對對象進行成像時的亮度分布。 于是，必須再次執(zhí)行自動曝光控制。而且，由于發(fā)生景象改變，按適合于過去的對象的亮度 控制的狀態(tài)繼續(xù)合成成像模式是不合適的，而從合成成像模式返回至通常成像模式很可能 更合適。 因此，如果在合成成像模式下控制單元100持續(xù)檢測到大亮度變化——其產生相 對于基準亮度值(Yl)等于或者大于預定閾值(C2)的亮度差一段預定時間或者更長一些時 間，則控制單元100確定已經發(fā)生景象改變。然后，控制單元IOO根據亮度變化的檢出，把 成像模式從合成成像模式切換至通常成像模式(S10)，以重新啟動自動曝光控制(S20)。因 此，可以獲得其曝光自動得以控制以適合景象改變之后的對象的拾取圖像。
然而，如果即使在執(zhí)行通常成像模式下的自動曝光控制之后，在拾取圖像中亮部 分和暗部分之間仍存在等于或者大于預定閾值(Cl)的亮度差(S40)，則控制單元100把成 像模式再次從通常成像模式切換至合成成像模式(S50)。然后，控制單元IOO在再次切換后 的合成成像模式下對于具有所述亮度差的合成圖像執(zhí)行自動曝光控制(S60)，并且在暫時 完成了自動曝光控制之后停止自動曝光控制(S80)。 于是，通過切換合成成像模式和通常成像模式，以及接通/關閉自動曝光控制，即 使在上述合成圖像模式中出現(xiàn)景象改變的情況下，也可以通過重新啟動自動曝光控制，穩(wěn) 定地輸出具有適當曝光、自然的圖像。 在以上的描述中，已經詳細地描述了根據本實施例的成像裝置和成像方法。根據 本實施例，當具有自動切換合成成像模式和通常成像模式兩種成像模式功能的成像裝置經 歷從通常成像模式至合成成像模式的轉移時，在暫時完成了針對合成圖像的曝光控制之 后，停止自動曝光控制功能。另外，如果在后繼的合成成像模式下持續(xù)檢測到合成圖像的預 定亮度變化一段預定時間或者更長一些時間，則在從合成成像模式切換至通常成像模式之 后，重新啟動自動曝光控制。 S卩，根據本實施例，當在寬動態(tài)范圍攝像機中自動地把成像模式從通常成像模式 切換至合成成像模式之后，完成了伴隨動態(tài)范圍擴展的自動曝光處理時(1)停止自動曝 光，以及(2)如果在合成圖像中預定亮度變化持續(xù)了一段預定時間或者更長一些時間，則 在從合成成像模式切換至通常成像模式之后重新啟動自動曝光。因此，可以防止因合成成 像模式下對象的瞬間改變所導致的伴隨動態(tài)范圍擴展的不自然的亮度變化的出現(xiàn)，從而能 夠提供作為動態(tài)圖像的穩(wěn)定的合成圖像。 根據上述序號為2002-84449的日本專利申請公開物中所描述的模式切換技術， 在合成成像模式下，如果長時間曝光的快門速度和短時間曝光的快門速度之間差為降至 固定值以下，則把成像模式從合成成像模式切換至通常成像模式。然而，在本實施例中，
21在合成成像模式下停止自動曝光控制，從而難以使用序號為2002-84449的日本專利申請 公開物中的技術，因為長時間曝光和短時間曝光的快門速度為固定的。而且，根據序號為 2002-84449的日本專利申請公開物中所描述的模式切換技術，僅比較長時間曝光的快門速 度和短時間曝光的快門速度，所以可能由于同樣對瞬間亮度變化的敏感反應而把成像模式 切換至通常成像模式。相比之下，在根據本實施例轉換技術中，當亮度變化持續(xù)了一段預定 時間或者更長一些時間時，把成像模式從合成成像模式切換至通常成像模式。從而，可以防 止由于對瞬間亮度變化的反應所導致的模式切換，而當完全的景象改變出現(xiàn)時，可以把成 像模式從合成成像模式切換至通常成像模式。因此，在本實施例中，僅因為在合成成像模 式下停止了與亮度波動相關的自動曝光控制，所以能夠通過適當?shù)匕盐蘸铣蓤D像的亮度變 化，按適當?shù)臅r序把成像模式從合成成像模式切換至通常成像模式。 這一技術領域中的熟練技術人員將會意識到，可以依據設計要求和其它因素，對 本發(fā)明進行多方面的修改、組合、局部組合以及變動，只要這些修改、組合、局部組合以及變 動處于所附權利要求或者其等效要求的范圍內即可。 例如，可以把本發(fā)明應用于拾取動態(tài)圖像的攝像機系統(tǒng)，而且還可以將其應用于 拾取靜態(tài)圖像的攝像機系統(tǒng)。例如，可以把本發(fā)明應用于任何諸如拾取動態(tài)圖像的數(shù)字攝 像機、拾取靜態(tài)圖像的數(shù)字靜態(tài)攝像機、以及具有攝像機功能的移動電話的成像設備。甚至 是當按所設置的曝光模式拾取靜態(tài)圖像時，例如在至成像定時(release,釋放)的監(jiān)視期 間也可以實施成像模式的切換控制。 例如，當執(zhí)行非隔行掃描模式下的成像時，可以把以上所提到的場時段中的處理 視為幀時段中的處理。即，獲得曝光圖像信號的單位時段可以為成像裝置所使用的任何單 位時段，例如，場時段、幀時段、多個場的時段、以及多個幀的時段。例如，可以考慮這樣一個 操作實例其中，在多個幀的每一個時段中僅執(zhí)行檢測處理、曝光校正處理、以及曝光控制
處理一次。 在以上的實施例中，在圖7中所示的合成成像模式下的自動曝光控制中，除了長 時間曝光控制(S62)和短時間曝光控制(S64)之外，還檢查了亮度直方圖(S66)，并且執(zhí)行 了目標亮度值的校正處理(S68)。然而，本發(fā)明并不局限于這樣的一個實例，例如，也可以 在不檢查亮度直方圖(S66)和進行目標亮度值校正處理(S68)的情況下，執(zhí)行長時間曝光 控制(S62)和短時間曝光控制(S64)。而且，在以上的實施例中，在執(zhí)行了長時間曝光控制 (S62)之后執(zhí)行短時間曝光控制(S64)，但本發(fā)明并不局限于此，例如，也可以在執(zhí)行了短 時間曝光控制之后執(zhí)行長時間曝光控制，并且還可以同時執(zhí)行長時間曝光控制和短時間曝 光控制。 在以上的實施例中，描述了一種裝備有光闌12、圖像拾取器件20的電子快門、以
及PGA作為曝光控制機制的成像裝置，然而，本發(fā)明并不局限于這樣的一個實例。例如，可
以把本發(fā)明應用于不具有光闌12的成像裝置或者不具有PGA的成像裝置。 在以上的實施例中，當檢測作為用于從合成成像模式切換至通常成像模式的基準
的亮度變化時，假設計時器所設定的預定時間為固定值，然而，本發(fā)明并不局限于這樣的一
個實例。例如，可以通過按若干階段提供多個計時器值，把預定時間(計時器值)設置為可
變的，以致用戶能夠手工地設置計數(shù)器值。 本發(fā)明包含與2009年10月21日向日本專利局提出的日本優(yōu)先專利申請JP2008-271152中所公開的主題相關的主題，特將其全部內容并入此處，以作參考:
權利要求
一種成像裝置，包含成像處理單元，能夠選擇性地執(zhí)行通常成像模式下的成像操作和合成成像模式下的成像操作，該通常成像模式下的成像操作在一個單位時段中生成一個通常曝光圖像信號，合成成像模式下的成像操作通過在一個單位時段中生成相對長曝光時間的長時間曝光圖像信號和相對短曝光時間的短時間曝光圖像信號，以及把長時間曝光圖像信號和短時間曝光圖像信號加以組合，而生成合成圖像信號，所述合成圖像信號具有比長時間曝光圖像信號和短時間曝光圖像信號的至少任何之一的動態(tài)范圍寬的動態(tài)范圍；亮度檢測單元，其檢測從通常曝光圖像信號或者合成圖像信號所獲得的圖像的亮度值；以及控制單元，其執(zhí)行自動曝光控制，以根據亮度檢測單元所檢測的亮度值來控制通常曝光圖像信號的曝光量或者長時間曝光圖像信號和短時間曝光圖像信號的曝光量，并且根據亮度檢測單元所檢測的亮度值在通常成像模式和合成成像模式之間切換成像處理單元的成像模式，其中，在合成成像模式下，在暫時完成了針對長時間曝光圖像信號和短時間曝光圖像信號的自動曝光控制之后，控制單元停止自動曝光控制，以及如果在停止了自動曝光控制之后，在預定時間或者更長時間，根據亮度檢測單元所檢測到的亮度值持續(xù)檢測到從合成圖像信號所獲得的圖像的預定亮度變化，則控制單元把成像處理單元的成像模式從合成成像模式切換至通常成像模式。
2. 根據權利要求1的成像裝置，其中，合成成像模式下的自動曝光控制包括 長時間曝光控制，用于通過對成像處理單元的光闌、增益、或者快門速度的至少任何之一進行控制，而對長時間曝光圖像信號的曝光量進行控制，以把從合成圖像信號所獲得的 圖像的暗部分的亮度值調整至第一目標亮度值；以及短時間曝光控制，用于通過對成像處理單元的快門速度的控制，而對短時間曝光圖像 信號的曝光量進行控制，以把從合成圖像信號所獲得的圖像的亮部分的亮度值調整至第二 目標亮度值。
3. 根據權利要求2的成像裝置，其中，合成成像模式下的自動曝光控制還包括 根據從合成圖像信號所獲得的圖像的亮度分布，校正第一目標亮度值和第二目標亮度值至少任何之一的處理。
4. 根據權利要求l的成像裝置，其中，如果在停止自動曝光控制之后，在預定時間或更 長時間，控制單元持續(xù)檢測到所述預定亮度變化，則控制單元把成像處理單元的成像模式 從合成成像模式切換至通常成像模式，而且還啟動對通常曝光模式中通常曝光圖像信號的 自動曝光控制。
5. 根據權利要求l的成像裝置，其中，所述控制單元把在合成成像模式下、停止自動曝 光控制之后亮度檢測單元所檢測到的亮度值作為基準亮度值加以存儲，而且，如果在所述 存儲之后亮度檢測單元所檢測到的亮度值和該基準亮度值之間的差在預定時間或者更長 時間內持續(xù)地等于或者大于預定閾值，則控制單元把成像處理單元的成像模式從合成成像 模式切換至通常成像模式。
6. —種成像裝置的成像方法，能夠選擇性地執(zhí)行通常成像模式下的成像操作和合成成 像模式下的成像操作，該通常成像模式下的成像操作在一個單位時段中生成通常曝光圖像信號，合成成像模式下的成像操作通過在一個單位時段中生成相對長曝光時間的長時間曝 光圖像信號和相對短曝光時間的短時間曝光圖像信號，以及把長時間曝光圖像信號和短時 間曝光圖像信號加以組合，而生成合成圖像信號，所述合成圖像信號具有比長時間曝光圖 像信號和短時間曝光圖像信號的至少任何之一的動態(tài)范圍寬的動態(tài)范圍，該方法包括下列 步驟根據從通常曝光圖像信號所獲得的圖像中的亮度差，把成像裝置的成像模式從通常成 像模式切換至合成成像模式，執(zhí)行自動曝光控制，以控制合成成像模式下的長時間曝光圖像信號和短時間曝光圖像 信號的曝光量，并且在暫時完成了自動曝光控制之后，停止自動曝光控制；以及在停止了自動曝光控制之后，檢測從合成圖像信號所獲得的圖像的亮度值，以及如果 根據所檢測到的亮度值，在預定時間或者更長時間持續(xù)檢測到從合成圖像信號所獲得的圖 像中的預定亮度變化，則把成像裝置的成像模式從合成成像模式切換至通常成像模式。
7. —種程序，其致使作為成像裝置的計算機能夠選擇性地執(zhí)行通常成像模式下的成像 操作和合成成像模式下的成像操作，該通常成像模式下的成像操作在一個單位時段中生成 一個通常曝光圖像信號，合成成像模式下的成像操作通過在一個單位時段中生成相對長曝 光時間的長時間曝光圖像信號和相對短曝光時間的短時間曝光圖像信號，以及把長時間曝 光圖像信號和短時間曝光圖像信號加以組合，而生成合成圖像信號，所述合成圖像信號具 有比長時間曝光圖像信號和短時間曝光圖像信號的至少任何之一的動態(tài)范圍寬的動態(tài)范 圍，該方法包括下列步驟根據從通常曝光圖像信號所獲得的圖像中的亮度差，把成像裝置的成像模式從通常成 像模式切換至合成成像模式，執(zhí)行自動曝光控制，以控制合成成像模式下的長時間曝光圖像信號和短時間曝光圖像 信號的曝光量，并且在暫時完成了自動曝光控制之后，停止自動曝光控制；以及在停止了自動曝光控制之后，檢測從合成圖像信號所獲得的圖像的亮度值，以及如果 根據所檢測到的亮度值，在預定時間或者更長時間持續(xù)檢測到從合成圖像信號所獲得的圖 像中的預定亮度變化，則把成像裝置的成像模式從合成成像模式切換至通常成像模式。
全文摘要
在能夠有選擇地執(zhí)行通常成像模式下的成像操作和合成成像模式下的成像操作的成像處理單元中，在合成成像模式下，在暫時完成了針對長時間曝光圖像信號和短時間曝光圖像信號的自動曝光控制之后，停止自動曝光控制，以及如果在停止了自動曝光控制之后，基于從自合成圖像信號所獲得的圖像所檢測到的亮度值持續(xù)檢測到圖像中預定亮度變化一段預定時間或者更長一些時間，則把成像裝置的成像模式從合成成像模式切換至通常成像模式。
文檔編號H04N5/225GK101729789SQ200910205380
公開日2010年6月9日 申請日期2009年10月21日 優(yōu)先權日2008年10月21日
發(fā)明者游馬晃 申請人:索尼株式會社