專利名稱：成像裝置和成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用于攝像機(jī)的能夠以低幀速率成像的成像裝置，并涉及 應(yīng)用于該成像裝置的成像方法。
背景技術(shù)：
獲得與電視廣播格式等相符的視頻信號(hào)的攝像機(jī)使用1/60秒、1/50秒 等指定幀速率來用成像器捕捉圖像。例如，具有1/60秒的幀速率的攝像機(jī) 對(duì)于每一幀具有1/60秒的最大周期(或者快門周期)用來積累用成像器接 收到的成像光。
在執(zhí)行將接收成像光的時(shí)段縮短至一個(gè)幀周期內(nèi)的處理(或電子快門 處理)時(shí)，可以以1/100秒、1/1000秒等高快門速度來捕捉圖像。但是在 這種情況下，可能不會(huì)允許接收成像光的周期長(zhǎng)于一個(gè)幀周期。
為了實(shí)現(xiàn)以比所定義的幀速率更低的幀速率成像，在覆蓋多個(gè)幀周期 的長(zhǎng)周期內(nèi)的成像光可被成像器接收并且在所述多個(gè)幀周期內(nèi)接收到的信 號(hào)然后可被從所述成像器中讀出。例如，當(dāng)CCD (電荷耦合器件)圖像傳 感器被用作成像器時(shí)，通過接收到的光在每個(gè)像素內(nèi)積累電荷的周期可被 延長(zhǎng)。例如，當(dāng)每個(gè)像素的電子積累周期對(duì)應(yīng)于兩個(gè)幀周期之和(1/30) 時(shí)，在1/30秒內(nèi)積累的信號(hào)可被讀出。從而可以獲得具有兩倍積累周期的 低速率成像。當(dāng)正常的幀周期被設(shè)為1/60秒時(shí)，這樣得到的成像信號(hào)可以 每1/30秒(這是一般幀周期的兩倍)就間歇地改變。例如，即使在諸如夜 晚之類的黑暗中也可以捕捉圖像。這樣，通過以比重放的幀速率更低的幀 速率執(zhí)行成像和記錄，可以得到快速進(jìn)行的效果。在上面的描述中，已經(jīng) 說明了在兩倍幀周期內(nèi)積累電荷的處理示例。例如可以調(diào)節(jié)在成像器中積 累電子的周期，以使得成像可以在數(shù)十幀的周期內(nèi)得到延續(xù)。
公開號(hào)為2005-39710的日本未審查專利申請(qǐng)公開了如下成像裝置的示例，該成像裝置通過幀相加來執(zhí)行改變幀速率的處理。

發(fā)明內(nèi)容
但是，如果如上所述擴(kuò)展圖像傳感器的光接收元件中的電子積累的周 期，則會(huì)使圖像傳感器的校正功能的動(dòng)態(tài)范圍變得不足。因此，由此得到 的圖像可能會(huì)暴露圖像傳感器的固定模式噪聲，或者諸如白平衡調(diào)節(jié)之類 的自動(dòng)控制系統(tǒng)將會(huì)由于斷續(xù)圖像而不足以應(yīng)對(duì)實(shí)際使用。結(jié)果，圖像質(zhì) 量的劣化可能會(huì)大量發(fā)生。
例如，在來自圖像傳感器的成像信號(hào)輸出是線性信號(hào)階段處來自圖像 傳感器的輸出受到數(shù)字同步的相加。這里，"來自圖像傳感器的成像信號(hào) 輸出是線性信號(hào)的階段"意味著信號(hào)的如下階段，在該階段期間，受到各 種類型的成像信號(hào)處理(例如白平衡調(diào)節(jié)和伽瑪校正)之前的圖像傳感器 的輸出被直接反映。
在圖像傳感器的輸出在緊接非線性信號(hào)處理電路之后的階段中被相加 的情況下，如果所相加的各幀的信號(hào)特性在相加被執(zhí)行時(shí)發(fā)生變化，則相 加之后的信號(hào)特性可能會(huì)劣化。
例如，如果兩個(gè)幀周期被相加，則這兩個(gè)幀周期中的每一個(gè)可能屬于 完全相同的電荷積累周期。但是，事實(shí)上，在稱為電子快門的處理中的一 個(gè)幀周期內(nèi)，圖像傳感器的信號(hào)電荷積累周期可能被縮短。如果所相加的 兩個(gè)幀周期的信號(hào)積累周期由于電子快門處理而發(fā)生變化，則在來自圖像 傳感器的輸出被相加時(shí)所相加的各幀周期的信號(hào)特性不總是相同。因此， 相加之后的信號(hào)可能具有劣化的特性。
本發(fā)明解決了上面指出的問題以及與傳統(tǒng)方法和裝置相關(guān)聯(lián)的其他問 題。希望提供將低幀速率的成像和電子快門合適地結(jié)合的成像裝置和成像 方法。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種成像裝置，并且根據(jù)本發(fā)明的 另一個(gè)實(shí)施例，提供了一種成像方法。放大從用于將成像光轉(zhuǎn)換為成像信 號(hào)的圖像傳感器得到的成像信號(hào)。以幀為單位把放大后的成像信號(hào)中的預(yù) 定多個(gè)幀相加。接著，根據(jù)將被相加的多個(gè)幀中的每個(gè)幀的信號(hào)積累周期來可變地設(shè)置每個(gè)幀的信號(hào)積累周期。
根據(jù)如上所述的處理，當(dāng)為了以低幀速率進(jìn)行成像而執(zhí)行成像信號(hào)中 的多個(gè)幀的相加時(shí)，基于信號(hào)積累周期來可變地設(shè)置將被相加的每個(gè)幀的 信號(hào)所具有的增益。
根據(jù)本發(fā)明的實(shí)施例，當(dāng)為了以低幀速率進(jìn)行成像而執(zhí)行成像信號(hào)中 的多個(gè)幀的相加時(shí)，基于信號(hào)積累周期來可變地設(shè)置將被相加的每個(gè)幀的 信號(hào)所具有的增益。從而可以使相加之前的信號(hào)的特性變得相等，使得可 以防止信號(hào)的特性因相加而劣化。


圖1是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置的配置示例的框圖。 圖2是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的同步加法的示例的電 路圖。
圖3A至圖3D是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的成像時(shí)刻的 示例(三幀相加)的時(shí)序圖。
圖4A至圖4E是圖示出根據(jù)本發(fā)明實(shí)施例的當(dāng)電子快門被執(zhí)行時(shí)的成 像裝置中的成像時(shí)刻的示例(三幀相加)的時(shí)序圖。圖5是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的處理示例的流程圖。
圖6A至圖6D是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的電子快門的 孔徑(aperture)和增益的示例的時(shí)序圖，其中圖6A、 6B、 6C和6D分別 表示100%、 75%、 50%和25%的不同快門孔徑。
圖7A至7E是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的電子快門和增 益的另一設(shè)置示例的時(shí)序圖。
圖8是圖示出根據(jù)本發(fā)明實(shí)施例的成像裝置中的增益和伽瑪曲線的特 性圖。
具體實(shí)施例方式
在下文中，將參考附圖來描述本發(fā)明的一種實(shí)施例的示例。
圖1是圖示出作為本發(fā)明實(shí)施例示例的成像裝置的示例性配置的框圖?，F(xiàn)在參考圖1，成像裝置的配置將被描述。通過透鏡ll得到的成像光 被由棱鏡12分成三原色。各顏色的分離成像光線分別入射到藍(lán)色、綠色
和紅色圖像傳感器13B、 13G和13R的成像表面上。各顏色圖像傳感器 13B、 13G和13R的成像表面上的成像光線形成圖像在各圖像傳感器 13B、 13G和13R中被轉(zhuǎn)換為電信號(hào)，接著轉(zhuǎn)換后的電信號(hào)被分別讀出。 從圖像傳感器13B、 13G和13R中讀出的電信號(hào)被分別稱為成像信號(hào)。
為了簡(jiǎn)化描述，透鏡11在圖1中被表示為單個(gè)透鏡。但是，事實(shí)上 透鏡11可以包括多個(gè)透鏡(透鏡組)并且可以充當(dāng)變焦透鏡。此外，光 圈、孔徑機(jī)構(gòu)也被布置在透鏡11的光路中，但是未在圖中示出。圖像傳 感器13B、 13G和13R例如可以是CCD圖像傳感器或CMOS圖像傳感 器。圖像傳感器13B、 13G和13R中的每個(gè)圖像傳感器中的每幀的信號(hào)積 累周期由來自后述控制單元25的指令來可變?cè)O(shè)置。換言之，例如，如果 一幀是1/60秒，則一個(gè)幀周期的最大信號(hào)積累周期大約是1/60秒，但是 比這更短的積累周期可被定義。這樣，使一個(gè)幀周期內(nèi)的信號(hào)積累周期縮 短的處理被稱為電子快門。
從圖像傳感器13B、 13G和13R中讀出的成像信號(hào)被提供給相機(jī)處理 單元30。接著，成像信號(hào)在相機(jī)處理單元30中受到各種校正處理。校正 過程包括與線性信號(hào)處理和非線性信號(hào)處理有關(guān)的校正。
輸入到相機(jī)處理單元30的成像信號(hào)首先被提供給線性處理單元31然 后受到線性信號(hào)處理。如圖1所示，線性處理單元31中的線性信號(hào)處理 在用于各顏色成像信號(hào)的放大電路31b、 31g和31r中獨(dú)立地執(zhí)行放大處 理，以獲得具有合適電平的各顏色成像信號(hào)。在本實(shí)施例中，根據(jù)在執(zhí)行 后述幀相加的模式(低幀速率的成像模式)下的各幀中的信號(hào)積累周期的 差異來校正由各放大電路31b、 31g和31r設(shè)置的增益。稍后將描述增益設(shè)
置的示例。
此外，用于調(diào)節(jié)藍(lán)色、綠色和紅色成像信號(hào)的平衡的校正白平衡調(diào)節(jié) 的處理被執(zhí)行。校正白平衡調(diào)節(jié)的處理也可被在放大電路31b、 31g和31r
中的每一個(gè)中執(zhí)行。
經(jīng)線性處理單元31處理的成像信號(hào)被提供給非線性處理單元32，從而受到非線性信號(hào)處理。
與非線性處理單元32中的非線性處理有關(guān)的校正可以是伽瑪("校
正、拐點(diǎn)校正(knee correction)等等。伽瑪校正是這樣一種校正，其中基 于伽瑪校正曲線利用非線性I/O特性來變換每種顏色的輝度值。拐點(diǎn)校正 是非線性處理單元32中的用于調(diào)節(jié)圖像中的明亮部分的亮度的非線性校 正處理。非線性處理單元32中的非線性校正處理被配置如下可以通過 從后述控制單元25提供的指令利用不同的校正特性來分別定義執(zhí)行正常 成像時(shí)的非線性校正處理和執(zhí)行如下所述的幀相加時(shí)的非線性校正處理。 另外，可以利用根據(jù)在幀相加時(shí)相加的幀數(shù)的進(jìn)一步的校正來定義校正特 性。
經(jīng)在非線性處理單元32中校正的成像信號(hào)被提供給YC轉(zhuǎn)換單元 33。這里，YC轉(zhuǎn)換單元33把由藍(lán)色、綠色和紅色的原色信號(hào)(在下文中 被稱為RGB信號(hào))形成的成像信號(hào)轉(zhuǎn)換為包括輝度信號(hào)(在下文中被稱 為Y信號(hào))和色度信號(hào)(在下文中被稱為C信號(hào))的成像信號(hào)。經(jīng)YC轉(zhuǎn) 換單元33轉(zhuǎn)換的成像信號(hào)被從相機(jī)處理單元30中輸出。
從相機(jī)處理單元30中輸出的成像信號(hào)(Y信號(hào)和C信號(hào))被提供給 同步加法電路14。此外，同步加法電路14連接到由幀存儲(chǔ)器組成的幀緩 沖器24。所提供的成像信號(hào)在成像被以低幀速率執(zhí)行時(shí)受到按照幀的算數(shù) 加法?？刂茊卧?5可以控制所相加的幀的數(shù)目等等。在同步加法電路中 相加的成像信號(hào)或者沒有相加的成像信號(hào)被提供給編解碼器單元15。
編解碼器單元15執(zhí)行編解碼處理，其中所提供的成像信號(hào)被轉(zhuǎn)換為 預(yù)定格式的視頻信號(hào)。然后，轉(zhuǎn)換得到的視頻信號(hào)被提供給記錄電路16 然后被記錄在記錄介質(zhì)(存儲(chǔ)介質(zhì))中。適合使用的記錄介質(zhì)可以是諸如 存儲(chǔ)卡、光盤和磁帶之類的各種介質(zhì)中的任何一種。
另外，從相機(jī)處理單元30中輸出的成像信號(hào)和從同步加法電路14中 輸出的成像信號(hào)被提供給選擇器21。從而，在控制單元25的控制下，由 選擇器21來選擇將要顯示的成像信號(hào)。例如，選擇器21當(dāng)顯示在低幀速 率成像時(shí)以低幀速率得到的成像信號(hào)時(shí)選擇從同步加法電路14中輸出的 成像信號(hào)。另一方面，選擇器21當(dāng)在低幀速率成像期間未被按照幀相加的成像信號(hào)被顯示時(shí)選擇來自相機(jī)處理單元30的輸出。在正常成像時(shí)， 在所選擇的成像信號(hào)中沒有差異。
由選擇器21選擇的圖像信號(hào)被幀速率轉(zhuǎn)換單元22進(jìn)行幀速率轉(zhuǎn)換以 供顯示或外部輸出，接著被顯示在顯示器23上。由幀速率轉(zhuǎn)換單元22轉(zhuǎn) 換的視頻信號(hào)也可被從輸出端(未示出)輸出。幀速率轉(zhuǎn)換單元22中的 轉(zhuǎn)換和顯示器23中的顯示也是在控制單元25的控制下執(zhí)行的。當(dāng)幀速率 的轉(zhuǎn)換被幀速率轉(zhuǎn)換單元22執(zhí)行時(shí)，轉(zhuǎn)換處理是使用幀緩沖器24作為臨 時(shí)存儲(chǔ)設(shè)備來執(zhí)行的。
控制成像裝置的各單元的控制單元25接收來自具有操作開關(guān)等的操 作單元26的操作指令。從而，操作單元26的操作導(dǎo)致對(duì)諸如成像的開始 或終止之類的成像動(dòng)作的控制。此外，可以基于操作單元26的操作來執(zhí) 行成像模式的設(shè)置等。低幀速率模式的設(shè)置和電子快門的設(shè)置也是由操作 單元26的操作來執(zhí)行的。也可以根據(jù)當(dāng)時(shí)的成像條件(輝度等)由控制 單元25來自動(dòng)控制電子快門。在幀緩沖器24中積累成像信號(hào)的動(dòng)作也是 由控制單元24控制的。這里，幀緩沖器24是如下存儲(chǔ)器，其中圖像信號(hào) 可被以Y信號(hào)和C信號(hào)的形式存儲(chǔ)。
現(xiàn)在參考圖2，幀緩沖器24被用作同步加法的存儲(chǔ)電路時(shí)的同步加法 電路的配置將被描述。輸入到輸入端24a中的成像信號(hào)被通過轉(zhuǎn)換開關(guān) 24b提供到加法器24c。這里，轉(zhuǎn)換開關(guān)24b在沒有成像信號(hào)相加的時(shí)段期 間選擇得到0 (零)數(shù)據(jù)的端子，而非相對(duì)方(輸入端24a)。加法器24c 被提供用于來自存儲(chǔ)單元24d的輸出的相加。然后，加法器24c的輸出被 提供給存儲(chǔ)單元24d并被存儲(chǔ)在存儲(chǔ)單元24d中。接著，存儲(chǔ)在存儲(chǔ)單元 24d中的成像信號(hào)被從輸出端24e輸出。在圖2所示的電路配置中，對(duì)每 一幀同步地執(zhí)行如下處理存儲(chǔ)單元24d存儲(chǔ)一幀的成像信號(hào)，以及在加 法器24c中將所存儲(chǔ)的成像信號(hào)加到輸入信號(hào)上。從而，每一幀的信號(hào)可 被按順序相加。接著，被相加所需數(shù)目的幀的成像信號(hào)被從輸出端24e輸 出。為了在幀緩沖器24中執(zhí)行相加，在每一幀中相加的像素的位置被調(diào) 節(jié)，以與其他像素一致。從而，這種相加使得每個(gè)像素位置的輝度值變成 在與所相加的幀的數(shù)目相對(duì)應(yīng)的時(shí)段中相加得到的值。圖3A至圖3D是圖示出在該示例的成像裝置的同步加法電路14中執(zhí) 行加法處理時(shí)的成像操作的時(shí)序圖。圖3A至圖3D中所示示例是如下示 例，其中三個(gè)幀的圖像信號(hào)被相加。圖3A圖示出成像信號(hào)的幀周期。如 圖3B至圖3D中所示，曝光期間的三個(gè)幀的成像信號(hào)被相加并被提供作為 一個(gè)幀的信號(hào)。具體而言，如圖3D所示，在具有曝光周期l.l、 1.2禾口1.3 的三個(gè)幀周期期間的來自圖像傳感器的輸出被加起來，導(dǎo)致1號(hào)幀的成像 信號(hào)在同步加法電路14中受到三幀相加。1號(hào)幀的成像信號(hào)在連續(xù)的三個(gè) 幀周期期間被從同步加法電路14輸出。在具有后續(xù)曝光周期2.1、 2.2和 2.3的三個(gè)幀周期期間的來自圖像傳感器的輸出被加起來，導(dǎo)致2號(hào)幀的 成像信號(hào)在同步加法電路14中受到三幀相加。2號(hào)幀的成像信號(hào)也在三個(gè) 幀周期期間被從同步加法電路14輸出。
因此，由三個(gè)幀相加得到的成像信號(hào)導(dǎo)致圖像傳感器13B、 13G或 13R中的曝光時(shí)間比正常成像時(shí)的圖像信號(hào)的曝光時(shí)間長(zhǎng)二倍。從而，成 像的幀速率是正常成像的三分之一。
圖3A至圖3D中所圖示的示例已被描述為三幀相加的示例。但是，相 加的幀的數(shù)目可以是二或更多，這是可選擇的。例如，如果一個(gè)幀是1/60 秒并且60幀相加被執(zhí)行，則可以以每一秒的低幀速率來執(zhí)行成像。
現(xiàn)在參考圖4A至圖4B，描述了如下處理，其中如上所述的低幀速率 的成像處理被與電子快門相結(jié)合。圖4A至圖4B所示的示例是如下示例， 其中低幀速率的成像是與圖3A至圖3D所示情況類似的1/3的幀速率。
當(dāng)電子快門不被執(zhí)行時(shí)，成像信號(hào)的三個(gè)幀在以1/3的幀速率進(jìn)行成 像的模式下如圖3A至圖3D所示被相加。但是，當(dāng)電子快門被執(zhí)行時(shí)，例 如，在將被相加的三個(gè)幀周期中，在電子快門所指示的時(shí)刻之前的信號(hào)被 丟棄。只有在電子快門所指示的時(shí)刻之后的信號(hào)被相加。
在圖4A至圖4B的示例中，成像幀周期被定義為如圖4A所示。此 外，如圖4B所示，低幀速率的成像被定義，使得圖像幀的三個(gè)幀周期被 設(shè)為一個(gè)幀周期。這里，在低幀速率的成像狀態(tài)被定義之后，認(rèn)為如圖 4B所示執(zhí)行電子快門，其中幾乎在第二幀周期的中間之后的信號(hào)被累加 (相加)而在前信號(hào)被丟棄。具體而言，例如，在將曝光周期2.1、 2.2和2.3的三個(gè)幀周期相加的低幀速率成像的模式下，電子快門時(shí)刻被設(shè)為曝 光周期2.2的幾乎中間的時(shí)刻，然后此后的周期僅被定義為曝光周期。因
此，在同步加法電路14中，只有后一半曝光周期2.2中的成像信號(hào)和整個(gè) 曝光周期2.3中的成像信號(hào)被相加。
在這種配置的情況下，電子快門中的具有短積累周期的周期(例如， 曝光周期2.2)通過相機(jī)處理單元30中的線性處理單元根據(jù)其他周期的信 號(hào)增益來改變信號(hào)增益。換言之，當(dāng)線性處理單元31中的放大電路31b、 31g和31r中的每一個(gè)放大電路的正常增益是0dB時(shí)，具有大約一半積累 周期的幀周期中的增益被設(shè)為比正常增益高6dB。因此，即使在不同積累 周期的情況下，用于各幀的圖像信號(hào)的線性處理單元31的輸出幾乎是相 等的電平。
圖4C圖示出在相機(jī)處理單元30的放大電路31b、 31g和31r中設(shè)置增 益的示例。通過這種增益放大過的信號(hào)如圖4D所示被輸出。在這種情況 下，如圖4C所示，如下處理被重復(fù)，其中每隔兩幀就提供具有高增益的 幀周期。在三個(gè)放大電路31b、 31g和31r中設(shè)置的增益基本上是相同的。 但是，如果放大電路31b、 31g和31r也充當(dāng)用于白平衡等的放大電路，則 在某些情況下三原色信號(hào)當(dāng)中的增益可能會(huì)不同。
增益的可變?cè)O(shè)置是結(jié)合如圖4C所示的電子快門來執(zhí)行的，同時(shí)圖4D 所示的輸出在同步加法電路14中被相加。作為同歩加法電路14的輸出， 對(duì)于圖4E所示的三個(gè)幀周期，相同的相加信號(hào)被重復(fù)地輸出。
這里，在圖4A至圖4B所示的示例中，幀周期的積累周期被限制為大 約1/2，其中信號(hào)積累周期是由電子快門控制的。因此，增益的附加電平 可以根據(jù)積累周期中的限制程度而變化。具體而言，如果積累周期變得更 短，則增益的附加電平變得更高。另一方面，如果積累周期變得更長(zhǎng)，則 增益的附加電平變得更小。換言之，積累周期和信號(hào)增益是反比關(guān)系，使 得即使在不同積累周期的情況下用于各幀的成像信號(hào)的線性處理單元31 的輸出也是幾乎相等的電平。此外，在圖4A至圖4B的示例中，三個(gè)幀周 期中的第一幀周期的信號(hào)(圖4D的輸出2.1等)不被相加作為成像信號(hào)， 使得這一周期的增益可以不是O (零)dB。另外，圖5是一流程圖，其描述了由控制單元25的控制動(dòng)作執(zhí)行的
低幀速率成像時(shí)的處理示例。首先，控制單元25確定當(dāng)前的成像模式是 正常幀速率的成像還是低幀速率的成像(步驟Sll)。這里，在正常幀速 率的成像時(shí)，非線性處理單元32為正常成像定義伽瑪校正曲線(步驟 S12)，并且記錄、顯示等被執(zhí)行，同時(shí)沒有加法處理在同步加法電路14 中執(zhí)行(步驟S13)。
相比之下，在低幀速率的成像時(shí)，非線性處理單元32為低幀速率成 像定義伽瑪校正曲線(步驟S14)。
這里，控制單元25確定電子快門是否被執(zhí)行(步驟S15)。如果電子 快門被執(zhí)行，則幀(其信號(hào)積累周期受電子快門限制)的增益被定義為與 其信號(hào)積累周期成反比關(guān)系(步驟S16)。這樣，可以得到在同步加法電 路14中按照幀相加的成像信號(hào)。
為了在顯示器23上顯示視頻，正常幀速率的視頻或者經(jīng)幀相加處理 過的低幀速率的視頻被選擇(步驟S17)。如果正常幀速率的視頻被選 擇，則選擇器21選擇相機(jī)處理單元30的輸出，并且基于所選擇的成像信 號(hào)的視頻隨后被顯示在顯示器23上(步驟S18)。當(dāng)希望顯示正常幀速率 的視頻時(shí)，視頻以正常幀速率(例如1/60秒等)變化。從而，實(shí)際的成像 狀態(tài)被發(fā)現(xiàn)，并且透鏡的焦距調(diào)節(jié)、變焦透鏡的張角調(diào)節(jié)等等可被正確且 快速地執(zhí)行。但是，這是沒有幀相加的視頻，所以得到的視頻在某些情況 下可能會(huì)暗。
另外，如果經(jīng)幀相加處理的低幀速率視頻被選擇用于顯示，則選擇器 21選擇相加之后的輸出，并且基于所選擇的成像信號(hào)的視頻隨后被顯示在 顯示器23上(步驟S19)。在顯示以低幀速率捕捉的圖像時(shí)，得到的視頻 的亮度或SNR可被卻確認(rèn)為實(shí)際上以幀速率攝制的視頻。此時(shí)，當(dāng)信號(hào)積 累周期受使用電子快門的限制時(shí)，可以通過在顯示器23上的顯示來檢查 具有這種電子快門的成像狀態(tài)。
圖4A至圖4B中所示的示例已經(jīng)描述了當(dāng)執(zhí)行1/3的低幀速率成像時(shí) 的電子快門。本發(fā)明的實(shí)施例還可應(yīng)用于其他低幀速率的成像。
圖6A至圖6D圖示出如下示例，其中當(dāng)成像模式是1/2的低幀速率成像時(shí)電子快門的快門孔徑分別被設(shè)為100% (圖6A) 、 75% (圖6B)和 25% (圖6D)。
如果快門孔徑是如圖6A所示的100%,則沒有關(guān)于電子快門的限制施 加于孔徑，并且加法處理被執(zhí)行使得所有的傳感器輸出被用相同增益來放 大。
如果快門孔徑是如圖6B所示的75%，則電子快門的孔徑在一個(gè)幀周 期(曝光周期2等)內(nèi)被限制一半。接著，來自受限周期的圖像傳感器的 輸出被用高增益放大然后被與其他幀周期的信號(hào)相加。
如果快門孔徑是如圖6C所示的50%，則一個(gè)幀周期(曝光周期2 等)的信號(hào)完全不被使用，所以其他幀周期的信號(hào)僅被輸出，而增益沒有 改變。
如果快門孔徑是如圖6D所示的25%，則一個(gè)幀周期(曝光周期2 等)的信號(hào)完全不被使用。此外，電子快門的孔徑在其他幀周期(曝光周 期1等)中被限制一半。來自受限周期的圖像傳感器輸出被用高增益放大 然后其他幀周期的信號(hào)被輸出。
如上所述，根據(jù)電子快門對(duì)每個(gè)幀周期中的孔徑的限制狀態(tài)，以低幀 速率相加的幀的數(shù)目的設(shè)置被與增益的可變?cè)O(shè)置相結(jié)合。從而，這種組合 可以對(duì)應(yīng)于以各種低幀速率中的任何一種進(jìn)行成像時(shí)的電子快門。
如上所述，根據(jù)按照本發(fā)明實(shí)施例的成像裝置的配置，在將低幀速率 的成像與電子快門相結(jié)合的情況下，在如下幀周期中執(zhí)行增加增益的處 理，在所述幀周期中孔徑受電子快門限制。結(jié)果，相機(jī)處理單元30中的 線性處理單元31的輸出電平在任何幀周期內(nèi)彼此幾乎相等。從而，可以 在非線性處理單元32 (線性處理單元的后續(xù)級(jí))中合適地執(zhí)行非線性校正 處理。
換言之，在非線性處理單元32中，諸如伽瑪校正之類的非線性校正 處理被執(zhí)行。在這種情況下，在非線性處理單元32中受到非線性校正處 理的信號(hào)在任何幀周期中具有同等的特性，從而產(chǎn)生受到同步相加的信號(hào) 的非線性校正處理的無擾動(dòng)狀態(tài)。
關(guān)于伽瑪校正，其增益例如可以由曲線表示，其中1/0充當(dāng)在1倍增益、1/2倍增益和3/2倍增益下的預(yù)定特性，如圖8所示。注意到，伽瑪校
正的增益通常是l倍。
如圖8所示，伽瑪校正由輸入電平所定義的曲線表示。因此，如果電
平在多個(gè)相加幀周期內(nèi)由于電子快門而不同，則這是不可取的，因?yàn)榫哂?不同伽瑪校正效果的信號(hào)可被相加。但是，根據(jù)本發(fā)明的實(shí)施例，即使當(dāng) 電子快門被執(zhí)行時(shí)，將被相加的各幀周期的信號(hào)電平也幾乎彼此相等。從 而在恒定狀態(tài)下執(zhí)行合適的伽瑪校正。在執(zhí)行除了伽瑪校正之外的任何其 他非線性校正過程的情況下，可以根據(jù)本發(fā)明的實(shí)施例得到合適的特性。
應(yīng)當(dāng)注意到，在圖4A至圖4B和圖6A至圖6D中所示的時(shí)間設(shè)置示 例中，在將受到同步相加的多個(gè)幀中只有一個(gè)幀周期的孔徑受電子快門限 制。但是，將受到同步相加的多個(gè)幀中的每個(gè)幀的孔徑被限制，并且增益 可以根據(jù)受限孔徑而被改變。
換言之，例如，以1/3的低幀速率進(jìn)行成像的模式(即與圖4A至圖 4B相同的模式)如圖7A至7E所示被選擇。然后，對(duì)于將被相加的三個(gè) 幀周期中的每一個(gè)，孔徑被限制為50%，并且增益可以根據(jù)每個(gè)幀周期中 的孔徑來定義。在這種情況下，例如執(zhí)行在每個(gè)幀周期中從正常電平增加 6dB增益的處理。
另外，在迄今為止所描述的示例中，同步相加被設(shè)計(jì)為以輝度信號(hào)和 色度信號(hào)的形式執(zhí)行。還可以對(duì)呈RGB信號(hào)形式的成像信號(hào)執(zhí)行同步相 加。此外，將受到同步相加的信號(hào)被設(shè)計(jì)為按照幀來相加。還可以按照?qǐng)?來執(zhí)行同步相加。
本領(lǐng)域技術(shù)人員將會(huì)明白，各種修改、組合、子組合和變更可以根據(jù) 設(shè)計(jì)要求和其他因素而發(fā)生，只要它們屬于所附權(quán)利要求書和其等同物的 范圍內(nèi)。
本發(fā)明包含與2007年4月10日在日本專利廳提交的日本專利申請(qǐng) 2007-103242有關(guān)的主題，上述申請(qǐng)的全部?jī)?nèi)容通過引用而結(jié)合于此。
權(quán)利要求
1. 一種成像裝置，包括圖像傳感器，用于將通過光學(xué)系統(tǒng)得到的成像光轉(zhuǎn)換為成像信號(hào)；成像信號(hào)處理單元，用于放大從所述圖像傳感器得到的所述成像信號(hào)；幀加法單元，用于以幀為單位將經(jīng)所述成像信號(hào)處理單元處理的所述成像信號(hào)中的預(yù)定多個(gè)幀相加；以及控制單元，用于通過控制所述圖像傳感器中的將在所述幀加法單元中相加的多個(gè)幀中的每個(gè)幀的信號(hào)積累周期，來基于所述信號(hào)積累周期進(jìn)行所述成像信號(hào)處理單元中的每個(gè)幀的放大增益的可變?cè)O(shè)置。
2. 如權(quán)利要求l所述的成像裝置，其中基于將在所述幀加法單元中相加的預(yù)定多個(gè)幀中的每個(gè)幀的信號(hào)積累 周期的所述成像信號(hào)處理單元中的每個(gè)幀的放大增益的可變?cè)O(shè)置是在預(yù)定 范圍內(nèi)導(dǎo)致所述信號(hào)積累周期和所述放大增益之間的反比關(guān)系的設(shè)置，其 中在所述預(yù)定范圍內(nèi)所述信號(hào)積累周期不為零。
3. 如權(quán)利要求l所述的成像裝置，其中 所述信號(hào)積累周期是由電子快門處理設(shè)置的。
4. 如權(quán)利要求1所述的成像裝置，其中對(duì)在所述成像信號(hào)處理單元中被放大的信號(hào)執(zhí)行伽瑪校正處理。
5. 如權(quán)利要求4所述的成像裝置，其中根據(jù)在所述幀加法單元中相加的幀的數(shù)目來改變所述成像信號(hào)處理單 元中的伽瑪校正特性。
6. 如權(quán)利要求l所述的成像裝置，其中對(duì)在所述成像信號(hào)處理單元中被放大的信號(hào)執(zhí)行拐點(diǎn)校正處理。
7. —種成像方法，包括如下步驟放大從用于將成像光轉(zhuǎn)換為成像信號(hào)的圖像傳感器得到的成像信號(hào)； 對(duì)放大后的信號(hào)執(zhí)行非線性處理；以幀為單位把受到所述非線性處理的所述成像信號(hào)中的預(yù)定多個(gè)幀相加；以及基于經(jīng)歷所述相加的多個(gè)幀中的每個(gè)幀的信號(hào)積累周期來執(zhí)行每個(gè)幀 的放大增益的可變?cè)O(shè)置。
全文摘要
提供了一種成像方法。該方法包括如下步驟放大從用于將成像光轉(zhuǎn)換為成像信號(hào)的圖像傳感器得到的成像信號(hào)；對(duì)放大后的信號(hào)執(zhí)行非線性處理；以幀為單位把受到非線性處理的成像信號(hào)中的預(yù)定多個(gè)幀相加；以及基于受到相加的多個(gè)幀中的每個(gè)幀的信號(hào)積累周期來可變地設(shè)置每個(gè)幀的放大增益。
文檔編號(hào)H04N5/232GK101287131SQ20081008978
公開日2008年10月15日 申請(qǐng)日期2008年4月10日 優(yōu)先權(quán)日2007年4月10日
發(fā)明者龜山隆 申請(qǐng)人:索尼株式會(huì)社