專利名稱：電子抖動校正裝置以及電子抖動校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子抖動校正裝置，其能夠有效校正手抖等引起的圖像抖動，本發(fā)明特別涉及如下的電子抖動校正裝置以及電子抖動校正方法，校正以可容許抖動的曝光時間連續(xù)拍攝的多個圖像的相互抖動，合成校正了抖動的圖像。
背景技術(shù)：
以往已知在攝影裝置中拍攝靜態(tài)圖像時，因攝影者的手抖的影響而在攝影圖像上產(chǎn)生抖動的現(xiàn)象，為了防止該現(xiàn)象，采取了各種對策。例如，在日本特開2001-86398中公開了如下的攝像裝置，對以可容許抖動的高速曝光時間連續(xù)進(jìn)行多次拍攝而得的多個圖像的相互抖動進(jìn)行校正，之后將這些多個圖像相加，從而生成校正了抖動的合成圖像。
通常，從攝像元件讀出圖像需要幾十msec到幾百msec的時間。并且，從經(jīng)驗上講，將35mm膠片照相機(jī)(film camera)的攝影鏡頭的焦距設(shè)為f[mm]時，作為可容許抖動的曝光時間大多為1/f[sec]。因此，例如，利用焦距f＝100[mm]的攝影鏡頭進(jìn)行攝影時，可容許抖動的曝光時間t為t＝1/100[sec]＝10[msec]。如日本特開2001-86398中公開的抖動校正方式中，將從照相機(jī)的攝像元件讀出圖像的周期設(shè)為例如100[msec]時，以該讀出周期的1/10的時間(10[msec])進(jìn)行間歇曝光。然后，校正所讀出的多個圖像的分時圖像的相互抖動之后進(jìn)行合成。
此時，從分時圖像的曝光結(jié)束之后到下一次分時圖像的曝光，不能快于圖像的讀出周期，所以在上述例子中，10[msec]的曝光結(jié)束后，等待90[msec]，然后開始下一次的分時圖像的曝光。
因此，有90[msec]的時間不進(jìn)行曝光，所以例如即使校正了主要被攝體的抖動，在背景中存在運(yùn)動的被攝體時，也仍成為不同于通常攝影的圖像。
舉出具體例子，背景中球正在飛行時，在通常的攝影中，連續(xù)映射球的軌跡。但是，若為了進(jìn)行抖動校正而以上述的間隔進(jìn)行分時曝光，則10[msec]期間的球的運(yùn)動被曝光，但接下來的90[msec]期間不進(jìn)行曝光。由于重復(fù)上述情況，所以球被拍攝成點(diǎn)點(diǎn)地描繪了軌跡的狀態(tài)。并且，一般在靜態(tài)被攝體和動態(tài)被攝體混合存在的被攝體中，將動態(tài)被攝體作為主要的作畫意圖的基礎(chǔ)進(jìn)行攝影的情況較多。例如，利用低快門速度來拍攝江河的流動和其兩岸的靜態(tài)被攝體時，能夠拍攝到江河的流動與其周圍的被攝體和諧地完美結(jié)合的照片。但是，為校正抖動而進(jìn)行了分時曝光時，如上所述，動態(tài)被攝體被映射成點(diǎn)點(diǎn)的軌跡，有可能不成為所意圖的作畫。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而進(jìn)行的，本發(fā)明的目的在于，提供一種電子抖動校正裝置和電子抖動校正方法，所述電子抖動校正裝置對以可容許抖動的曝光時間連續(xù)攝影的多個圖像的相互的抖動進(jìn)行校正，合成這些校正了抖動的多個圖像，其對曝光時間進(jìn)行控制，使得上述多個圖像的分時曝光時間實質(zhì)地連續(xù)。
本發(fā)明的電子抖動校正裝置，其以具有從攝像元件讀出圖像的周期的整數(shù)倍的期間的分時曝光時間得到多張分時圖像，由該多張分時圖像，生成校正抖動的圖像。
本發(fā)明的電子抖動校正裝置的結(jié)構(gòu)的一個例子可以如下表現(xiàn)。一種電子抖動校正裝置，其生成由攝像元件連續(xù)進(jìn)行分時攝像得到的多個分時圖像的、進(jìn)行了相互校正的合成圖像，所述電子抖動校正裝置包括攝像部，其將被攝體光轉(zhuǎn)換成圖像信號；圖像讀出部，其從上述攝像部讀出以預(yù)定的分時曝光時間拍攝的上述分時圖像；分時曝光時間控制部，其控制上述分時曝光時間，使得上述分時曝光時間為上述圖像讀出部讀出上述圖像的周期的整數(shù)倍；抖動校正部，其校正上述攝像部所拍攝的上述多個分時圖像的相互抖動；以及圖像合成部，其合成上述抖動校正部所校正的多個分時圖像。
本發(fā)明也可以作為電子抖動校正方法的發(fā)明來理解。
根據(jù)本發(fā)明，多個圖像的分時曝光時間實質(zhì)地連續(xù)，所以能夠得到校正了抖動且與通常攝影相同的圖像。例如，能夠得到動體的軌跡無中斷的連續(xù)的圖像。
參照下述的說明、權(quán)利要求以及附圖，能夠更容易地理解本發(fā)明的裝置和方法的這些特征、方面和優(yōu)點(diǎn)。


圖1是示出應(yīng)用了本發(fā)明的實施方式中的數(shù)字照相機(jī)的電系統(tǒng)的框圖。
圖2是示出本實施方式中的攝像元件1的結(jié)構(gòu)的圖。
圖3是示出本實施方式中的增益控制放大器AMP的詳細(xì)的框圖。
圖4是示出本實施方式中的數(shù)字照相機(jī)的分時攝像的動作的流程圖。
圖5是示出本實施方式中的數(shù)字照相機(jī)的分時攝像控制參數(shù)運(yùn)算的動作的流程圖。
圖6是示出本實施方式中的數(shù)字照相機(jī)的抖動圖像校正和記錄的子程序的動作的流程圖。
圖7是示出本實施方式中的數(shù)字照相機(jī)的抖動圖像校正的子程序的動作的流程圖。
圖8是示出本實施方式中的數(shù)字照相機(jī)的攝影動作的時序圖。
圖9是示出本實施方式中的數(shù)字照相機(jī)的攝影動作的時序圖。
圖10是示出本實施方式中的數(shù)字照相機(jī)的攝影動作的時序圖。
圖11是示出本實施方式中的數(shù)字照相機(jī)的增益控制放大器AMP的變形例的框圖。
圖12是示出本實施方式中的數(shù)字照相機(jī)的增益控制放大器AMP中的輸入信號、ISO靈敏度和增益的關(guān)系的圖。
具體實施例方式
下面，參照附圖，使用數(shù)字照相機(jī)，詳細(xì)說明優(yōu)選的實施方式，所述數(shù)字照相機(jī)具有作為應(yīng)用了本發(fā)明的電子攝像裝置的功能。
圖1是主要示出本發(fā)明所涉及的數(shù)字照相機(jī)的電氣結(jié)構(gòu)的框圖。該數(shù)字照相機(jī)具有二維固體攝像元件(下面適當(dāng)簡稱為攝像元件)1、相關(guān)雙采樣電路(CDSCorrelated Double Sampling)2、增益控制放大器(AMP)3、A/D轉(zhuǎn)換器4、定時信號產(chǎn)生器(TG)5、信號產(chǎn)生器(SG)6、CPU(Central Processing Unit)7。上述數(shù)字照相機(jī)還具有信息處理部8、DRAM(動態(tài)隨機(jī)存儲器Dynamic Random Access Memory)9、壓縮解壓縮部10、記錄介質(zhì)11、顯示部12、變焦鏡頭13、編碼器14、聚焦鏡頭15、聚焦鏡頭驅(qū)動系統(tǒng)16、光圈17、光圈驅(qū)動系統(tǒng)18、第一釋放開關(guān)19a和第二釋放開關(guān)19b、距離檢測部20、以及操作部21。另外，變焦鏡頭13、編碼器14、聚焦鏡頭15、聚焦鏡頭驅(qū)動系統(tǒng)16、光圈17、光圈驅(qū)動系統(tǒng)18構(gòu)成攝影鏡頭22。
攝影鏡頭22內(nèi)的變焦鏡頭13是用于設(shè)定焦距的光學(xué)系統(tǒng)。編碼器14用于檢測與變焦鏡頭的焦距對應(yīng)的位置信號，檢測出的位置信號由CPU 7讀取并轉(zhuǎn)換成攝影鏡頭22的焦距。聚焦鏡頭15是用于使焦點(diǎn)對準(zhǔn)被攝體的鏡頭，根據(jù)距離檢測部20所檢測出的被攝體距離，進(jìn)行調(diào)節(jié)，使得焦點(diǎn)對準(zhǔn)所希望的被攝體。聚焦鏡頭驅(qū)動系統(tǒng)16根據(jù)距離檢測部20所檢測出的被攝體距離信息從CPU 7接收指令，將攝影鏡頭22向?qū)刮恢眠M(jìn)行驅(qū)動。這作為所謂的自動聚焦控制，是公知的技術(shù)。
被攝體距離檢測部20用于檢測與到被攝體的距離相關(guān)的信息。被攝體距離檢測部20使用高通濾波器等從DRAM 9中存儲的1幀(1個畫面)量的圖像數(shù)據(jù)的亮度成分中提取高頻成分，對所提取的高頻成分的累計合成值進(jìn)行計算等，從而計算出與高頻帶側(cè)的輪廓成分等對應(yīng)的AF評價值，根據(jù)該AF評價值，檢測焦點(diǎn)。這些運(yùn)算處理可以利用CPU 7執(zhí)行。另外，除了上述的基于圖像信號的高頻成分的方法之外，被攝體距離檢測部20當(dāng)然還可以置換采用公知的相位差法或光投射法等各種檢測方法。
配置在攝影鏡頭22內(nèi)的光圈17是通過規(guī)定來自攝影鏡頭22的成像光束的通過范圍來調(diào)整光量的光學(xué)光圈，是攝像光學(xué)系統(tǒng)的一部分。光圈17由光圈驅(qū)動系統(tǒng)18根據(jù)從CPU 7發(fā)出的控制信號驅(qū)動。相當(dāng)于測光部的CPU 7根據(jù)DRAM 9中存儲的圖像數(shù)據(jù)進(jìn)行曝光運(yùn)算，光圈驅(qū)動系統(tǒng)18從CPU 7接收基于曝光運(yùn)算結(jié)果的控制指令，驅(qū)動光圈17，變更開口徑。這樣的光圈控制作為所謂的AE(自動曝光)控制是已公知的。
透過了攝影鏡頭22的被攝體光束在攝像元件1上成像，該攝像元件1對成像的被攝體像進(jìn)行光電轉(zhuǎn)換，并作為模擬電信號輸出。圖2中示出攝像元件1的結(jié)構(gòu)。該攝像元件1是周知的行間型CCD固體攝像元件。垂直傳送CCD(VCDD)31與光電二極管33的列成套配置，VCDD 31與配置在攝像元件下部的水平傳送CCD(HCCD)32連接。由光電二極管33進(jìn)行了光電轉(zhuǎn)換的信號電荷，通過電荷積蓄動作，積蓄在各個接合電容中。若積蓄期間(曝光期間)結(jié)束，則對傳送柵極(TP)34施加偏移脈沖，這些電荷全部像素同時向相鄰的VCCD 31偏移。若讀出信號電荷，則光電二極管33再次處于偏置狀態(tài)，可積蓄信號電荷。讀出到VCCD 31中的信號電荷與施加在VCCD 31的傳送電極上的時鐘脈沖同步地傳送到下方。在傳送到最下端的時刻，VCCD 31的信號電荷1行1行地發(fā)送給HCCD 32，依次傳送到輸出端。若讀出了1個畫面量的信號電荷，則VCCD31處于空的狀態(tài)，可再次讀出光電二極管33中積蓄的下一個信號電荷。
攝像元件1采用周知的縱型溢出結(jié)構(gòu)的CCD固體攝像元件。它是在n型基板(例如n型硅基板)的表面制作的p型擴(kuò)散區(qū)域(p阱p-well)之中構(gòu)成光電二極管(PD)33，利用p阱和n型基板之間的逆偏壓VSUB，使p阱完全空乏化。通過對該VSUB施加高壓脈沖，能夠?qū)⒐怆姸O管33中積蓄的電荷排出到基板側(cè)。因此，通過控制該逆偏壓VSUB，可以控制光電二極管33的電荷積蓄時間。另外，本實施方式中，作為攝像元件1采用了行間型CCD固體攝像元件，但不限于此，例如，可以是幀行間轉(zhuǎn)移型固體攝像元件，當(dāng)然也可以是MOS(Metal Oxide Semiconductor金屬氧化物半導(dǎo)體)型固體攝像元件。
返回到圖1，與攝像元件1連接的定時信號產(chǎn)生器(TG)5從CPU 7接收脈沖，供給用于驅(qū)動攝像元件1的傳送脈沖，并且，還向后述的CDS2、A/D轉(zhuǎn)換器4供給各種脈沖。TG 5從CPU 7直接輸入脈沖，并且，與信號產(chǎn)生器(SG)6連接。該SG 6根據(jù)CPU 7的控制生成同步信號，輸出到TG 5。
與攝像元件1的輸出連接的CDS 2根據(jù)TG 5所供給的采樣保持脈沖驅(qū)動，對從攝像元件1輸出的圖像信號進(jìn)行相關(guān)雙采樣等處理，除去復(fù)位噪聲。與CDS 2的輸出連接的增益控制放大器(AMP)3用于放大從CDS 2輸出的模擬信號。該AMP 3的放大率設(shè)定為與ISO(InternationalOrganization for Standardization)靈敏度Sv對應(yīng)的放大率。即，AMP 3成為ISO靈敏度變更部。并且，當(dāng)分時攝像的圖像的數(shù)量未達(dá)到規(guī)定數(shù)量時，AMP 3的放大率還用于放大為補(bǔ)充該不足部分而合成的圖像。更詳細(xì)的說明將在后面敘述，若由于被攝體亮度低等情況，快門速度變慢，曝光時間延長，則受到手抖等影響，圖像抖動。本實施方式中，以可容許抖動影響程度的臨界曝光時間反復(fù)進(jìn)行分時曝光，得到適當(dāng)曝光，同時合成利用分時曝光得到的多個圖像，除去抖動的影響。若進(jìn)行分時曝光，則1幀的圖像信號的電平低，所以利用AMP 3進(jìn)行放大，以便補(bǔ)充該不足分。
圖3示出AMP 3的結(jié)構(gòu)。用于除去復(fù)位噪聲的CDS 2的輸出與構(gòu)成AMP 3的初級的放大率A1的放大器23連接，該放大器23的輸出與放大率A2的放大器24連接，放大器24的輸出與后述的A/D轉(zhuǎn)換器4連接。放大率A1設(shè)定類似于補(bǔ)充分時曝光引起的曝光不足的值，并且，放大率A2設(shè)定與ISO靈敏度對應(yīng)的放大率。
返回到圖1，與AMP 3的輸出連接的A/D轉(zhuǎn)換器4是模擬數(shù)字轉(zhuǎn)換部，其根據(jù)從定時信號產(chǎn)生器(TG)5供給的信號，將從AMP 3輸出的模擬信號轉(zhuǎn)換成數(shù)字信號。與該A/D轉(zhuǎn)換器4的輸出連接的信息處理部8處理從A/D轉(zhuǎn)換器4輸出的數(shù)字形式的像素信號，生成像素數(shù)據(jù)。該信息處理部8具有緩存8a，所述緩存8a用于臨時存儲攝像元件1所拍攝并由信息處理部8進(jìn)行了處理的多個圖像數(shù)據(jù)(分時圖像數(shù)據(jù))。
與信息處理部8的輸出連接的DRAM 9用于臨時存儲從信息處理部8輸出的圖像數(shù)據(jù)，并且，臨時存儲從壓縮解壓縮部10輸出的圖像數(shù)據(jù)。另外，緩存8a也可以兼?zhèn)銬RAM 9的功能，相反，DRAM 9也可以兼?zhèn)渚彺?a的功能。與DRAM 9連接的壓縮解壓縮部10具有如下功能在將DRAM 9中臨時存儲的圖像數(shù)據(jù)記錄到記錄介質(zhì)11中時，以JPEG(聯(lián)合圖像專家組Joint Photographic Coding Experts Group)等壓縮形式進(jìn)行壓縮處理，并且，對從記錄介質(zhì)11讀出的壓縮圖像數(shù)據(jù)進(jìn)行解壓縮。
與壓縮解壓縮部10連接的記錄介質(zhì)11是用于記錄壓縮解壓縮部10所壓縮的圖像數(shù)據(jù)的記錄部。記錄介質(zhì)11是例如非易失性的記錄介質(zhì)，是xD圖卡、緊湊式閃存、SD存儲卡或存儲棒等可改寫的記錄介質(zhì)，記錄介質(zhì)11可以安裝在照相機(jī)主體內(nèi)。與上述的信息處理部8和DRAM 9連接的顯示部12是顯示從它們輸出的圖像數(shù)據(jù)的監(jiān)視器。為了減少記錄容量，在記錄到記錄介質(zhì)11中時壓縮圖像數(shù)據(jù)，在顯示部12上進(jìn)行顯示時，對壓縮圖像數(shù)據(jù)進(jìn)行解壓縮。
與CPU 7連接的第一釋放開關(guān)19a和第二釋放開關(guān)19b由自動復(fù)位型的二段開關(guān)構(gòu)成。按下釋放按鈕(未圖示)時，第一釋放開關(guān)19a接通，進(jìn)一步按下時，第二釋放開關(guān)19b接通。即，將釋放按鈕按下一半時，第一釋放開關(guān)19a接通，全按下時，第二釋放開關(guān)19b接通。并且，第一釋放開關(guān)19a用于輸入攝影準(zhǔn)備動作的指示，若第一釋放開關(guān)19a接通，則進(jìn)行測距動作和測光動作。另外，第二釋放開關(guān)19b用于輸入攝影動作的指示，若第二釋放開關(guān)19b接通，則由攝像元件1進(jìn)行攝像動作，根據(jù)上述的作用生成圖像數(shù)據(jù)，對圖像數(shù)據(jù)進(jìn)行壓縮之后，記錄到記錄介質(zhì)11中。與CPU 7連接的操作部21是根據(jù)攝影者的操作設(shè)定攝影模式、快門速度值、光圈值等各種攝影條件的操作部。
如上所述，對CPU 7輸入來自第一釋放開關(guān)19a、第二釋放開關(guān)19b、編碼器14、操作部21等的信號，并由CPU 7向TG 5、SG 6等輸出指令。并且，CPU 7向聚焦鏡頭驅(qū)動系統(tǒng)16、光圈驅(qū)動系統(tǒng)18、AMP 3、TG 5輸出控制信號。而且，CPU 7與信息處理部8、DRAM9以及距離檢測部20雙向連接，控制包括它們的該數(shù)字照相機(jī)整體。具體地說，CPU 7進(jìn)行上述的自動聚焦控制和AE控制，并且，根據(jù)來自第一釋放開關(guān)19a和第二釋放開關(guān)19b的指示取入靜態(tài)圖像的信號，進(jìn)行攝像元件1的驅(qū)動控制。另外，CPU 7進(jìn)行變更光圈17的開口的控制和攝像元件1的曝光時間控制等。此外，CPU 7根據(jù)操作部21的輸出，設(shè)定該數(shù)字照相機(jī)的攝影模式，并設(shè)定與數(shù)字照相機(jī)相關(guān)的攝影條件。
接著，使用圖4至圖7中示出的流程圖，說明本實施方式的數(shù)字照相機(jī)中的分時攝像控制的動作。若本數(shù)字照相機(jī)開始動作，則首先在步驟S101中，判斷第一釋放開關(guān)19a是否接通。判斷的結(jié)果，第一釋放開關(guān)19a為斷開時，保持該待機(jī)狀態(tài)，若第一釋放開關(guān)19a接通，則進(jìn)入步驟S102，運(yùn)算抖動臨界曝光時間TLimit。該抖動臨界曝光時間TLimit是假設(shè)曝光開始起的抖動量達(dá)到容許臨界的抖動量的時間。
對抖動臨界曝光時間TLimit進(jìn)行說明，35毫米膠片照相機(jī)使用縱24mm×橫36mm(對角43.28mm)的所謂的Leica版幀(又稱為雙幀)尺寸的膠片。作為與該35毫米膠片照相機(jī)相關(guān)的長年的經(jīng)驗規(guī)則，已知將毫米單位的攝影鏡頭的焦距設(shè)為f時，抖動臨界曝光時間Tlimit如下。
TLimit1/f(秒)…(1)本實施方式中，在考慮數(shù)字照相機(jī)的攝像元件1的有效攝像區(qū)域內(nèi)設(shè)定的攝影圖框的大小的基礎(chǔ)上，應(yīng)用該經(jīng)驗規(guī)則。即，在一般的數(shù)字照相機(jī)中，顯示與35毫米膠片照相機(jī)中的焦距相當(dāng)?shù)闹?，所以使用?5毫米照相機(jī)相當(dāng)?shù)慕咕?，在步驟S102中，運(yùn)算編碼器14所檢測出的焦距f的倒數(shù)。另外，抖動臨界曝光時間TLimit不必一定使用以1/f得到的值，只要使用不會實質(zhì)地產(chǎn)生抖動的分時曝光時間即可。因此，抖動臨界曝光時間TLimit只要是大概比根據(jù)上述式(1)得到的曝光時間短的時間即可。
接著，在步驟S103中，測定被攝體的明亮度。測光是監(jiān)視從攝像元件1反復(fù)輸出的圖像信號的電平，運(yùn)算被攝體的明亮度的過程。即，從攝像元件1讀出的圖像信號被CDS 2進(jìn)行處理、被增益控制放大器3放大、被/D轉(zhuǎn)換器4轉(zhuǎn)換成數(shù)字值，經(jīng)由信息處理部8臨時存儲到DRAM9中。CPU 7從該DRAM 9中存儲的圖像數(shù)據(jù)之中，讀出圖像全體之中例如中央部附近的預(yù)定區(qū)域的圖像數(shù)據(jù)，求出該電平的合成平均值，根據(jù)該合成平均值，運(yùn)算被攝體的明亮度(Bv)。
測光結(jié)束時，接著，CPU 7運(yùn)算分時攝像中的曝光時間(分時曝光時間)ΔTexp或分時攝像次數(shù)m等控制參數(shù)。下面，參照圖5，說明該分時攝像控制參數(shù)運(yùn)算的子程序的動作。
首先，運(yùn)算適當(dāng)曝光時間(Texp)(S201)。這是以步驟S103中的測光中得到的明亮度Bv為基礎(chǔ)，利用頂點(diǎn)運(yùn)算求出為得到適當(dāng)曝光所需的曝光時間。另外，眾所周知，頂點(diǎn)運(yùn)算是根據(jù)Tv+Av＝Bv+Sv…(2)的關(guān)系，運(yùn)算曝光控制的參數(shù)(此處，TvTime Value，AvApertureValue，BvBrightness Value，SvSensitive value)的。適當(dāng)曝光時間Texp用于將曝光時間的頂點(diǎn)值Tv轉(zhuǎn)換成曝光時間。接著，通過頂點(diǎn)運(yùn)算來對光圈值A(chǔ)v進(jìn)行運(yùn)算(S202)。另外，曝光時間Texp是根據(jù)測光求出得到適當(dāng)曝光的值，但不限于此，當(dāng)然也可以是攝影者手動設(shè)定的快門速度。因此，Texp只要是攝影者希望的一定的快門速度即可。光圈值也相同。另外，式(2)的右邊的被攝體亮度值是步驟S103的測光中求出的值，并且，ISO靈敏度值是默認(rèn)值或攝影者利用操作部21輸入的值。因此，式(2)的左邊的Tv和Av沿預(yù)定的程序行適當(dāng)運(yùn)算。
接著，進(jìn)入步驟S203，比較抖動臨界曝光時間TLimit和曝光時間Texp。若TLimit＜Texp，則曝光時間Texp比抖動臨界曝光時間長，所以為了能夠校正抖動圖像而進(jìn)行分時攝像，轉(zhuǎn)移到步驟S204。在步驟S204中，比較從攝像元件1讀出圖像的周期即圖像讀出周期Tf和抖動臨界曝光時間TLimit。圖像讀出周期Tf根據(jù)幀讀出次數(shù)的變更等而改變，且抖動臨界曝光時間TLimit根據(jù)焦距等而改變，所以時間的關(guān)系根據(jù)抖動臨界曝光時間TLimit和讀出周期Tf改變。抖動臨界曝光時間TLimit長時，即Tf＜TLimit時，可以連續(xù)進(jìn)行分時攝像。該情況下，將分時曝光時間ΔTexp設(shè)定為圖像讀出周期Tf的整數(shù)倍，使得后述的分時攝像中的攝像元件1的曝光連續(xù)。由此，對由分時攝像得到的多個圖像進(jìn)行合成之后的圖像具有與通常攝影得到的圖像相同的效果。
判斷的結(jié)果，Tf＜TLimit時，進(jìn)入步驟S205，運(yùn)算[TLimit/Tf]，將其作為新的變量k，存儲到存儲器[k]中。另外，[x]是指舍去實數(shù)x的小數(shù)點(diǎn)以下的整數(shù)。接著，在步驟S206中，運(yùn)算將讀出周期Tf放大k倍的k·Tf，作為分時曝光時間ΔTexp存儲到存儲器[ΔTexp]中。這樣，將舍去TLimit/Tf的小數(shù)點(diǎn)以下的整數(shù)值作為k，將分時曝光時間ΔTexp設(shè)定為圖像讀出周期Tf的k倍。因此，能夠?qū)⒎謺r曝光時間ΔTexp設(shè)定為圖像讀出周期Tf的整數(shù)倍，且能夠設(shè)定為比抖動臨界曝光時間TLimit還短。所以，在多個連續(xù)的分時攝像中的曝光時間連續(xù)，并且，能夠得到可容許抖動的分時圖像。即，能夠使分時曝光時間ΔTexp比抖動臨界曝光時間TLimit短，所以能夠進(jìn)行抖動校正，且連續(xù)進(jìn)行分時曝光，沒有不進(jìn)行曝光的時間，不會發(fā)生高速移動的動體的軌跡成點(diǎn)點(diǎn)的情況。另外，在步驟S206中，將舍去TLimit/Tf的小數(shù)點(diǎn)以下的值設(shè)定為k，但TLimit/Tf與1相比為較大的值(例如4以上)時、或不是一定希望高精度的抖動校正的情況下，也可以將TLimit/Tf附近的整數(shù)值例如將小數(shù)點(diǎn)以下進(jìn)位的值或?qū)⑿?shù)點(diǎn)以下四舍五入的值設(shè)為k。TLimit是經(jīng)驗上得到的平均值，并不嚴(yán)緊。
接著，進(jìn)入步驟S207，運(yùn)算Texp/ΔTexp，將該值作為AMP 3的放大率A，存儲到存儲器[A]中。通過這樣，由AMP 3放大的分時圖像成為與以曝光時間Texp進(jìn)行通常攝影的圖像同等的水平。接著，在步驟S208中，運(yùn)算<Texp/ΔTexp>，將其作為新的變量m，存儲到存儲器[m]中，存儲器[m]存儲分時攝像的次數(shù)。另外，如上所述，<x>是將實數(shù)x的小數(shù)點(diǎn)以下進(jìn)位的整數(shù)。如后所述，對多個分時圖像的相互抖動進(jìn)行校正，合成(相加)該校正了抖動的圖像。通常，若合成圖像的相加數(shù)大，則S/N良好，所以m越大越好，但m大時，分時圖像的攝影時間變長，則分時圖像的攝影開始起的抖動量增大。因此，在本實施方式中，通過設(shè)定為m＝<Texp/ΔTexp>，全體的分時圖像的曝光時間的合計m·Δtexp為不會在通常攝影的曝光時間Texp以下的最小分時攝像次數(shù)。當(dāng)然，根據(jù)合成圖像的S/N的電平，分時攝像次數(shù)m也可以是小于<Texp/ΔTexp>的值。因此，根據(jù)合成圖像的S/N的電平，分時攝像次數(shù)m也可以是Texp/ΔTexp附近的整數(shù)值，例如舍去Texp/ΔTexp的小數(shù)點(diǎn)以下的值、或?qū)exp/ΔTexp的小數(shù)點(diǎn)以下四舍五入的值。若結(jié)束步驟S208的處理，則從本子程序返回到圖4的主程序中。
返回到步驟S204，在該步驟中，判斷為不是Tf＜TLimit時，即判斷為圖像讀出周期Tf在抖動臨界曝光時間以上時，若曝光時間以讀出周期Tf以上的曝光時間ΔTexp進(jìn)行分時攝像，則分時圖像的抖動達(dá)到容許以上。因此，需要以比讀出周期Tf短的曝光時間進(jìn)行分時攝像。因此，首先將分時攝像次數(shù)m設(shè)定為[Texp/TLimit]。并且，將該m存儲到存儲器[m]中(步驟S209)。接著，將<Texp/m>作為分時曝光時間ΔTexp存儲到存儲器<ΔTexp>中(步驟S210)。如上所述，該分時曝光時間ΔTexp為圖像讀出周期Tf以下。接著，將與分時曝光次數(shù)m相等的值作為AMP 3的放大率A，存儲到存儲器[A]中(步驟S211)。然后，從子程序返回到圖4的主程序。在這些步驟S209到S211的處理中，分時攝像時間比讀出周期Tf短，攝像元件1的攝像不連續(xù)，所以成為相對于以高速移動的動體中斷的點(diǎn)點(diǎn)的圖像。但是，重復(fù)抖動為容許以下的分時曝光，所以通過抖動校正處理，能夠得到除去了抖動的圖像。
返回到步驟S203，在該步驟中，判斷為不是TLimit＜Texp時，即抖動臨界曝光時間TLimit為曝光時間Texp以上時，能夠以可容許抖動的1次攝像，得到適當(dāng)電平的信號。即，不改變通常攝影，所以在步驟S212中，在存儲分時攝像次數(shù)m的存儲器[m]中存儲1。接著，在存儲分時曝光時間ΔTexp的存儲器<ΔTexp>中存儲曝光時間Texp(S213)。然后，在存儲AMP 3的放大率A的存儲器[A]中存儲1(S214)。然后，從子程序返回到圖4的主程序。
返回到圖4的步驟S105，判斷第二釋放開關(guān)19b是否接通。判斷的結(jié)果，為斷開時，分支到J101，重復(fù)步驟S101到步驟S104的處理，等待第二釋放開關(guān)19b接通。該期間，若第一釋放開關(guān)19a也為斷開，則返回到步驟S101。接著，在步驟S105中，若第二釋放開關(guān)19b接通，則進(jìn)入步驟S106，開始攝影動作，首先進(jìn)行光圈設(shè)定。此處，通過控制光圈驅(qū)動系統(tǒng)18，將處于開放狀態(tài)的光圈17調(diào)節(jié)到步驟S103中求出的光圈值。
若調(diào)節(jié)結(jié)束，則進(jìn)入步驟S107，進(jìn)行分時攝像。對于該分時攝像，參照圖8～圖10的時序圖進(jìn)行說明。圖8是以與圖像讀出周期Tf相等的分時曝光時間ΔTexp進(jìn)行8次分時攝像的例子。并且，圖9是以與圖像讀出周期Tf的2倍的分時曝光時間ΔTexp進(jìn)行4次分時攝像的例子。此外，圖10是以比圖像讀出周期Tf短的分時曝光時間ΔTexp進(jìn)行8次分時攝像的例子。下面，參照這些圖，說明分時攝像的動作。
首先，說明圖8的情況。圖8是圖像讀出周期Tf和分時曝光時間ΔTexp相等的情況，其中，圖5的步驟S204為“是”，在步驟S205中，[k]＝1，在步驟S206中，[ΔTexp]＝Tf。
最初，若響應(yīng)第二釋放開關(guān)19b的接通產(chǎn)生的攝影觸發(fā)信號的脈沖下降，則從定時信號產(chǎn)生器(TG)5向攝像元件1供給時鐘信號CLK。接收時鐘信號CLK，反復(fù)向基板施加高壓脈沖VSUB，以便將構(gòu)成攝像元件1的像素的光電二極管33中積蓄的電荷強(qiáng)制排出到半導(dǎo)體基板(基層＝縱型溢出漏極VOFD)。若該高壓脈沖VSUB的施加結(jié)束，則開始曝光。即，與高壓脈沖VSUB的下降同步地開始由攝像元件1進(jìn)行的曝光。
從高壓脈沖VSUB的下降沿經(jīng)過了在步驟S206中運(yùn)算的分時攝像的曝光時間ΔTexp(＝Tf)時，使攝像元件1的光電二極管33中積蓄的電荷向垂直傳送CCD(VCCD)31偏移，輸出偏移脈沖TP。然后，與垂直同步信號VD、傳送脈沖Vφ1～Vφ4取得同步，積蓄的電荷作為圖像信號讀出。若上述偏移脈沖TP的施加結(jié)束，則攝像元件1的光電二極管33再次開始積蓄電荷。并且，與下一個垂直同步信號VD取得同步，第二次讀出分時攝像的圖像。進(jìn)行m次上述動作(圖8中進(jìn)行8次)。由上述的說明可知，在從開始讀出到下一次開始讀出的期間的時間即讀出時間Tf和電荷積蓄時間即分時曝光時間ΔTexp為相同的期間。
接著，說明圖9的情況。圖9是以與圖像讀出周期Tf的2倍的分時曝光時間ΔTexp進(jìn)行4次分時攝像的例子，其中，圖5的步驟S204為“是”，在步驟S205中，[k]＝2，在步驟S206中，[ΔTexp]＝2Tf。圖9中，若高壓脈沖VSUB的施加電壓下降，則開始光電二極管33的曝光動作。分時曝光時間ΔTexp是圖像讀出周期Tf的2倍的期間，每當(dāng)分時曝光時間ΔTexp結(jié)束時，施加偏移脈沖Tp，與垂直同步信號VD、傳送脈沖Vφ1～Vφ4取得同步，讀出分時圖像信號。如后所述，該讀出的分時圖像作為數(shù)字圖像存儲到緩存8a中。另外，該情況下的AMP 3的放大率A在步驟S207中運(yùn)算，A＝4。
如圖8和圖9所示，在本實施方式中，將分時曝光時間ΔTexp設(shè)定為讀出周期Tf的整數(shù)倍的期間。因此，多次的分時曝光時間ΔTexp不會中斷而連續(xù)地重復(fù)。因此，即使在所合成的抖動校正圖像中，動體的軌跡無中斷地表現(xiàn)。
接著，說明圖10的情況。圖10是以比圖像讀出周期Tf短的分時曝光時間ΔTexp進(jìn)行8次分時攝像的例子，其中，圖5的步驟S204為“否”，在步驟S209中，求出分時攝像次數(shù)[m]，在步驟S210中，求出比讀出周期Tf還短的分時曝光時間ΔTexp。與圖8的情況相同，若攝影觸發(fā)信號(響應(yīng)于第二釋放開關(guān)19b的接通)下降，接著，高壓脈沖VSUB下降，則開始曝光動作。若經(jīng)過步驟S210中運(yùn)算的分時攝像的曝光時間ΔTexp，則為了使攝像元件1的光電二極管33中積蓄的電荷向垂直傳送CCD(VCCD)31偏移，輸出偏移脈沖TP。然后，與垂直同步信號VD取得同步，積蓄的電荷作為圖像信號讀出。與該圖像信號的讀出開始同步，高壓脈沖VSUB再次上升并向攝像元件1施加預(yù)定期間。若高壓脈沖VSUB的施加結(jié)束，則再次開始曝光，與下一次的垂直同步信號VD取得同步，第二次讀出分時攝像的圖像。進(jìn)行m次上述的動作(圖10中進(jìn)行8次)。由以上的說明可知，從開始讀出到下一次開始讀出期間的時間即讀出時間Tread減去了高壓施加脈沖VSUB的施加時間Tsub的時間成為分時攝像的曝光時間ΔTexp。
上述讀出的分時圖像如后所述作為數(shù)字圖像存儲到緩存8a中。圖10的情況，與通常攝影不同，合成以時間上不連續(xù)的曝光時間拍攝的分時圖像，所以例如拍攝以高速移動的物體、例如類似于正在飛行的被攝體時，有可能生成與攝影者的作畫意圖不同的圖像，如球的移動所描繪的軌跡描寫成點(diǎn)點(diǎn)等。但是，各分時攝像是以臨界曝光時間以下進(jìn)行，所以進(jìn)行了抖動校正的合成圖像能夠除去抖動。這樣，根據(jù)以高速移動的被攝體例如球的移動與讀出周期的關(guān)系，有可能得到球表現(xiàn)為點(diǎn)點(diǎn)的合成圖像，但為了防止主要被攝體的抖動，不得不這樣。
這樣，從攝像元件1以分時方式讀出的模擬分時圖像信號在CDS 2中除去了復(fù)位噪聲，利用增益控制放大器(AMP)3模擬放大。若將用于補(bǔ)充分時攝像的圖像的曝光不足的放大率設(shè)為A1，將與ISO靈敏度Sv對應(yīng)的放大率設(shè)為A2，則該AMP 3的放大率被設(shè)為A1×A2。此處，將通常攝影的曝光量設(shè)為E1，將分時攝像的曝光量設(shè)為E2時，A1＝E1×E2。更具體地說，以將用于得到適當(dāng)曝光的曝光時間Texp等分割成m次的曝光時間Texp/m(＝ΔTexp)進(jìn)行m次的分時攝像時，各分時攝像中的放大率如下。
A1＝Texp/(Texp/m)＝m …(3)在圖3所示的增益控制放大器(AMP)3中，分別構(gòu)成放大率A1的放大器23和放大率A2的放大器24，并將放大器23和放大器24串聯(lián)連接，所述放大器23根據(jù)分時攝像攝影次數(shù)m將CDS 2的輸出信號放大m倍，所述放大器24以與ISO靈敏度對應(yīng)的放大率放大CDS 2的輸出信號。該這樣的構(gòu)成中，通過將放大器23和放大器24的放大率相乘，能夠簡單地制作任意的放大率。
A/D轉(zhuǎn)換器4根據(jù)從定時信號產(chǎn)生器5供給的信號將增益控制放大器(AMP)3所放大的模擬圖像信號轉(zhuǎn)換成數(shù)字信號。信息處理部8對利用A/D轉(zhuǎn)換器4轉(zhuǎn)換成數(shù)字信號的圖像信號進(jìn)行預(yù)定的圖像處理之后，將其存儲到信息處理部內(nèi)部的緩存8a中。
返回到圖4，若分時攝像(S107)結(jié)束，則接著進(jìn)入步驟S108，在抖動圖像校正/記錄的子程序中，將校正了抖動的合成圖像的生成處理和該合成圖像存儲到記錄介質(zhì)11中。使用圖6和圖7的時序圖說明該子程序。首先，對緩存8a中存儲的m次的分時曝光的圖像相互進(jìn)行抖動校正，以及為了從該進(jìn)行了抖動校正的圖像生成合成圖像而進(jìn)行抖動圖像校正(S301)。
下面，對于該抖動圖像校正的子程序，參照圖7，說明在信息處理部8中進(jìn)行的抖動圖像校正的流程。
首先，作為初始設(shè)定，在存儲與用于識別分割圖像的ID相當(dāng)?shù)淖兞縤的存儲器[i]中存儲0(S401)。接著，運(yùn)算圖像I(i)和圖像I(i+1)的抖動Δ(i，i+1)(S402)。抖動Δ通過如下方式求出確定幾點(diǎn)圖像I(i)的特征，利用公知的動向量運(yùn)算，求出與該特征點(diǎn)一致的圖像I(i+1)的特征點(diǎn)的位置，求出對應(yīng)的位置的相對偏移。另外，上述抖動Δ是向量。
接著，進(jìn)入步驟S403，運(yùn)算將抖動Δ累計的∑Δ(k，k+1)(其中，k＝0～i)的標(biāo)量值|∑Δ(k，k+1)|，比較該值和預(yù)先確定的預(yù)定值α。比較的結(jié)果，不是|∑Δ(k，k+1)|＞α?xí)r，即抖動的累計值小于預(yù)定值，不是大抖動的情況下，可校正抖動。該情況下，進(jìn)入步驟S404，增加存儲器[i]的內(nèi)容。接著，根據(jù)抖動Δ，校正圖像I(i)和圖像I(i+1)的抖動之后，將對應(yīng)的像素的值相加(合成)(S405)。之后，在步驟S406中，比較i和m-1。m是在步驟S208、S209或S212中設(shè)定的分時攝像的次數(shù)、即由分時攝像得到的圖像的數(shù)量，m-1是進(jìn)行抖動校正處理的次數(shù)。判斷的結(jié)果，不是i＝m-1時，分支到J401，返回到步驟S402，反復(fù)以上的處理，執(zhí)行。判斷的結(jié)果，若i＝m-1，則進(jìn)入步驟S407，運(yùn)算進(jìn)行了抖動校正處理的圖像的合成圖像的平均值。由此，能夠得到進(jìn)行了抖動校正處理的合成圖像。
另一方面，步驟S403中的判斷結(jié)果，|∑Δ(k，k+1)|＞α?xí)r，判斷為分時攝像期間中的全體的抖動量比可容許的值大、難以進(jìn)行抖動校正，分支到J402，轉(zhuǎn)移到步驟S407。該情況下，不進(jìn)行抖動校正處理，所以成為抖動的圖像。
若結(jié)束步驟S407的合成圖像的平均化，則抖動圖像校正的子程序結(jié)束，返回到圖6所示的抖動圖像校正/記錄的子程序。在步驟S302中，提取有效區(qū)域。在信息處理部8中，對于以最初拍攝的分時圖像為基準(zhǔn)的抖動量在預(yù)先確定的預(yù)定以上的大小的分時圖像，將其從合成處理對象中除外，使得所有的分時圖像重復(fù)的區(qū)域進(jìn)入到預(yù)先確定的有效區(qū)域內(nèi)。然后，對于抖動量在預(yù)定內(nèi)的分時圖像，從所合成的圖像之中提取根據(jù)最初拍攝的分時圖像預(yù)先確定的區(qū)域內(nèi)的圖像。通過這樣，預(yù)定以上的有效區(qū)域的提取處理變簡單。
接著，進(jìn)入步驟S303，有效區(qū)域的圖像數(shù)據(jù)臨時存儲到DRAM 9中。然后，利用壓縮解壓縮部10將臨時存儲的圖像數(shù)據(jù)壓縮成JPEG等預(yù)定格式的圖像數(shù)據(jù)。然后，在步驟S304中，壓縮的圖像數(shù)據(jù)被記錄到記錄介質(zhì)11中，結(jié)束抖動圖像校正/記錄的子程序，返回到圖4的分時攝像的步驟。
接著，說明本實施方式的增益控制放大器(AMP)3的變形例。本實施方式中的AMP 3通過將放大率A1的放大器23和放大率A2的放大器24分別串聯(lián)連接，設(shè)定與分時攝像次數(shù)m對應(yīng)的放大率A1和與ISO靈敏度對應(yīng)的放大率A2，從而能夠簡單地得到任意的放大率。但是，在該結(jié)構(gòu)中，電路結(jié)構(gòu)復(fù)雜化，并且，放大器為2級連接，所以噪聲有可能增加。放大器23的放大率A1和放大器24的放大率A2相互相關(guān)，A1×A2可以取得大致恒定的值，所以放大器23和放大器24是可以共用的。下面對該點(diǎn)進(jìn)行詳細(xì)說明。
通過將放大器24的放大率設(shè)為k倍，從而將ISO靈敏度設(shè)為k倍(＝logm/log2[級])時，快門速度為1/k倍(Texp/k秒)。因此，分時曝光次數(shù)m’為m’＝(Texp/k)/TLimit＝(Texp/TLimit)/k＝m/k(其中，Texp/TLimit與將ISO靈敏度設(shè)為k倍前的分時曝光的次數(shù)m相等)。
但是，分時圖像的信號電平為適當(dāng)電平的1/m’倍，所以為了將A/D轉(zhuǎn)換器4的量化噪聲抑制在與通常攝影相同的水平，優(yōu)選將分時圖像放大m’倍之后，進(jìn)行A/D轉(zhuǎn)換，轉(zhuǎn)換成數(shù)字信號。然后，對上述進(jìn)行了數(shù)字轉(zhuǎn)換的多個分時圖像的相互抖動進(jìn)行校正，合成校正了抖動的多個分時圖像之后，將該合成圖像平均化，從而生成校正了抖動的合成圖像。這樣，分時圖像的放大率的轉(zhuǎn)換為m’/m＝1/k倍。而且，A/D轉(zhuǎn)換前的圖像信號的全體的放大率是將基于ISO靈敏度的放大率和分時圖像的放大率相乘的值。
因此，變更ISO靈敏度前后的全體的放大率的變化等于將基于ISO靈敏度的變更的放大率的變化k倍和分時圖像的放大率的變化1/k倍相乘的值即k×1/k＝1。這意味著即使改變ISO靈敏度，全體的放大率仍保持恒定，可以共用ISO靈敏度設(shè)定用的放大電路和用于放大分時圖像的放大電路。
圖11示出共用放大器23和放大器24的變形例。差動放大器26的非反轉(zhuǎn)輸入與CDS 2的輸出連接，反轉(zhuǎn)輸入與模擬開關(guān)電路28的一端連接。模擬開關(guān)電路28具有n個模擬開關(guān)TG1、TG2、…、TGn，它們的各一端如前所述，與差動放大器26的反轉(zhuǎn)輸入連接，各另一端與串聯(lián)連接的電阻Rn、R(n-1)、R(n-2)、…、R2、R1的各連接點(diǎn)連接。即，模擬開關(guān)TGn的另一端與電阻R1和電阻R2的連接點(diǎn)連接，模擬開關(guān)TG2的另一端與電阻R(n-1)和電阻Rn的連接點(diǎn)連接，模擬開關(guān)TG1的另一端與電阻Rn和差動放大器26的輸出的連接點(diǎn)連接。另外，電阻R1的另一端接地，并且，差動放大器26的輸出進(jìn)一步與A/D轉(zhuǎn)換器4連接。
模擬開關(guān)28的各控制端子與解碼器27的輸出連接。解碼器27是將二進(jìn)制的輸入信號D1、D2、…、Dm轉(zhuǎn)換成輸出信號S1、S2、…、Sn的解碼器。該Sx(x＝1、2、3、…、n)為1(“H”電平)時，模擬開關(guān)TGx(x＝1、2、3、…、n)接通。將輸入信號D1、D2、…、Dm轉(zhuǎn)換成十進(jìn)制的值設(shè)為例如x時，解碼器27的輸出信號S1、S2、…、Sn中，僅有輸出信號Sx為1，其它輸出信號為“0”。例如，若模擬開關(guān)TGn接通，則差動放大器26的輸出Vout如下。
Vout＝Vin·(Rn+Rn(n-1)+Rn(n-2)+…R2+R1)/R1作為一個例子，當(dāng)m＝3、n＝8、R1＝100Ω、R3＝200Ω、R4＝400Ω、R5＝800Ω、R6＝1.6KΩ、R7＝3.2KΩ、R8＝6.4KΩ時，相對于輸入信號D1、D2、D3，能夠得到如圖12的增益。
現(xiàn)在，如圖12那樣將增益和ISO靈敏度對應(yīng)起來。若增益為32以上，則不與ISO靈敏度對應(yīng)，這是因為根據(jù)分時攝像的次數(shù)m進(jìn)行了放大的緣故。用于補(bǔ)充分時攝像的圖像的曝光不足的放大率A1在圖12所記載的例子中，需要設(shè)定為以2倍數(shù)量變化的放大率。因此，在該例子中，分時次數(shù)設(shè)定為例如1、2、4、8的任意一個。具體地說，按照如下方式求出分時攝像的次數(shù)m。首先，將通常攝影的曝光時間設(shè)為Texp，運(yùn)算將其除以抖動臨界曝光時間TLimit的Texp/TLimit。接著，從1、2、4、8中選擇大于Texp/Tlimit的最小值。例如，Texp/TLimit＝2.55時，分時攝像次數(shù)m為4。因此，該情況下的差動放大器26的放大率A為4，所以ISO靈敏度向高ISO側(cè)偏移2級。
在以上所述的變形例中，舉出了以整數(shù)級選擇ISO靈敏度的例子，通過適當(dāng)選擇電阻R1、R2、R3、…、Rn，可以設(shè)計成例如能夠以1/3級步驟選擇。并且，也可以設(shè)計成放大率A也能夠選擇任意的整數(shù)值。
另外，本實施方式和變形例中，從攝像元件1讀出分時攝像的多個圖像，轉(zhuǎn)換成數(shù)字圖像之后，進(jìn)行抖動校正和合成處理，生成去除了抖動的合成圖像，但對于本申請人在日本特愿2005-278748中公開的在攝像元件內(nèi)進(jìn)行分時攝像、抖動校正以及合成處理的裝置，也能夠應(yīng)用本實施方式中記載的發(fā)明。
如上述說明，根據(jù)本實施方式，將讀出上述分時圖像的周期設(shè)為Tf，將可容許抖動的曝光時間設(shè)為TLimit，將舍去實數(shù)TLimit/Tf的小數(shù)點(diǎn)以下的值設(shè)為k時，將k×Tf設(shè)定為分時攝像的曝光時間ΔTexp。由此，作為分時攝像的曝光時間，能夠設(shè)定為比可容許抖動的曝光時間TLimit短、且將讀出分時圖像的周期設(shè)為Tf的整數(shù)倍的最大的曝光時間。因此，作為分時曝光，能夠確保最大限的信號電平。
并且，將得到適當(dāng)?shù)钠毓饬克璧钠毓鈺r間設(shè)為Texp時，以Texp/ΔTexp的放大率放大分時圖像，所以能夠得到適當(dāng)電平的分時圖像。放大之后進(jìn)行A/D轉(zhuǎn)換，因此能夠?qū)/D轉(zhuǎn)換時的量化噪聲設(shè)為最小限。
而且，將舍去實數(shù)Texp/ΔTexp的小數(shù)點(diǎn)以下的值設(shè)為m時，進(jìn)行m次以上分時攝像，校正所得到的分時圖像的相互的抖動之后進(jìn)行合成，所以能夠得到S/N良好的校正了抖動的合成圖像。
另外，如上所述，根據(jù)本實施方式所涉及的發(fā)明，可以生成曝光時間連續(xù)的分時圖像的、對相互的抖動進(jìn)行了校正的適當(dāng)電平的S/N良好的合成圖像。因此，除了抖動被校正之外，可以進(jìn)行與通常攝影相同的圖像。
在本實施方式中，固體攝像元件1將被攝體光轉(zhuǎn)換成圖像信號，所以可以稱為攝像部?？刂芓G 5的CPU 7從固體攝像元件1讀出以預(yù)定的分時曝光時間拍攝的分時圖像，所以可以稱為圖像讀出部。CPU 7控制上述分時時間，使其達(dá)到圖像讀出周期的整數(shù)倍，所以可以稱為分時曝光時間控制部。CPU 7對上述攝像元件所拍攝的多個圖像的相互抖動進(jìn)行校正，所以可以稱為抖動校正部。此外，CPU 7合成上述抖動校正部所校正的多個圖像，所以可以稱為圖像合成部。
CPU 7運(yùn)算為得到一定的曝光時間所需的曝光時間Texp，所以可以稱為曝光時間運(yùn)算部。另外，CPU 7比較從攝像元件讀出分時圖像的周期和可容許抖動的曝光時間，所以可以稱為比較部。AMP 3放大CPU 7所讀出并由CDS 2進(jìn)行處理的圖像，所以可以稱為圖像放大部。
以上說明的實施方式為將本發(fā)明應(yīng)用到數(shù)字照相機(jī)的例子，作為數(shù)字照相機(jī)，可以應(yīng)用到數(shù)字單反照相機(jī)或袖珍數(shù)字照相機(jī)等，也可以應(yīng)用到內(nèi)置了數(shù)字照相機(jī)的電子攝像裝置中。
盡管上面描述并示出了本發(fā)明的優(yōu)選實施方式，但是應(yīng)該可以理解，在不脫離本發(fā)明的宗旨的范圍內(nèi)，可容易地對本發(fā)明實施各種變形和修改，所以本發(fā)明并不限于所描述和示出的具體實施方式
，可以在落入本發(fā)明的權(quán)利要求的范圍內(nèi)進(jìn)行修改。
權(quán)利要求
1.一種電子抖動校正裝置，該電子抖動校正裝置生成由攝像元件連續(xù)進(jìn)行分時攝像得到的多個分時圖像的、進(jìn)行了相互校正的合成圖像，所述電子抖動校正裝置包括攝像部，其將被攝體光轉(zhuǎn)換成圖像信號；圖像讀出部，其從上述攝像部讀出以預(yù)定的分時曝光時間拍攝的上述分時圖像；分時曝光時間控制部，其控制上述分時曝光時間，使得上述分時曝光時間為上述圖像讀出部讀出上述圖像的周期的整數(shù)倍；抖動校正部，其校正上述攝像部所拍攝的上述多個分時圖像的相互抖動；以及圖像合成部，其合成上述抖動校正部所校正的多個分時圖像。
2.根據(jù)權(quán)利要求1所述的電子抖動校正裝置，其中，上述分時曝光時間比可容許抖動的臨界曝光時間短。
3.根據(jù)權(quán)利要求1所述的電子抖動校正裝置，所述電子抖動校正裝置還包括曝光時間運(yùn)算部，其運(yùn)算為了得到一定的曝光量所需的曝光時間(Texp)；以及圖像放大部，其放大上述圖像讀出部所讀出的上述圖像，其中，將上述圖像放大部的放大率設(shè)為A，將上述分時曝光時間設(shè)為ΔTexp時，A＝Texp/ΔTexp。
4.根據(jù)權(quán)利要求1所述的電子抖動校正裝置，所述電子抖動校正裝置還具備比較部，所述比較部比較從上述攝像元件讀出上述分時圖像的周期和可容許抖動的曝光時間，其中，上述比較部的比較結(jié)果，讀出上述分時圖像的周期比上述可容許抖動的曝光時間短時，上述分時曝光時間控制部將上述分時曝光時間設(shè)為上述讀出周期的整數(shù)倍。
5.根據(jù)權(quán)利要求4所述的電子抖動校正裝置，其中，將讀出上述分時圖像的周期設(shè)為Tf，將上述可容許抖動的曝光時間設(shè)為TLimit，將舍去實數(shù)TLimit/Tf的小數(shù)點(diǎn)以下后得到的值或?qū)⑿?shù)點(diǎn)以下進(jìn)位后得到的值中的任意一個設(shè)為k時，將k×Tf設(shè)為上述分時攝像的曝光時間ΔTexp。
6.根據(jù)權(quán)利要求5所述的電子抖動校正裝置，所述電子抖動校正裝置還包括曝光時間運(yùn)算部，其運(yùn)算為了得到適當(dāng)?shù)钠毓饬克璧钠毓鈺r間(Texp)；以及放大部，其用于放大上述分時圖像，其中，將上述放大部的放大率A設(shè)為Texp/ΔTexp。
7.根據(jù)權(quán)利要求6所述的電子抖動校正裝置，其中，將上述實數(shù)Texp/ΔTexp的小數(shù)點(diǎn)以下進(jìn)位后得到的值或舍去小數(shù)點(diǎn)以下后得到的值中的任意一個設(shè)為m時，進(jìn)行m次分時攝像。
8.一種電子抖動校正方法，所述電子抖動校正方法包括如下步驟設(shè)定分時曝光時間，該分時曝光時間是從攝像元件讀出圖像的周期的整數(shù)倍，且比可容許抖動的臨界曝光時間短；以上述分時曝光時間進(jìn)行多次分時攝像；以及使用在上述多次分時攝像中得到的多個圖像，生成校正了抖動的圖像。
全文摘要
本發(fā)明公開了一種電子抖動校正裝置以及電子抖動校正方法，其中，電子抖動校正裝置，其以具有從攝像元件的圖像讀出周期的整數(shù)倍的期間的分時曝光時間得到多張分時圖像，由該多張分時圖像生成校正了抖動的圖像。根據(jù)該電子抖動校正裝置，由于多張分時圖像的曝光時間實質(zhì)上連續(xù)，所以能夠得到動體的軌跡連續(xù)的圖像。
文檔編號G03B7/00GK101035204SQ200710006918
公開日2007年9月12日 申請日期2007年1月30日 優(yōu)先權(quán)日2006年3月10日
發(fā)明者山崎正文 申請人:奧林巴斯映像株式會社, 奧林巴斯株式會社