專利名稱：電子式抖動校正裝置的制作方法
技術領域：
本發(fā)明涉及一種能夠對圖像的抖動進行電子校正的電子式抖動校正裝置。
背景技術：
利用固體攝像元件拍攝靜態(tài)圖像和動態(tài)圖像的攝像裝置中，不少裝置是用手握持著來進行拍攝的。在這樣的攝像裝置中，已知例如在被攝物體亮度低的情況下，由于快門速度變慢，因此容易發(fā)生手抖。此外，已知車載照相機等，由于行駛時的振動，同樣有可能發(fā)生抖動。
過去以來提出了各種用于校正這種抖動的技術，有對應于振動移動光學系統(tǒng)的光學式抖動校正、對應于振動移動固體攝像元件的傳感器移動式抖動校正、以及通過處理所拍攝的圖像來校正抖動的電子式抖動校正等。
這些中的電子式抖動校正，有通過根據(jù)抖動使得圖像切出位置針對每一幀而不同，從而保持圖像內的被攝物體位置恒定的對應動態(tài)圖像的技術，但因為該技術不是用于防止1幀內的圖像的抖動的技術，所以不能適用于靜態(tài)圖像。
與此相對，也提出了各種能夠適用于靜態(tài)圖像的電子式抖動校正。
(1)例如，日本特開2002-135659號公報中，記載了如下技術，即通過3維集成電路技術，將光電轉換元件組層、Y方向CCD(電荷耦合器件)移位寄存器層、X方向CCD移位寄存器層、以及電荷積蓄元件組層，層疊在半導體上構成攝像傳感器，通過控制Y方向CCD移位寄存器層的傳輸時鐘和X方向CCD移位寄存器層的傳送時鐘的相位，能夠在“+”、“-”兩個方向傳送電荷。
假設正在采用這樣結構的攝像傳感器進行曝光時發(fā)生抖動。于是，在光電轉換元件組層發(fā)生的電荷，首先并行向Y方向CCD傳輸移位寄存器層傳輸，通過Y方向CCD傳輸移位寄存器傳輸與抖動信號的Y方向成分對應的電荷量。
接著，向Y方向所傳輸?shù)碾姾?，從Y方向CCD傳輸移位寄存器層向X方向CCD傳輸移位寄存器層并行傳輸，通過X方向CCD傳輸移位寄存器傳輸與抖動信號的X方向成分對應的電荷量。
接著，向X方向所傳輸?shù)碾姾桑瑥腦方向CCD傳輸移位寄存器層向電荷積蓄元件組層并行傳輸并積蓄。
在曝光中，每當抖動信號以光電轉換元件的尺寸為單位變化時，進行上述這樣的動作，曝光結束時掃描電荷積蓄元件組層，輸出圖像信號。
這樣，通過對應于像抖動量來改變CCD移位寄存器的移位量，變更電荷的傳輸路徑，能夠得到?jīng)]有像抖動的圖像信號。
(2)并且，日本特開2005-198148號公報中記載了如下技術，即在生成與來自被攝物體的光對應的圖像信號的固體攝像元件中，具有在2軸方向上排列有多個的光電轉換部，將從所述光電轉換部讀取的電荷，沿所述2軸方向的正負方向中的任意方向傳輸，并且將傳輸?shù)膶谌我鈹?shù)量個像素的電荷，與對應于傳輸目的地的像素的、從所述光電轉換部讀取的電荷混合。
通過這樣，在基于從光電轉換部讀取到電荷傳輸部的電荷的圖像，和基于此后積蓄在光電轉換部中的電荷的圖像之間，當沿電荷傳輸部中的可傳輸方向產(chǎn)生手抖動而引起的位置偏移時，通過電荷傳輸部中的電荷移動，使手抖動前的圖像移動以使得其與手抖動后的圖像一致，從而能夠將已校正了2軸方向的抖動后的圖像合成。
專利文獻1日本特開2002-135659號公報專利文獻2日本特開2005-198148號公報但是，上述日本特開2002-135659號公報中所記載的技術，因為需要3維結構的多層集成電路技術，所以可以預想攝像元件的制造成本變高。
此外，上述日本特開2005-198148號公報中所記載的技術，因為構成為在攝像部形成用于使圖像在2軸方向移動的傳輸路徑，所以像素的開口率降低靈敏度降低。并且，在攝像部設置2軸方向的傳輸路徑，因此與以往的具有1軸方向的傳輸路徑的行間型CCD(interline CCD)相比，增加了拖影(smear)。

發(fā)明內容
本發(fā)明就是鑒于以上情況而提出的，其目的是提供一種電子式抖動校正裝置，在抑制成本上升的同時能夠得到校正抖動后的高畫質的圖像。
為了達成上述目的，根據(jù)第1發(fā)明的電子式抖動校正裝置，所述電子式抖動校正裝置具有如下的攝像元件可在攝像元件內校正通過分時拍攝得到的多個圖像的相互抖動，輸出已校正了抖動的圖像，所述電子式抖動校正裝置具有攝像部，其具有接收被攝物體光生成圖像信號的光電轉換部，以及用于傳輸通過該光電轉換部生成的第1圖像的第1傳輸路徑；積蓄部，其具有用于積蓄從所述攝像部通過所述第1傳輸路徑所傳輸?shù)乃龅?圖像的第2傳輸路徑，以及配置成與該第2傳輸路徑交叉、用于積蓄第2圖像的第3傳輸路徑；抖動檢測部，其檢測所述第1圖像與所述第2圖像的相對抖動；傳輸控制部，其根據(jù)通過上述抖動檢測部檢測出的圖像的抖動，進行控制使所述第1圖像和所述第2圖像分別在所述第2傳輸路徑內和所述第3傳輸路徑內傳輸，以便校正所述第1圖像與所述第2圖像的相對抖動；圖像合成部，其將基于所述傳輸控制部的控制而傳輸?shù)乃龅?圖像和所述第2圖像合成，將合成的圖像重新作為第2圖像積蓄在所述第3傳輸路徑中；以及控制部，其控制所述攝像部、所述積蓄部、所述傳輸控制部、以及所述圖像合成部，反復執(zhí)行將所述第1圖像與所述第2圖像合成的動作。
并且，根據(jù)第2發(fā)明的電子式抖動校正裝置，在所述第1發(fā)明的電子抖動校正裝置中，還具有計算所述合成圖像的曝光時間的曝光時間計算部，所述控制部進行控制使得所述第1圖像的曝光時間為將所述合成圖像的曝光時間除以預先決定的分時拍攝的次數(shù)得到的值。
并且，根據(jù)第3發(fā)明的電子式抖動校正裝置，在所述第2發(fā)明的電子式抖動校正裝置中，所述控制部進行控制，使得當所述合成圖像的曝光時間比被預先設定成使抖動量成為能夠允許的值的規(guī)定抖動極限曝光時間短時，只進行1次基于所述合成圖像的曝光時間的攝像，經(jīng)所述第1傳輸路徑和所述第2傳輸路徑從攝像元件讀出攝像得到的圖像。
根據(jù)第4發(fā)明的電子式抖動校正裝置，在所述第1發(fā)明的電子式抖動校正裝置中，還具有電荷排出部，其配置在所述第2傳輸路徑的與所述第1傳輸路徑連接的一側的預定位置，用于將在該第2傳輸路徑內傳輸?shù)碾姾蛇x擇性地排出到該第2傳輸路徑外。
通過本發(fā)明的電子式抖動校正裝置，能夠在抑制成本上升的同時得到校正了抖動的高畫質的圖像。


圖1表示本發(fā)明的實施方式1的數(shù)字照相機的主要電結構的框圖。
圖2是表示所述實施方式1的攝像元件的結構例的圖。
圖3是表示所述實施方式1中，通過攝像部進行第1次分時拍攝得到的第1圖像經(jīng)垂直傳輸CCD，向積蓄部的垂直傳輸CCD傳輸?shù)那闆r的圖。
圖4是表示所述實施方式1中，將在垂直傳輸CCD中存儲的涉及第1次分時拍攝的第1圖像，向水平傳輸CCD傳輸并作為第2圖像存儲的情況的圖。
圖5是表示所述實施方式1中，通過攝像部進行第2次分時拍攝得到的第1圖像經(jīng)垂直傳輸CCD，向積蓄部的垂直傳輸CCD傳輸?shù)那闆r的圖。
圖6是表示所述實施方式1中，在水平傳輸CCD中存儲的第2圖像在水平方向移動的情況的圖。
圖7是表示所述實施方式1中，在垂直傳輸CCD中存儲的第1圖像在垂直方向移動的情況的圖。
圖8是表示所述實施方式1中，將在垂直傳輸CCD中存儲的第1圖像與在水平傳輸CCD中存儲的第2圖像合成，并將合成圖像再次作為第2圖像的情況的圖。
圖9是表示所述實施方式1的電荷排出用漏區(qū)的結構例。
圖10是表示所述實施方式1的其它的電荷排出用漏區(qū)的結構例。
圖11是表示所述實施方式1中，通過數(shù)字照相機拍攝并記錄圖像時的處理的流程圖。
符號說明1固體攝像元件；1a攝像部；1b積蓄部(圖像合成部)；2相關雙采樣電路(CDS)；3增益控制放大器(AMP)；4A/D轉換器；5定時發(fā)生器(TG)(傳輸控制部)；6信號發(fā)生器(SG)；7CPU(控制部、抖動檢測部、傳輸控制部、曝光時間運算部)；8信息處理部；8a緩沖存儲器；9DRAM；10壓縮解壓縮部；11記錄介質；12液晶顯示部；13接口部；14鏡頭驅動系統(tǒng)；15攝影鏡頭；16光圈驅動系統(tǒng)；17光圈；18a第1快門釋放開關；18b第2快門釋放開關；19，20角速度傳感器(抖動檢測部)；21，22A/D轉換器(抖動檢測部)；23距離檢測部；24EEPROM；25攝影模式設定部；26攝影條件設定部；27光電二極管(光電轉換部)；28垂直傳輸CCD(第1傳輸路徑)；29垂直傳輸CCD(第2傳輸路徑)；29a傳輸電極；30水平傳輸CCD(第3傳輸路徑)；30a傳輸電極；31電荷排出用漏區(qū)(電荷排出部)；32電荷排出用漏區(qū)(電荷排出部)；33讀出用水平傳輸CCD；34柵極；41n型基板；42p型擴散區(qū)域；43n-擴散區(qū)域。
具體實施例方式
詳細說明實施方式之前，首先，對用于校正抖動的原理進行簡單說明。
例如，假設對被攝物體進行測光得到的適當?shù)钠毓鈺r間(全曝光時間)為1/15秒。而且，設該1/15秒的曝光時間(快門速度)內發(fā)生抖動。與此相對，假設在曝光時間(快門速度)為1/125秒時，不發(fā)生抖動，或發(fā)生的抖動實質上可以忽略。這樣的情況下，將所述全曝光時間1/15秒，分時為1/125秒的曝光時間，通過該分時拍攝進行8次拍攝，通過將該分時拍攝得到的8張圖像合成(相加)，得到1/15秒的適當曝光時間的1張圖像。但是，因為單純地將按所述1/125秒所拍攝的分時圖像合成并沒有校正抖動，所以在相互校正各個分時圖像的抖動之后再進行合成。而且，該合成圖像內的所有分時圖像重疊的區(qū)域作為有效區(qū)域。
以下說明的實施方式，就是在攝像元件內高速進行這樣的抖動校正和分時圖像的合成的實施方式。
以下，參照

本發(fā)明的實施方式。
圖1至圖11表示本發(fā)明的實施方式1，圖1是主要表示數(shù)字照相機的電結構的框圖。本實施方式在作為電子攝像裝置的數(shù)字照相機中應用了電子式抖動校正裝置。
該數(shù)字照相機包括以下部分固體攝像元件(以下適當?shù)芈苑Q為攝像元件)1；相關雙采樣電路(CDSCorrelated Double Sampling)2；增益控制放大器(AMP)3；A/D轉換器4；定時發(fā)生器(TG)5；信號發(fā)生器(SG)6；CPU7；信息處理部8；DRAM9；壓縮解壓縮部10；記錄介質11；液晶顯示部12；接口部13；鏡頭驅動系統(tǒng)14；攝影鏡頭15；光圈驅動系統(tǒng)16；光圈17；第1快門釋放開關18a和第2快門釋放開關18b；角速度傳感器19和角速度傳感器20；A/D轉換器21和A/D轉換器22；距離檢測部23；CPU7中內置的EEPROM(電可擦除只讀存儲器)24；攝影模式設定部25；以及攝影條件設定部26。
攝影鏡頭15是用于向攝像元件1的攝像面成像被攝物體像的攝像光學系統(tǒng)。
光圈17是通過規(guī)定來自該攝影鏡頭15的成像光束的通過范圍，用于進行光量調整的光學光圈，是攝像光學系統(tǒng)的一部分。
攝像元件1是將經(jīng)光圈17通過攝影鏡頭15成像的被攝物體像，進行光電轉換作為電信號輸出的元件。在此，圖2表示本實施方式的攝像元件1的結構例。關于該攝像元件1的更加詳細的結構和作用，之后進行說明。
TG 5供給用于驅動該攝像元件1的傳輸脈沖，構成傳輸控制部。
CDS 2按照從TG 5所供給的樣本保持脈沖被驅動，通過對從攝像元件1所輸出的圖像信號進行相關雙采樣等處理，除去復位噪音(resetnoise)。
SG 6基于CPU 7的控制，生成同步信號向TG 5輸出。
增益控制放大器(AMP)3，放大從CDS 2所輸出的模擬信號。該增益控制放大器(AMP)3的放大率被設定成與ISO(InternationalOrganization for Standardization，國際標準化組織)靈敏度Sv對應的放大率，即增益控制放大器(AMP)3為ISO靈敏度變更部。
A/D轉換器4為模擬/數(shù)字轉換部，其按照從TG 5所供給的信號，將從增益控制放大器(AMP)3所輸出的模擬信號轉換為數(shù)字信號。
信息處理部8處理從A/D轉換器4所輸出的像素信號，生成圖像數(shù)據(jù)。該信息處理部8包含有有效區(qū)域提取部，該有效區(qū)域提取部具有從攝像元件1所輸出的圖像數(shù)據(jù)中提取出適當?shù)匦Ｕ硕秳拥膱D像數(shù)據(jù)的功能。并且，該信息處理部8構成為具有用于臨時存儲圖像數(shù)據(jù)的緩沖存儲器8a。
DRAM 9臨時存儲從信息處理部8所輸出的圖像數(shù)據(jù)，并且臨時存儲通過壓縮解壓縮部10將從記錄介質11讀取的壓縮圖像數(shù)據(jù)解壓縮而得到的圖像數(shù)據(jù)。而且，所述緩沖存儲器8a也可以構成為具有兼用作DRAM 9的功能。
壓縮解壓縮部10壓縮在DRAM 9中所存儲的圖像數(shù)據(jù)，并且解壓縮從記錄介質11所讀取的壓縮圖像數(shù)據(jù)。
記錄介質11是記錄通過壓縮解壓縮部10壓縮后的圖像數(shù)據(jù)的記錄部，例如為非易失性的記錄介質。
液晶顯示器12顯示從信息處理部8輸出的圖像數(shù)據(jù)，或顯示從DRAM 9輸出的已解壓縮的圖像數(shù)據(jù)。該液晶顯示部12兼作為進行各種警告顯示等的顯示部。
接口部13是包含與監(jiān)視器或個人計算機等外部裝置進行數(shù)據(jù)交換的端子的接口。經(jīng)該接口部13，可向外部裝置輸出從信息處理部8或DRAM 9所供給的圖像數(shù)據(jù)等，或者根據(jù)情況，可從外部裝置向數(shù)字照相機內取入圖像數(shù)據(jù)等。
鏡頭驅動系統(tǒng)14通過基于距離檢測部23檢測出的被攝物體距離從CPU 7接收指令，向對焦位置驅動攝影鏡頭15。這樣的處理就是公知的所謂自動對焦控制。另外，這里基于從距離檢測部23的輸出進行自動對焦控制，但也可以利用高通濾波器等從DRAM 9中存儲的1幀(1畫面)的圖像數(shù)據(jù)的亮度成分中提取出高頻成分，CPU 7通過算出所提取的高頻成分的累計合成值等，算出與高頻域側的輪廓成分等對應的AF評價值，基于該AF評價值進行焦點檢測。
光圈驅動系統(tǒng)16是光圈控制部，基于DRAM 9中所存儲的圖像數(shù)據(jù)，由作為測光部的CPU 7進行曝光運算，光圈驅動系統(tǒng)16通過從該CPU 7接收基于該曝光運算結果的指令，驅動光圈17變更開口率。這樣的處理，就是公知的所謂AE(自動曝光)控制。
角速度傳感器19是抖動檢測部，當把從被攝物體側看數(shù)字照相機時的左右方向的右方向作為X軸方向時，該角速度傳感器19用于檢測以該X軸方向為旋轉中心旋轉數(shù)字照相機時的角速度。
另一方面，角速度傳感器20是抖動檢測部，當把數(shù)字照相機的上下方向的上方向作為Y軸方向時，該角速度傳感器20用于檢測以該Y軸方向為旋轉中心旋轉數(shù)字照相機時的角速度。
A/D轉換器21是抖動檢測部的一部分，以規(guī)定的時間間隔(采樣間隔)，將表示利用角速度傳感器19所檢測出的角速度的模擬信號轉換為數(shù)字信號。
同樣，A/D轉換器22是抖動檢測部的一部分，以規(guī)定的時間間隔(采樣間隔)，將表示利用角速度傳感器20所檢測出的角速度的模擬信號轉換為數(shù)字信號。
CPU 7對通過A/D轉換器21所轉換的數(shù)字信號進行時間積分處理。該時間積分后的數(shù)字信號，相當于照相機主體的以所述X軸為旋轉中心的旋轉量。并且，可以根據(jù)角速度傳感器19的模擬輸出信號為正還是為負來判斷繞X軸的旋轉方向為右旋轉還是左旋轉。
同樣，CPU 7對通過A/D轉換器22所轉換的數(shù)字信號進行時間積分處理。該時間積分后的數(shù)字信號，相當于照相機主體的以所述Y軸為旋轉中心的旋轉量。并且，可以根據(jù)角速度傳感器20的模擬輸出信號為正還是為負來判斷繞Y軸的旋轉方向為右旋轉還是左旋轉。
第1快門釋放開關18a是用于指示輸入攝像動作的自動歸位型2級式開關的快門釋放開關的第1級。當按下快門釋放開關，該第1快門釋放開關18a被接通時，進行測距動作和測光動作。
第2快門釋放開關18b是用于指示輸入攝像動作的自動歸位型2級式開關的快門釋放開關的第2級。當進一步按下快門釋放開關，該第2快門釋放開關18b被接通時，由攝像元件1進行攝像動作，如上所述生成圖像數(shù)據(jù)，壓縮后的圖像數(shù)據(jù)記錄在記錄介質11中。
距離檢測部23用于檢測到被攝物體的距離，可以適當?shù)夭捎霉Y構的裝置。
攝影模式設定部25用于選擇快門優(yōu)先攝影模式、光圈優(yōu)先攝影模式、以及程序攝影模式中的任意一個。
攝影條件設定部26用于設定快門速度(曝光時間)和光圈值、ISO靈敏度等各種攝影條件。
CPU 7中內置有作為非易失性存儲器的EEPROM 24，該EEPROM 24中作為程序線圖存儲曝光值Ev與用于進行最佳曝光控制的Tv(曝光時間的峰值)及Av(光圈值的峰值)的關系。在該EEPROM 24中，還可以適當存儲數(shù)字照相機所需的其它信息。
向該CPU 7輸入以下信號來自第1快門釋放開關18a的信號；來自第2快門釋放開關18b的信號；通過A/D轉換器21的來自角速度傳感器19的信號；通過A/D轉換器22的來自角速度傳感器20的信號；來自攝影模式設定部25的信號；以及來自攝影條件設定部26的信號。并且CPU 7向TG 5和SG 6輸出指令。
并且，CPU 7與信息處理部8、DRAM 9、鏡頭驅動系統(tǒng)14、光圈驅動系統(tǒng)16以及距離檢測部23雙向連接，成為控制包括上述部分的數(shù)字照相機整體的控制部，并且兼作為控制部、抖動檢測部、傳輸控制部以及曝光時間計算部。
具體地講，CPU 7進行上述這樣的自動對焦控制和AE控制，并且基于來自第1快門釋放開關18a以及第2快門釋放開關18b的指示取入靜態(tài)圖像的信號，進行攝像元件1的驅動模式的切換。并且，該CPU 7進行變更光圈17的開口率的控制和攝像元件1的曝光時間控制等。并且，CPU 7基于來自攝影模式設定部25的輸入，設定該數(shù)字照相機的攝影模式，基于來自攝影條件設定部26的輸入，設定數(shù)字照相機的攝影條件。除此之外，CPU 7還基于來自角速度傳感器19、20的輸出，進行抖動量的計算等。
接著，圖2是表示攝像元件1的結構例的圖。
該攝像元件1如圖2所示，為攝像部1a與積蓄部1b分離的所謂FIT型CCD(幀行間轉移型CCD)。
攝像部1a構成為具有對圖像進行光電轉換并積蓄的作為光電轉換部的光電二極管27；以及作為第1傳輸路徑的垂直傳輸CCD 28，其用于沿垂直方向傳輸從該光電二極管27中讀出的電荷。
積蓄部1b構成為具有作為第2傳輸路徑的垂直傳輸CCD 29，其用于將從攝像部1a的垂直傳輸CCD 28傳輸?shù)碾姾蓚鬏斨猎摲e蓄部1b內的規(guī)定位置；作為第3傳輸路徑的水平傳輸CCD 30，其配置成與該垂直傳輸CCD 29交叉；作為電荷排出部的電荷排出用漏區(qū)31，其用于將傳輸?shù)剿絺鬏擟CD 30的兩端部的電荷排出至傳輸路徑外；作為電荷排出部的電荷排出用漏區(qū)32，其用于將傳輸?shù)酱怪眰鬏擟CD 29的攝像部1a側的端部的電荷排出至傳輸路徑外；以及讀出用水平傳輸CCD 33，其用于將由垂直傳輸CCD 29傳輸?shù)碾姾蓮臄z像元件1讀出到外部。該積蓄部1b如后述那樣，兼作為圖像合成部。
這樣構成的攝像元件1中，通過光電二極管27進行光電轉換并被積蓄的像素電荷，經(jīng)垂直傳輸CCD 28，傳輸至積蓄部1b的垂直傳輸CCD29。傳輸?shù)皆摯怪眰鬏擟CD 29的電荷，作為整體形成第1圖像。
首先通過第1次的分時拍攝傳輸?shù)酱怪眰鬏擟CD 29的第1圖像，之后被傳輸?shù)剿絺鬏擟CD 30。將該水平傳輸CCD 30中所積蓄的圖像作為第2圖像。
通過接下來的分時拍攝所拍攝的圖像，再次被傳輸?shù)酱怪眰鬏擟CD29。然后根據(jù)基于角速度傳感器19的輸出所算出的繞X軸的抖動，將該第1圖像向消除與水平傳輸CCD 30中積蓄的第2圖像在垂直方向上的相對偏移的方向移動規(guī)定量。并且，根據(jù)基于角速度傳感器20的輸出所算出的繞Y軸的抖動，將第2圖像向消除與垂直傳輸CCD 29中積蓄的第1圖像在水平方向上的相對偏移的方向移動規(guī)定量。然后，將進行了移動以消除垂直方向以及水平方向的相對抖動后的第1圖像和第2圖像，在垂直傳輸CCD 29與水平傳輸CCD 30交叉的位置或其附近合成(積蓄部1b作為圖像合成部起作用。)，并積蓄在水平傳輸CCD 30中。
之后再次進行分時攝影，該拍攝的圖像作為第1圖像保存在積蓄部1b的垂直傳輸CCD 29中。然后同樣生成已經(jīng)校正抖動后的合成圖像，保存在水平傳輸CCD 30中。進行作為分時拍攝的次數(shù)而設定的規(guī)定次數(shù)例如10次這樣的動作。這里，因為垂直傳輸CCD 29以及水平傳輸CCD30中所積蓄的電荷，對應于抖動而上下左右被移動，所以到達水平傳輸CCD 30的端部的電荷通過電荷排出用漏區(qū)31，到達垂直傳輸CCD 29的攝像部1a側的端部的電荷通過電荷排出用漏區(qū)32，到達垂直傳輸CCD 29的讀出用水平傳輸CCD 33側的端部的電荷通過該讀出用水平傳輸CCD33，分別被排出至傳輸路徑外。
下面，參照圖3～圖8，對上述這樣的攝像元件1的動作更加詳細地進行說明。
首先，圖3是表示通過攝像部1a第1次分時拍攝到的第1圖像，經(jīng)垂直傳輸CCD 28，傳輸?shù)椒e蓄部1b的垂直傳輸CCD 29的情況的圖。圖3中的「○」表示垂直傳輸CCD 29的勢阱中積蓄的相當于1像素的電荷。
其次，圖4是表示將垂直傳輸CCD 29中存儲的第1次分時拍攝的第1圖像，傳輸?shù)剿絺鬏擟CD 30，并作為第2圖像存儲的情況的圖。第1次的分時拍攝中，因為在水平傳輸CCD 30中尚未存儲圖像，所以如圖4所示，將垂直傳輸CCD 29中存儲的第1圖像，原樣傳輸給水平傳輸CCD 30并作為第2圖像存儲。
而且，圖5是表示通過攝像部1a進行第2次分時拍攝得到的第1圖像，經(jīng)垂直傳輸CCD 28，傳輸?shù)椒e蓄部1b的垂直傳輸CCD 29的情況的圖。圖5中的「△」表示第2次分時拍攝到的第1圖像的電荷。
并且，圖6是表示在水平傳輸CCD 30中存儲的第2圖像，在水平方向移動的情況的圖。在水平傳輸CCD 30中存儲的第2圖像，如圖6所示，根據(jù)基于角速度傳感器20的輸出所算出的繞Y軸的抖動，在水平傳輸CCD 30內，向消除與垂直傳輸CCD 29中積蓄的第1圖像在水平方向上的相對偏移的方向移動規(guī)定量。
而且，圖7是表示在垂直傳輸CCD 29中存儲的第1圖像，在垂直方向移動的情況的圖。在垂直傳輸CCD 29中存儲的第1圖像，如圖7所示，根據(jù)基于角速度傳感器19的輸出所算出的繞X軸的抖動，在垂直傳輸CCD 29內，向消除與水平傳輸CCD 30中積蓄的第2圖像在垂直方向上的相對偏移的方向移動規(guī)定量。
另外，在此，說明了首先進行水平方向的抖動校正(參照圖6)，之后進行垂直方向的抖動校正(參照圖7)的例子，也可以按照與之相反的順序，即，首先進行垂直方向的抖動校正，之后進行水平方向的抖動校正。
而且，圖8是表示將在垂直傳輸CCD 29中存儲的第1圖像與在水平傳輸CCD 30中存儲的第2圖像合成，并將合成圖像再次作為第2圖像的情況的圖。在水平傳輸CCD 30內將在垂直傳輸CCD 29中所存儲的第1圖像(△)，與緊鄰的左上的水平傳輸CCD 30中所存儲的第2圖像合成(合成圖像的電荷利用[●]表示)。然后，該合成圖像再次作為第2圖像，存儲在水平傳輸CCD 30中。
另外，這里設為將在垂直傳輸CCD 29中存儲的第1圖像(△)與緊鄰的左上的水平傳輸CCD 30中存儲的第2圖像合成，這是設計上的選擇性事項，可以根據(jù)校正了相對抖動后的第1圖像與第2圖像的位置，采用[緊鄰的左上]、[緊鄰的右上]、[緊鄰的左下]、[緊鄰的右下]中的任意形式。
并且，在圖8中表示在水平傳輸CCD 30內將第1圖像和第2圖像合成的情況，但是也可以通過向垂直傳輸CCD 29傳輸水平傳輸CCD 30內的第2圖像，在垂直傳輸CCD 29內將第1圖像和第2圖像合成。但是，該情況下，在合成第1圖像和第2圖像之后，有必要把該合成圖像再次傳輸?shù)浇缘乃絺鬏擟CD 30。
反復進行以上的動作，直至規(guī)定次數(shù)的分時拍攝結束。這樣所得到的合成圖像，最終成為校正了抖動的合適級別的圖像。
并且，進行抖動校正時，在垂直傳輸CCD 29以及水平傳輸CCD 30中所積蓄的電荷，對應于抖動被上下左右移動。于是，到達水平傳輸CCD30的兩端部的電荷，通過電荷排出用漏區(qū)31被排出至傳輸路徑外。這里圖9是表示電荷排出用漏區(qū)31的結構例的圖。
該圖9所示的結構例中，首先，在n型基板(例如，n型硅基板)41的表面部分，向著表面?zhèn)纫来涡纬蓀型擴散區(qū)域(p-well，p阱)42和n-擴散區(qū)域43。并且，與作為水平傳輸CCD 30的端部的傳輸電極30a下面的勢阱(n-擴散區(qū)域43)相鄰，形成n+擴散區(qū)域的漏區(qū)31。于是，到達端部的傳輸電極30a的電荷，通過該n+擴散區(qū)域的漏區(qū)31被排出。
另一方面，傳輸?shù)酱怪眰鬏擟CD 29的攝像部1a側的端部的電荷，如果采用與圖9同樣結構的漏區(qū)來排出，則來自攝像部1a的電荷不被傳輸。因此，在垂直傳輸CCD 29的攝像部1a側的端部，構成如圖10所示的電荷排出用漏區(qū)32。這里圖10是表示電荷排出用漏區(qū)32的結構例的圖。即，與垂直傳輸CCD 29的攝像部1a側的端部的傳輸電極29a相鄰，設置柵極34，在夾著該柵極34的、傳輸電極29a的相反側的位置上設置作為n+擴散區(qū)域的電荷排出用漏區(qū)32。于是，傳輸?shù)酱怪眰鬏擟CD 29的攝像部1a側的端部的電荷，通過柵極34，選擇性地向電荷排出用漏區(qū)32排出。
即，在將來自攝像部1a的電荷傳輸?shù)椒e蓄部1b時，對柵極34施加低電壓。由此，防止在垂直傳輸CCD 29中傳輸?shù)碾姾?，向電荷排出用漏區(qū)32排出。另一方面，在積蓄部1b中所積蓄的電荷為了校正抖動而在垂直傳輸CCD 29內傳輸時，通過對柵極34施加高電壓，傳輸?shù)酱怪眰鬏擟CD 29的攝像部1a側的端部的電荷向電荷排出用漏區(qū)32排出。并且，到達垂直傳輸CCD 29的讀出用水平傳輸CCD 33側的端部的電荷，通過該讀出用水平傳輸CCD 33被排出。
通過這樣的結構以及作用，能夠防止在垂直傳輸CCD 29以及水平傳輸CCD 30中電荷溢出。
并且，上述這樣的結構例中，在為了抖動校正而傳輸電荷時，向電荷排出用漏區(qū)32排出垂直傳輸CCD 29的攝像部1a側的端部的電荷。但是，也可以取代這種方式，在為了抖動校正而傳輸電荷時，同時驅動垂直傳輸CCD 28，通過將到達垂直傳輸CCD 29的上端部的電荷傳輸(排出)到該垂直傳輸CCD 28，防止電荷溢出。因此，該情況下，只要將排出到垂直傳輸CCD 28的電荷，經(jīng)垂直傳輸CCD 29(進行第1圖像與第2圖像的合成并積蓄在水平傳輸CCD 30中，沒有保持電荷狀態(tài)下的垂直傳輸CCD 29)以及讀出用水平傳輸CCD 33排出，之后進行下次的分時拍攝即可。
如上所述當規(guī)定次數(shù)的抖動校正以及合成的動作結束時，在水平傳輸CCD 30中所保存的圖像傳輸?shù)酱怪眰鬏擟CD 29后，經(jīng)垂直傳輸CCD29和讀出用水平傳輸CCD 33從攝像元件1讀出到外部。
接著，圖11是表示通過數(shù)字照相機拍攝并記錄圖像時的處理的流程圖。
當數(shù)字照相機的電源被接通(例如，更換電池等)，或者，操作了未圖示的動作開始開關(例如，電源開關)時，該數(shù)字照相機的動作開始。
開始處理時，進行規(guī)定的初期值設定等后，首先，判斷是否通過攝影者的快門釋放操作而使第1快門釋放開關18a變成閉上狀態(tài)(步驟S101)。
這里，在第1快門釋放開關18a未閉上的情況下，分路至J101，同樣反復進行第1快門釋放開關18a的檢測。但是，實際上，在J101與步驟S101之間，進行顯示或進行檢測其它未圖示的鍵輸入狀態(tài)的動作等，但對于這樣一般的動作在以下也適當省略說明。
當在步驟S101中檢測出第1快門釋放開關18a為閉上的情況下，接著計算抖動極限曝光時間TLimit(步驟S102)。該抖動極限曝光時間TLimit為從曝光開始的抖動量到達允許的極限的抖動量的推測時間。
這里，關于抖動極限曝光時間TLimit進行說明。在35mm膠卷照相機中，作為有關縱24mm×橫36mm(對角43.28mm)的所謂萊卡膠卷規(guī)格幀(別稱雙幀)照相機的長年的經(jīng)驗原則，已知設毫米單位的攝影鏡頭的焦距為f時，抖動極限曝光時間TLimit為TLimit1/f(秒)。本實施方式中，在考慮數(shù)字照相機的攝像元件1的有效攝像區(qū)域內設定的攝影圖框的大小的基礎上，應用該經(jīng)驗原則。另外，抖動極限曝光時間TLimit并不需要一定采用基于1/f而給定的值，總之，只要采用實質上不發(fā)生抖動的曝光時間即可。因此，概略地說，抖動極限曝光時間TLimit也可以比基于1/f而給定的曝光時間短。
接著，對被攝物體的亮度進行測光(步驟S103)。該測光是監(jiān)視從攝像元件1反復輸出的圖像信號的電平，計算被攝物體的亮度。即，從攝像元件1讀出的圖像信號，通過CDS 2被處理，通過增益控制放大器3放大后，通過A/D轉換器4轉換為數(shù)字值，經(jīng)過信息處理部8臨時存儲在DRAM 9中。通過CPU 7讀出存儲在該DRAM 9中的圖像信號內在圖像整體中的比如中央部附近的規(guī)定區(qū)域的圖像信號，求出其電平的相加平均值。然后，CPU 7基于求得的相加平均值計算被攝物體的亮度(Bv)。
接著，CPU 7計算用于得到適當曝光所需的快門速度值(曝光時間)TExp和光圈17的光圈值，并且基于計算結果通過光圈驅動系統(tǒng)16進行光圈17的光圈設定(步驟S104)。這里，若假設分時拍攝的曝光時間為ΔTExp，分時拍攝的次數(shù)為m，則所述曝光時間TExp滿足TExp＝m×ΔTExp的關系。
接著，判斷第2快門釋放開關18b是否閉上(步驟S105)。這里，在第2快門釋放開關18b未閉上的情況下，只有當?shù)?快門釋放開關18a閉上時，分路至J102，一邊重復進行所述步驟S102～S105的處理，一邊待機，等待該第2快門釋放開關18b閉上。
這樣，在步驟S105中判斷為第2快門釋放開關18b閉上的情況下，判斷曝光時間TExp是否比抖動極限曝光時間TLimit短(步驟S106)。
在該步驟S106中判斷為不是TExp＜TLimit的情況下，接著在用于存儲分時拍攝的曝光時間ΔTExp的存儲器中存儲將曝光時間TExp除以分時拍攝的次數(shù)m得到的值(步驟S107)。并且，〔〕表示存儲括號內的數(shù)據(jù)的存儲器。因此，〔ΔTExp〕表示存儲括號內的變量ΔTExp的存儲器。
接著，在存儲分時拍攝實際進行的次數(shù)n的存儲器〔n〕中，存儲初期值“0”(步驟S108)。這里，作為所述分時拍攝的曝光時間ΔTExp，有采用所述抖動極限曝光時間TLimit的方法和采用將所述步驟S103中計算的曝光時間Texp除以預先決定的分時拍攝的次數(shù)m得到的曝光時間的方法。采用抖動極限曝光時間TLimit作為分時拍攝的曝光時間ΔTExp的方法，優(yōu)點在于能夠確實地校正抖動，但隨著曝光時間TExp變長分時拍攝的次數(shù)就會增加。如果分時拍攝的次數(shù)增加，則每一次的分時拍攝所得到的信號量變小，因此有可能S/N(信噪比)會變低。并且，根據(jù)分時拍攝的次數(shù)，需要調整光電二極管的飽和信號量，使得攝像元件的結構復雜化。因此，分時拍攝的次數(shù)m的種類最好盡可能少。所以本實施方式中，分時拍攝的次數(shù)m只設為1種。于是設為分時拍攝的曝光時間采用將曝光時間Texp除以m得到的值。
接著，開始曝光(步驟S109)。從即將開始曝光之前開始，向攝像元件1反復施加用于將積蓄在光電二極管27內的電荷向半導體基板(基板＝縱形溢流漏區(qū)VOFD)強制排出的攝像元件1的基板施加高電壓脈沖VSUB，該高電壓脈沖VSUB的施加結束并且VSUB的值被設定為與所述分時拍攝的次數(shù)m對應的值的時刻，為該步驟S109的曝光開始的時刻。
接著，判斷1次的分時拍攝是否結束(步驟S110)。這里，分支到J103并待機，等待分時拍攝的結束，直至判斷為1次的分時拍攝已經(jīng)結束。
這樣，在步驟S110中判斷為1次的分時拍攝已經(jīng)結束的情況下，通過向攝像元件1的光電二極管27和垂直傳輸CCD 28之間所配置的傳輸柵極施加高電壓傳輸脈沖，將積蓄在光電二極管27中的電荷向攝像部1a的垂直傳輸CCD 28移動。移動到該垂直傳輸CCD 28的電荷，之后被傳輸?shù)椒e蓄部1b的垂直傳輸CCD 29。
然后，進行像素值合成的處理(步驟S111)。該像素值合成中，通過分時拍攝得到的垂直傳輸CCD 29內的第1圖像和水平傳輸CCD 30內所保持的第2圖像，如參照圖3～圖8說明的那樣，根據(jù)基于角速度傳感器19、20的輸出信號所計算的X方向以及Y方向的抖動量，在各傳輸CCD29、30內移動，進行校正以消除了抖動之后，進行合成處理。該像素值合成處理，通常比分時拍攝的曝光時間ΔTExp更加高速地進行。
接著，在存儲已經(jīng)執(zhí)行的分時拍攝的次數(shù)n的存儲器〔n〕中，存儲n+1(步驟S112)。
然后，判斷已經(jīng)執(zhí)行的分時拍攝的次數(shù)n是否等于所設定的分時拍攝的次數(shù)m(步驟S113)。
這里，還未達到n＝m的情況下，分支到J103，按照上述那樣反復進行分時拍攝的處理和像素值合成的處理。
此外，在步驟S113中判斷為n＝m的情況下，分支到J104，將存儲在水平傳輸CCD 30中的合成圖像傳輸?shù)酱怪眰鬏擟CD 29之后，進行后述步驟S117的讀出處理。
另一方面，在上述步驟S106中判斷為TExp＜TLimit的情況下，即使不進行分時拍攝實質上也不發(fā)生抖動。因此，此時在存儲器〔ΔTExp〕中存儲曝光時間TExp(步驟S114)。
接著，開始曝光(步驟S115)，判斷曝光時間是否達到存儲器〔ΔTExp〕中存儲的曝光時間ΔTExp。然后，判斷為已達到曝光時間ΔTExp的情況下，通過將通過光電二極管27生成的電荷移動到垂直傳輸CCD28，結束曝光(步驟S116)。該曝光結束后，攝像部1a中的垂直傳輸CCD28的電荷，傳輸?shù)椒e蓄部1b的垂直傳輸CCD 29。另一方面，反復進行所述判斷，直至達到曝光時間ΔTExp。
這樣，在曝光時間TExp比抖動極限曝光時間TLimit短時，不進行分時拍攝，與以往的攝影同樣通過1次拍攝輸出無抖動的圖像，因此在使處理變得簡單的同時，能夠防止伴隨抖動校正的不必要的耗電。
在該步驟S116中判斷為曝光結束，或者在步驟S113中判斷為n＝m的情況下，拍攝的圖像經(jīng)垂直傳輸CCD 29以及讀出用水平傳輸CCD 33，從該攝像元件1讀出到外部(步驟S117)。
這樣從攝像元件1讀出的圖像信號，通過CDS 2進行處理，通過增益控制放大器(AMP)3放大后，由A/D轉換器4轉換為數(shù)字信號(步驟S118)。
之后，在將圖像信號數(shù)字化得到的圖像數(shù)據(jù)存儲在緩沖存儲器8a中后，通過信息處理部8實施規(guī)定的信號處理(步驟S119)。
在通過該信息處理部8進行的信號處理中，還包括從攝像元件1所輸出的圖像數(shù)據(jù)中，提取出被視為有效地進行了抖動校正的區(qū)域的圖像的處理。即，信息處理部8還具有作為有效區(qū)域提取部的功能。
接著，通過信息處理部8進行了信號處理后的圖像數(shù)據(jù)，臨時存儲在DRAM 9中(步驟S120)。
之后，通過壓縮解壓縮部10對在DRAM 9中存儲的圖像數(shù)據(jù)進行圖像壓縮(步驟S121)，把被壓縮的圖像數(shù)據(jù)記錄在記錄介質11中(步驟S122)，結束該處理。
根據(jù)這樣的實施方式1，在照原樣繼承了以往的幀行間轉移(FrameInterline Transfer)型CCD的攝像部的特性的同時，還能夠構成作為具有能夠生成已校正抖動的圖像的攝像元件的電子攝像裝置的數(shù)字照相機(應用電子式抖動校正裝置的數(shù)字照相機)。
并且，把積蓄部的垂直傳輸CCD(第2傳輸路徑)兼用于抖動校正用的傳輸路徑，因此在以往型的幀行間轉移型CCD的積蓄部，只需新設置用于校正圖像的水平方向抖動成分的水平傳輸CCD(第3傳輸路徑)即可，結構比較簡單。
并且，因為預先決定分時拍攝的次數(shù)，與使分時拍攝的次數(shù)對應于曝光時間適應性地變化相比，能夠使攝像元件的結構簡單。
而且，曝光時間比抖動極限曝光時間短時，不進行分時拍攝，只進行一次的普通曝光，因此處理變得簡單，同時能夠防止伴隨抖動校正的不必要的耗電。
并且，因為設有電荷排出用漏區(qū)32，所以能夠防止為了校正抖動而在積蓄部的垂直傳輸CCD(第2傳輸路徑)內移動(傳輸)的電荷侵入攝像部。
并且，本發(fā)明不限于上述實施方式，在不脫離發(fā)明宗旨的范圍內當然能夠進行各種的變形和應用。
本發(fā)明能夠合適地利用于對圖像抖動進行電子式校正的電子式抖動校正裝置。
權利要求
1.一種電子式抖動校正裝置，具有如下的攝像元件可在攝像元件內校正通過分時拍攝得到的多個圖像的相互抖動，輸出已校正了抖動的圖像，其特征在于，所述電子式抖動校正裝置具有攝像部，其接收被攝物體光，生成圖像信號；積蓄部，其對所述攝像部拍攝的圖像進行幀傳輸并積蓄；第1傳輸寄存器，其設置在所述積蓄部，存儲所述攝像部拍攝的第1圖像；第2傳輸寄存器，其設置在所述積蓄部，配置成與所述第1傳輸寄存器交叉，并且存儲所述攝像部拍攝的第2圖像；抖動檢測部，其檢測所述第1圖像與所述第2圖像的相對抖動；傳輸控制部，其根據(jù)通過上述抖動檢測部檢測出的圖像的抖動，進行控制使所述第1圖像和所述第2圖像分別在所述第1傳輸寄存器內和所述第2傳輸寄存器內傳輸，以便校正所述第1圖像與所述第2圖像的相對抖動；圖像合成部，其生成將根據(jù)所述傳輸控制部的控制而被傳輸?shù)乃龅?圖像和所述第2圖像合成得到的合成圖像；以及控制部，其控制所述攝像部、所述積蓄部、所述傳輸控制部以及所述圖像合成部，反復執(zhí)行將所述第1圖像與所述第2圖像合成的動作。
2.根據(jù)權利要求1所述的電子式抖動校正裝置，其特征在于，所述攝像部具有幀行間轉移型的光電轉換部；以及圖像傳輸部，其將由該光電轉換部生成的電荷傳輸?shù)皆O置在所述積蓄部的所述第1傳輸寄存器，所述第2傳輸寄存器通過所述第1傳輸寄存器存儲所述第2圖像。
3.根據(jù)權利要求1所述的電子式抖動校正裝置，其特征在于，還具有曝光時間計算部，其計算所述合成圖像的曝光時間，所述控制部進行控制使得所述第1圖像的曝光時間為將所述合成圖像的曝光時間除以預先決定的分時拍攝的次數(shù)而得到的值。
4.根據(jù)權利要求3所述的電子式抖動校正裝置，其特征在于，所述控制部進行控制，使得當所述合成圖像的曝光時間比被預先設定成使抖動量成為能夠允許的值的預定抖動極限曝光時間短時，只進行1次基于所述合成圖像的曝光時間的攝像，經(jīng)所述第1傳輸寄存器從攝像元件讀出攝像得到的圖像。
5.根據(jù)權利要求1所述的電子式抖動校正裝置，其特征在于，還具有電荷排出部，其用于把傳輸?shù)剿龇e蓄部的第1傳輸寄存器或所述第2傳輸寄存器的端部的電荷排出到外部。
全文摘要
電子式抖動校正裝置。本發(fā)明的課題是，提供一種電子式抖動校正裝置，能夠在抑制成本上升的同時，得到進行了校正抖動的高畫質的圖像。作為解決手段，包括有固體攝像元件(1)的電子式抖動校正裝置具有攝像部(1a)和積蓄部(1b)，攝像部(1a)具有光電二極管(27)以及垂直傳輸CCD(28)，積蓄部(1b)具有垂直傳輸CCD(29)以及水平傳輸CCD(30)，從攝像部(1a)傳輸?shù)牡?圖像積蓄在垂直傳輸CCD(29)中，通過在垂直傳輸CCD(29)內移動第1圖像，在水平傳輸CCD(30)內移動第2圖像，來校正該第1圖像與水平傳輸CCD(30)中已經(jīng)積蓄的第2圖像的相對抖動，之后將這些圖像合成，作為新的第2圖像積蓄在水平傳輸CCD(30)中。
文檔編號H04N5/369GK1984255SQ20061010909
公開日2007年6月20日 申請日期2006年7月28日 優(yōu)先權日2005年7月29日
發(fā)明者山崎正文 申請人:奧林巴斯映像株式會社, 奧林巴斯株式會社