專利名稱：攝像裝置、攝像方法
技術領域：
本發(fā)明涉及采用了固體攝像元件的攝像裝置，特別涉及攝像裝置中的手抖動校正。
背景技術：
以往，作為攝像裝置，已知有電視攝像機(Video camera)、監(jiān)視攝像機、工業(yè)用攝像機等。近年來，便攜式電話機及個人數(shù)字代理(PDA)等也日益普及，市場強烈希望這些小型便攜設備也具備以進行攝像為目的的攝像功能。
作為小型便攜設備的使用形態(tài)，手提移動、在手持的狀態(tài)下進行攝像的情況較多。在此情況下，成問題的是手抖動。所謂手抖動，是指在手持來進行攝像時，由于手顫抖，而攝像也上下左右小幅度顫抖。校正該手抖動對小型便攜設備很重要。
在將CCD傳感器作為攝像元件的攝像裝置中進行手抖動校正的情況下的結構示于圖1。
該攝像裝置包括CCD傳感器61，像素數(shù)比圖像的像素數(shù)大；A/D變換器62，將來自CCD傳感器61的模擬信號67變換為數(shù)字信號68；信號處理部63，由數(shù)字信號68生成YUV輸出；存儲器64，存儲YUV輸出68；以及存儲器控制部65，將來自移動檢測電路66的水平移動量73及垂直移動量72作為輸入來讀出存儲器64中記錄的YUV輸出70，作為數(shù)字輸出71。
從CCD傳感器61讀出的模擬信號67由A/D變換器62變換為數(shù)字信號68。信號處理部63由該數(shù)字信號68來生成YUV輸出69，向存儲器64中寫入拍攝到的圖像。接著，存儲器控制部65從存儲器64內(nèi)的圖像中切下應輸出的像素數(shù)的圖像，并作為數(shù)字輸出71來輸出。攝像裝置重復此來進行攝像。在由于手抖動等而使傳感器移動了的情況下，拍攝到從前一幀圖像沿水平、垂直方向移動了的圖像，這就是手抖動。此時的校正的過程示于圖2。移動檢測電路66以幀為周期來檢測水平移動量73、垂直移動量72。在該圖中，假設攝像尺寸a1中的上次的輸出圖像幀f1中的被攝體P1在本次的攝像中偏移到了被攝體P2的位置。在此情況下，存儲器控制部71將從前一幀f1偏移了水平移動量的位置設定為輸出圖像f2的水平讀出開始位置，同時將從前一幀f1偏移了垂直移動量的位置設定為垂直讀出位置。通過從該位置讀出輸出圖像f2而實現(xiàn)了手抖動校正。
能夠進行這種校正，是因為CCD傳感器在每個垂直周期打開快門。即，在1幀圖像內(nèi)的所有像素間，存儲時間、讀出期間沒有時間差，不發(fā)生1幀內(nèi)的圖像失真。由于在1幀內(nèi)不發(fā)生圖像失真，所以能夠校正幀間的圖像的偏移，即在幀間進行手抖動校正。
除了這種校正之外，還提出了光學校正方式。通過按幀周期來監(jiān)視來自移動檢測電路的水平移動距離、垂直移動距離，按照移動距離來移動透鏡，使成像到傳感器上的位置固定，而實現(xiàn)了手抖動校正(例如參照專利文獻1)。
雖然實現(xiàn)了這種手抖動校正，但是要將CCD傳感器導入到小型便攜設備則有難點。CCD傳感器的電源為多電源驅(qū)動。即，需要+15V、+9V、-9V等正負多個電源；相反，MOS型傳感器能夠進行2.8V單一驅(qū)動，能夠比CCD降低功耗。此外，由于電源結構比CCD傳感器簡單，所以電源電路數(shù)很少即可，適合小型便攜設備。因此，小型便攜設備選擇MOS型傳感器的情況增加。
專利文獻1(日本)特開2000-147586號公報。
然而，根據(jù)現(xiàn)有的手抖動校正技術，有不能校正MOS型傳感器產(chǎn)生的1幀內(nèi)的圖像失真的問題。
圖3A、圖3B示出MOS型傳感器和CCD傳感器的快門的差異。MOS型傳感器如圖3A所示，對每行打開快門，對每1行依次進行讀出。CCD傳感器如圖3B所示，對所有像素同時打開快門，對垂直CCD進行讀出。
因此，MOS型傳感器對每個水平行產(chǎn)生了時間差，所以在沿水平方向移動了傳感器的情況下攝像沿斜向產(chǎn)生失真(參照被攝體P13、P14)；而在上下方向移動的情況下，攝像上下伸縮而產(chǎn)生圖像失真。CCD傳感器不產(chǎn)生這種圖像失真。這樣，對于MOS傳感器，用現(xiàn)有的手抖動校正不能校正幀內(nèi)的圖像失真。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供以很少的電路規(guī)模來校正MOS型傳感器產(chǎn)生的幀內(nèi)的圖像失真的攝像裝置。
為了解決上述課題，本發(fā)明的攝像裝置包括MOS型傳感器，具有由排列成多行的多個像素部組成的受光面；檢測單元，檢測從上述MOS型傳感器中按照水平周期讀出的每個上述行的映像中的、與至少2行對應的映像的水平移動量；決定單元，按照上述水平移動量來決定上述多行中的至少1行的應作為行中的起始像素的起始位置；以及水平校正單元，根據(jù)決定出的起始位置來生成校正圖像。
這里，上述檢測單元可以檢測與上述多行中的所有相鄰2行對應的映像的上述水平移動量。此外，上述決定單元可以按照上述水平移動量，來決定上述至少2行中的至少1行的上述起始位置。再者，上述決定單元可以按照上述水平移動量，來決定上述相鄰2行中的后讀出的行的上述起始位置。
根據(jù)該結構，能夠校正MOS型傳感器產(chǎn)生的幀內(nèi)的圖像失真特別是水平方向的失真。而且能夠用電路規(guī)模、元件個數(shù)少的結構來實現(xiàn)校正。
這里，上述檢測單元可以包括加速度傳感器，根據(jù)本攝像裝置的移動來檢測加速度；和計算單元，根據(jù)檢測出的加速度來計算上述水平移動量。
根據(jù)該結構，能夠用已有的角速度傳感器等加速度傳感器來簡單地檢測水平移動量。
這里，可以采用下述結構上述加速度傳感器在每1個水平期間檢測上述加速度，上述計算單元計算1個水平期間中的水平移動量；上述水平校正單元包括讀出單元，從決定單元決定出的起始位置起，從上述MOS型傳感器中讀出與水平像素數(shù)相應數(shù)量的像素信號。
根據(jù)該結構，能夠從決定起始位置起讀出與圖像所需的水平像素數(shù)相應的像素信號，能夠與行讀出同時進行水平方向的校正。
這里，可以采用下述結構上述決定單元將上述起始位置決定到子像素位置；上述水平校正單元還包括水平內(nèi)插單元，對由讀出單元讀出的行內(nèi)的像素串，通過像素內(nèi)插來校正到上述子像素位置。
根據(jù)該結構，除了以水平方向的像素間距為單位來校正起始位置之外，還能夠以子像素單位來進行校正。
這里，可以采用下述結構上述攝像裝置還包括存儲單元，存儲來自MOS型攝像傳感器的幀圖像；上述水平校正單元對上述存儲單元中存儲的幀圖像，校正上述起始位置。
根據(jù)該結構，由于向存儲單元中暫時存儲了幀圖像后進行校正，所以能夠采用已有的MOS型傳感器。
這里，可以采用下述結構上述檢測單元還檢測上述映像的垂直移動量；上述攝像裝置還包括垂直校正單元，按照檢測出的垂直移動量，來校正攝像單元拍攝到的圖像的垂直方向的伸縮失真。
根據(jù)該結構，不僅能夠校正幀內(nèi)的水平方向的圖像失真，還能夠校正沿垂直方向伸縮的圖像失真。
這里，可以采用下述結構上述垂直校正單元包括行緩沖器，保持從上述MOS型傳感器中讀出的多行像素信號；決定單元，按照由檢測單元檢測出的垂直移動量，對每行決定校正行位置；以及垂直內(nèi)插單元，用行緩沖器中保持的行的像素信號、和從上述MOS型傳感器中讀出的像素信號，通過行間的像素內(nèi)插來計算校正行位置上的像素信號。
根據(jù)該結構，無需包括存儲1幀圖像的存儲器，只要包括保持3行左右的多行的行緩沖器以供作業(yè)用即可，能夠用更少的電路規(guī)模來實現(xiàn)水平方向及垂直方向的幀內(nèi)圖像失真。
這里，可以采用下述結構上述檢測單元還檢測存儲單元中存儲的2個幀圖像間的位置偏移量；上述水平校正單元及垂直移動單元按照上述位置偏移量來校正幀間校正。
根據(jù)該結構，通過將加上了水平方向的位置偏移量的值用作水平移動量，將加上了垂直方向的位置偏移量的值用作垂直移動量，能夠在幀內(nèi)的校正處理中也同時校正幀間的位置偏移。
發(fā)明效果根據(jù)本發(fā)明的攝像裝置，能夠用電路規(guī)模、元件個數(shù)少的結構來實現(xiàn)現(xiàn)有MOS型傳感器的缺點——幀內(nèi)的圖像失真校正。
此外，不用增加元件個數(shù)，就能夠構成可同時實現(xiàn)圖像失真校正和手抖動校正的攝像裝置。
此外，即使采用現(xiàn)有型的MOS型傳感器，也能夠與圖像失真校正同時實現(xiàn)手抖動校正。


圖1是在將CCD傳感器作為攝像元件的攝像裝置中進行手抖動校正的情況下的結構圖。
圖2是現(xiàn)有技術的手抖動校正的過程的說明圖。
圖3A是MOS型傳感器的快門動作的說明圖。
圖3B是CCD傳感器的快門動作的說明圖。
圖4是本發(fā)明實施方式1的MOS型攝像裝置的結構的框圖。
圖5A是水平校正的說明圖。
圖5B是垂直校正的說明圖。
圖6是水平用角速度傳感器、垂直用角速度傳感器以及受光面之間的位置關系的圖。
圖7A是水平移動量的計算方法的說明圖。
圖7B是垂直移動量的計算方法的說明圖。
圖8是1幀圖像的攝像中的圖像失真的校正處理的流程圖。
圖9A是應作為行內(nèi)的起點的像素的起始位置的說明圖。
圖9B是應作為行內(nèi)的起點的像素的起始位置的說明圖。
圖10A示出以子像素單位的像素位置校正處理的說明圖。
圖10B示出校正部中的進行線性內(nèi)插的電路例。
圖11是垂直校正處理的詳細流程圖。
圖12A示出垂直校正處理的說明圖。
圖12B示出垂直校正處理的說明圖。
圖13A示出垂直校正處理的說明圖。
圖13B示出垂直校正處理的說明圖。
圖14A是對黑白圖像進行的垂直校正處理的說明圖。
圖14B是對黑白圖像進行的垂直校正處理的說明圖。
圖14C是對黑白圖像進行的垂直校正處理的說明圖。
圖15A是對彩色圖像進行的垂直校正處理的說明圖。
圖15B是對彩色圖像進行的垂直校正處理的說明圖。
圖15C是對彩色圖像進行的垂直校正處理的說明圖。
圖16是本發(fā)明實施方式2的攝像裝置的結構的框圖。
圖17(a)～(c)是幀內(nèi)校正處理及幀間校正處理的說明圖。
具體實施例方式
(實施方式1)<攝像裝置的結構>
圖4是本發(fā)明實施方式1的MOS型攝像裝置的結構的框圖。該攝像裝置包括校正部10、受光面12、水平驅(qū)動部13、垂直驅(qū)動部14、A/D變換器15、信號處理部16、運算部17、角速度傳感器18以及角速度傳感器19。
校正部10進行校正1幀內(nèi)產(chǎn)生的水平方向的圖像失真的水平校正和校正垂直方向的圖像失真的垂直校正。用圖5A、圖5B來說明圖像失真的校正。
圖5A是水平校正的說明圖。如該圖上部所示，幀圖像f10的圖像尺寸小于受光面12的攝像區(qū)域m1。被攝體P13本來是長方體，但是由于本攝像裝置在攝像時向左移動，所以傾斜而產(chǎn)生了水平方向的圖像失真(參照圖3A)。如圖5A中部的幀圖像f10a所示，校正部10及水平驅(qū)動部13為了消除水平方向的圖像失真，按照水平移動量對每行調(diào)整應作為行的起始像素的起始位置，從調(diào)整后的起始位置起讀出與水平像素數(shù)相應的像素信號。此時，水平驅(qū)動部13以像素單位來調(diào)整起始位置，進而校正部10通過進行像素間內(nèi)插而以比像素小的子像素單位來調(diào)整起始位置。其結果是，如圖5A下部所示，幀圖像f10b被校正了水平方向的圖像失真。
圖5B是垂直校正的說明圖。如圖5B上部所示，由于本攝像裝置在攝像時向上移動，所以被攝體P11產(chǎn)生了垂直方向伸長了的圖像失真(參照圖3A)。如圖5B中部的幀圖像f20a所示，校正部10具有保持多個行(例如3行左右)的像素值的行緩沖器，為了消除垂直方向的圖像失真，按照垂直移動量用下方比幀圖像f20長的幀圖像f20a沿垂直方向校正行位置。即，由幀圖像f20的攝像圖像，通過行間的像素內(nèi)插，來校正行位置及行數(shù)，使其變?yōu)榕c幀f20相同的行數(shù)。其結果是，如圖5B下部所示，幀圖像f20b被校正了垂直方向的圖像失真。
受光面12、水平驅(qū)動部13、垂直驅(qū)動部14構成MOS型圖像傳感器。受光面12具有圖5A、圖5B所示的攝像區(qū)域m1。水平驅(qū)動部13從幀圖像f10a、f20a的行中同時讀出與水平像素數(shù)相應的像素信號，將各像素信號作為模擬信號20來依次輸出。此時，水平驅(qū)動部13按照從運算部17輸出的水平移動量，以像素單位來調(diào)整各行中的讀出起始位置。垂直驅(qū)動部14在每個水平周期選擇幀圖像f10a、f20a的1行。此時，垂直驅(qū)動部14按照從運算部17輸出的水平移動量，來調(diào)整要選擇的行數(shù)。
A/D變換器15將水平驅(qū)動部13的驅(qū)動及水平校正過的模擬信號20變換為數(shù)字信號21，將數(shù)字信號21輸出到校正部10。
信號處理部16由用RGB來表現(xiàn)的數(shù)字信號21來生成YUV輸出信號22。
角速度傳感器18如圖6所示，被設置在受光面12的垂直方向的中心線上，檢測受光面12的水平方向的角加速度。角速度傳感器19如圖6所示，被設置在受光面12的水平方向的中心線上，檢測受光面12的垂直方向的角加速度。也可以采用用加速度傳感器來取代角加速度傳感器18、19的結構。
運算部17根據(jù)從角速度傳感器18及角速度傳感器19輸出的角速度，在每個水平周期計算水平方向及垂直方向的移動量。
圖7A是運算部17中的水平移動量的計算方法的說明圖。如圖7A所示，假設受光面12和透鏡101被配置成相隔透鏡101的焦距f。運算部17通過在1個水平周期的期間內(nèi)對由角加速度傳感器18檢測出的角加速度ωx進行積分來計算旋轉(zhuǎn)角Θx。進而，運算部17計算受光面12的映像在1個水平周期中的水平移動量f·tan(Θx)。圖7B是運算部17中的垂直移動量計算方法的說明圖。與圖7A同樣，運算部17計算1個水平周期中的垂直移動量f·tan(Θy)。
<校正處理>
圖8是示出1幀圖像的攝像中的圖像失真的校正處理的流程圖。在該圖中，循環(huán)1(S501～S510)示出讀出第i行(以下稱為行i)時的水平校正及垂直校正。首先，運算部17檢測1個水平周期中的水平移動量Mhi及垂直移動量Mvi(S502、S503)。其中，在幀圖像的第一行(行1)中，水平移動量及垂直移動量是0。此外，水平移動量Mhi及垂直移動量Mvi以像素間距或行距為單位。即，如果水平移動量Mhi是1.00，則表示移動了1個像素間距；如果是0.75，則表示移動了3/4個像素間距。如果垂直移動量是0.5，則表示移動了1/2個行距。
接著，水平驅(qū)動部13根據(jù)水平移動量Mhi來決定行i的讀出開始位置(起始位置)(S504)。
幀圖像是黑白的情況下的水平驅(qū)動部13決定的起始位置的說明圖示于圖9A。水平驅(qū)動部13將第一水平行1的起始位置設為某個固定的位置S0。將水平行2的讀出開始位置S1決定為從S0移位了水平移動量M1的位置(S1＝S0+M1)。這里，M1是水平移動量Mh1的整數(shù)部分，將向左移動作為正。同樣，重復應輸出的行數(shù)次來決定起始位置S2、S3…。以下，將以上的讀出方法稱為水平移位讀出。在水平移位讀出中進行像素單位(以像素間距為單位)的水平校正。
此外，幀圖像是彩色的情況下的水平驅(qū)動部13決定的起始位置的說明圖示于圖9B。在黑白的情況下將移位量設為最小1個像素，而在彩色的情況下，由于在后級生成YUV信號時需要水平2個像素、垂直2個像素的4個像素，所以移位量的最小單位為2個像素(YUV信號中的1個像素)，這一點不同。在圖9B中示出了RGB的情況，但是在補色濾色鏡及其他濾色鏡的情況下也同樣。
接著，水平驅(qū)動部13從決定出的起始位置起，從行i讀出與幀圖像的水平像素數(shù)相應的像素信號(S505)。讀出的像素信號經(jīng)A/D變換器5保持到校正部10內(nèi)的行緩沖器中。校正部10對行緩沖器中保持的1行(幀圖像的一行)像素信號，根據(jù)水平移動量Mhi的小數(shù)部分來進行比像素間距小的子像素單位的像素位置校正處理(S506)。圖10A示出子像素單位的像素位置校正處理的說明圖。在圖10A中設水平移動量Mhi的小數(shù)部分為α。像素P1、P2…表示行緩沖器中保持的像素。此外，設校正后的像素為Q1、Q2…。在此情況下，校正部10判斷像素Q1的位置是像素P1-Q1和Q1-P2的距離比為α比(1-α)的位置。進而，校正部10通過將該距離比的反比作為權重在像素P1和P2之間進行線性內(nèi)插來計算像素Q1的值。即，計算像素Q1＝(1-α)·P1+α·P2。對像素Q2、Q3…也同樣。圖10B示出校正部10中的進行線性內(nèi)插的電路例。這樣，校正部10以子像素單位來校正水平方向的像素位置。校正后的行i的各像素值Qj(j為1至水平像素數(shù))被保持到行緩沖器中。
此后，校正部10按照垂直移動量Mvi，來進行校正垂直方向的伸縮的垂直校正處理(S508)。具體地說，校正部10用行緩沖器中保持的行(i-1)或行(i+1)的像素信號Qj、和行i的像素信號Qj，通過行間的像素內(nèi)插來計算與垂直移動量Mvi相應的行位置上的像素信號。
圖12A示出垂直校正處理的說明圖。在圖12A中，橫向?qū)趫D像的垂直方向，白圈表示行1、2、…的各起始像素Q1(稱為原像素)。黑圈(帶陰影的圓圈)表示垂直校正后的行位置上的內(nèi)插后的像素(稱為內(nèi)插像素)。在該圖中示出了Mv1為-0.25的情況(讀出行1后直至讀出行2時向下移動了1/4個像素的情況)。在此情況下，原像素行1和行2的行距是1，而內(nèi)插后的行1和行2的行距變?yōu)?/4。在此情況下，校正部10判斷應內(nèi)插的行2的行位置是原像素的行2和行3間距離比為1/4比3/4的位置。進而，校正部10通過將距離比的反比作為加權系數(shù)在原像素行2和原像素行3之間對應的像素之間進行線性內(nèi)插，來計算內(nèi)插行2的各像素值。如圖12A所示，此情況下的加權系數(shù)為3/4和1/4。這樣，在攝像裝置向下移動了的情況下，伸長圖像，以便消除縮小的垂直圖像失真。此外，圖12B是Mv1為-1/n的情況下的說明圖。在此情況下，原像素行2和原像素行3間線性內(nèi)插所用的加權系數(shù)為1/n和(1-1/n)。
圖13A示出了Mv1為+0.25的情況(讀出行1后直至讀出行2時向上移動了1/4個像素的情況)。圖13A與圖12A相比，不同點在于在原像素行1和原像素行2間進行線性內(nèi)插。其結果是，在攝像裝置向上移動了的情況下，縮小圖像，以便消除伸長的垂直圖像失真。圖13B是Mv1為+1/n的情況下的說明圖。此情況下的加權系數(shù)為1/n和(1-1/n)。
最后，校正部10及垂直驅(qū)動部14校正循環(huán)1的循環(huán)次數(shù)。例如，在內(nèi)插行數(shù)比原像素行數(shù)增加了1的情況下，將循環(huán)次數(shù)減1；在內(nèi)插行數(shù)比原像素行數(shù)減少了1的情況下，將循環(huán)次數(shù)加1；在讀出行已到達最后一行的情況下結束循環(huán)1。由此，校正部10進行水平行的讀出處理，直至內(nèi)插后的行數(shù)到達幀圖像所需的內(nèi)插行數(shù)，或者直至水平行的讀出到達攝像區(qū)域的最后一行。
<垂直校正處理>
圖11是垂直校正處理的詳細流程圖。如該圖所示，首先，校正部10由來自運算部17的Mvi，來計算直至行i的累計垂直移動量(S801)，計算內(nèi)插行的位置及內(nèi)插行在原像素的行間的距離比(S802)，將距離比的反比作為加權系數(shù)來進行計算(S803)。例如，在圖12A的情況下，內(nèi)插行2的位置為5/4，距離比為3/4比1/4，加權系數(shù)為1/4和3/4。在圖13A的情況下，內(nèi)插行2的位置為3/4，距離比為3/4比1/4，加權系數(shù)為1/4和3/4。
此后，校正部10用循環(huán)2(S804～809)通過原像素行間的像素內(nèi)插來生成內(nèi)插行。即，從位于內(nèi)插行位置最近前面的原像素行中讀出像素值Qj(S805)，從位于內(nèi)插行位置最近后面的原像素行中讀出像素值Qj(S806)，用加權系數(shù)通過線性內(nèi)插來計算像素值(S807)。這樣，校正部10能夠校正攝像裝置的上下移動造成的垂直圖像失真。
圖14A是對黑白圖像進行的垂直校正處理的說明圖。設從第1水平行到第2水平行的垂直移動量為m1，從第2水平行到第3水平行的垂直移動量為m2，…(將向上的移動量作為正)。
在垂直移動量為正的情況下圖像向下方伸長，所以如圖14B所示讀出的原像素總行數(shù)多于內(nèi)插行數(shù)。而在為負的情況下圖像縮小，所以如圖14C所示生成了比原像素行的數(shù)目多的內(nèi)插行。
圖15A是對彩色圖像進行的垂直校正處理的說明圖。這里示出RGB彩色傳感器的情況。第1行、第3行…由R、G構成，第2行、第4行…由B、G構成。即，奇數(shù)行由R、G，偶數(shù)行由B、G構成。由此，如圖15B、圖15C所示，通過在奇數(shù)行之間及偶數(shù)行之間進行上述垂直校正處理，來校正垂直方向的圖像失真。
這里描述了從2行中進行變焦讀出的方法，但是只要是滿足用于生成YUV信號的條件的變焦讀出，則可以是任何方法。
如上所述，根據(jù)本發(fā)明實施方式1的攝像裝置，通過對幀內(nèi)的圖像失真執(zhí)行水平方向的圖像失真的校正和垂直方向的圖像失真的校正，能夠?qū)崿F(xiàn)圖像失真校正。而且，水平方向和垂直方向都能夠以比像素間距小的間距來校正像素位置及行位置。
此外，校正部10只要具有3行左右的行緩沖器即可，所以無需包括用于在其后的處理中進行校正的幀存儲器，所以能夠構成電路規(guī)模小的攝像裝置。即，攝像裝置無需用于校正的幀存儲器，能夠用電路規(guī)模、元件個數(shù)少的結構來實現(xiàn)現(xiàn)有MOS型傳感器的缺點——幀內(nèi)的圖像失真校正。
再者，傳感器的輸出像素數(shù)未讀出傳感器的所有像素，所以能夠削減信號處理部的電路。由此，能夠應用于便攜式電話機、PDA等小型便攜設備。
其中，校正部10進行了圖像失真校正的像素值由YUV信號處理部變?yōu)閅UV信號。YUV信號被輸出到未圖示的信號處理部，例如JPEG電路等。
此外，在上述實施方式中，校正部10對從A/D變換器15輸出的數(shù)字像素值進行了校正處理，但是也可以采用對A/D變換器15的輸入端的模擬數(shù)據(jù)進行校正處理的結構。
(實施方式2)圖16是本發(fā)明實施方式2的攝像裝置的結構的框圖。該攝像裝置對與圖4所示的攝像裝置相同的構件要素附以相同的標號，所以省略說明相同點，以下以不同點為中心來進行說明。
受光面42、水平驅(qū)動部43、垂直驅(qū)動部44可以與現(xiàn)有的MOS型傳感器相同。
存儲器47是保持1枚幀圖像并且具有幀內(nèi)校正處理及幀間校正處理用工作區(qū)的存儲器。從信號處理部16輸出的幀圖像存在水平方向及垂直方向的圖像失真。
校正部48以存儲器47中保持的幀圖像為對象，進行幀內(nèi)校正處理和幀間校正處理。作為幀內(nèi)校正處理，校正部48以存儲器47中保持的幀圖像為對象，進行實施方式1所示的水平校正處理及垂直校正處理。因此，校正部48在圖8所示的校正處理中，以存儲器47的幀圖像為對象來執(zhí)行像素單位的水平校正處理(水平移位讀出)、子像素單位的水平校正處理、垂直校正處理(圖11)。例如，校正部48按照上述水平移動量對每行決定上述起始位置，并根據(jù)決定出的起始位置來重新配置存儲器47中保持的幀圖像。作為該重新配置，校正部48除了像素單位的水平校正之外，還進行子像素單位的水平校正。此后，校正部48按照垂直移動量對每行決定內(nèi)插行位置，通過對幀圖像進行行間的像素內(nèi)插來計算校正行位置上的像素信號，保存到存儲器47中。
由此，校正幀內(nèi)的圖像失真。除此之外，作為幀間校正處理，校正部48進行幀間的手抖動校正。
圖17是校正部48進行的幀內(nèi)校正處理及幀間校正處理的說明圖。在該圖(a)中同時產(chǎn)生了幀內(nèi)的圖像失真、和幀間的手抖動造成的圖像的位置偏移。即，由于攝像裝置向左上移動，所以圖像中的被攝體P30產(chǎn)生斜向失真和伸長失真，從最近前面的幀圖像f10產(chǎn)生了位置偏移。圖(b)是幀內(nèi)校正處理及幀間校正處理的說明圖。作為幀內(nèi)校正處理，校正部48進行圖8所示的水平校正處理(像素單位和子像素單位)及垂直校正處理；進而，作為幀間校正處理而進行位置校正。位置校正是對1個垂直周期中的水平方向的位置偏移量及垂直方向的位置偏移量，校正幀圖像的位置，以便消除該位置偏移。其結果是，如圖(c)所示，能夠得到不僅校正了幀內(nèi)的圖像失真、而且校正了幀間的位置偏移的幀圖像f2。
校正部48無需與幀內(nèi)校正分別來進行幀間校正，能夠同時進行。即，通過將加上水平方向的位置偏移量的值用作水平移動量，將加上垂直方向的位置偏移量的值用作垂直移動量，能夠在幀內(nèi)的校正處理中也同時校正幀間的位置偏移。
其中，不管存儲器47中保持的幀圖像是Y:U:V＝4:4:4的YUV信號，還是Y:U:V＝4:2:2或Y:U:V＝4:2:0，都只要計算以顯示時的1個像素為單位的水平移動量及垂直移動量，進行像素單位及子像素單位的像素位置及行位置的校正即可。這樣，不管存儲器47中保持的幀圖像的YUV的格式如何，校正部47都能夠進行幀內(nèi)校正及幀間校正。此外，存儲器47中保持的幀圖像當然也可以是RGB方式。
如上所述，根據(jù)本實施方式的攝像裝置，從傳感器中讀出與總像素數(shù)相應的像素信號，存儲到存儲器中后，通過改變從存儲器中讀出的方法，能夠校正幀內(nèi)的圖像失真同時校正幀間的位置偏移。
而且，用一般的MOS型傳感器也能夠與圖像失真校正同時實現(xiàn)手抖動校正。
此外，不增加元件個數(shù)，就能夠構成可同時實現(xiàn)圖像失真校正和手抖動校正的攝像裝置。
再者，能夠?qū)崿F(xiàn)采用了已有的角速度傳感器的、能進行圖像失真校正及手抖動校正的攝像裝置。
其中，在上述實施方式中，運算部17對所有行檢測了水平移動量，但是無需對像素部12的所有行進行檢測，也可以如下所述。
第1，在隔行掃描圖像的情況下，運算部17在奇數(shù)場中對像素部12的每個奇數(shù)行檢測水平移動量，在偶數(shù)場中對每個偶數(shù)行檢測水平移動量即可。
第2，也可以采用下述結構運算部17對2行至多行中的每規(guī)定數(shù)N個行檢測水平移動量，校正部10校正該N行的各起始位置。
第3，也可以使運算部17檢測所有行中的例如每隔5行相鄰的2行的水平移動量，校正部10校正該2行的起始位置，通過預測為移動恒定，來校正該2行后續(xù)的3行的起始位置。
其中，在本實施方式中，用角速度傳感器17、18來檢測水平移動量及垂直移動量，但是也可以采用通過分析幀圖像來檢測移動的結構。
產(chǎn)業(yè)上的可利用性本發(fā)明適合包括具有由排列成多行的多個像素部組成的受光面的MOS型傳感器的攝像裝置，例如適合電視攝像機、監(jiān)視攝像機、工業(yè)用攝像機、帶攝像機的便攜式電話機及個人數(shù)字代理(PDA)等小型便攜設備。
權利要求
1.一種攝像裝置，其特征在于，包括MOS型傳感器，具有由排列成多行的多個像素部組成的受光面；檢測單元，檢測從上述MOS型傳感器中按照水平周期讀出的每個上述行的映像中的、與至少2行對應的映像的水平移動量；決定單元，按照上述水平移動量來決定上述多行中的至少1行的應作為行中的起始像素的起始位置；以及水平校正單元，根據(jù)決定出的起始位置來生成校正圖像。
2.如權利要求1所述的攝像裝置，其特征在于，上述檢測單元檢測與上述多行中的所有相鄰2行對應的映像的上述水平移動量。
3.如權利要求1所述的攝像裝置，其特征在于，上述決定單元按照上述水平移動量，來決定上述至少2行中的至少1行的上述起始位置。
4.如權利要求2所述的攝像裝置，其特征在于，上述決定單元按照上述水平移動量，來決定上述相鄰2行中的后讀出的行的上述起始位置。
5.如權利要求1所述的攝像裝置，其特征在于，上述檢測單元包括加速度傳感器，根據(jù)本攝像裝置的移動來檢測加速度；和計算單元，根據(jù)檢測出的加速度來計算上述水平移動量。
6.如權利要求5所述的攝像裝置，其特征在于，上述加速度傳感器在每1個水平期間檢測上述加速度，上述計算單元計算1個水平期間中的水平移動量；上述水平校正單元包括讀出單元，從由決定單元決定的起始位置起，從上述MOS型傳感器中讀出與水平像素數(shù)相應數(shù)量的像素信號。
7.如權利要求1或5所述的攝像裝置，其特征在于，上述決定單元按照最近前面讀出的行的起始位置、和從讀出時刻起的上述水平移動量，來決定讀出對象行的起始位置。
8.如權利要求6所述的攝像裝置，其特征在于，上述決定單元將上述起始位置決定到子像素位置；上述水平校正單元還包括水平內(nèi)插單元，對由讀出單元讀出的行內(nèi)的像素串，通過像素內(nèi)插來校正到上述子像素位置。
9.如權利要求1或5所述的攝像裝置，其特征在于，上述攝像裝置還包括存儲單元，存儲來自MOS型攝像傳感器的幀圖像；上述水平校正單元對上述存儲單元中存儲的幀圖像，校正上述起始位置。
10.如權利要求9所述的攝像裝置，其特征在于，上述決定單元在子像素位置中決定上述起始位置；上述水平校正單元對上述幀圖像，通過像素內(nèi)插來校正到上述子像素位置。
11.如權利要求1所述的攝像裝置，其特征在于，上述檢測單元還檢測上述映像的垂直移動量；上述攝像裝置還包括垂直校正單元，按照檢測出的垂直移動量，來校正攝像單元拍攝到的圖像的垂直方向的伸縮失真。
12.如權利要求11所述的攝像裝置，其特征在于，上述垂直校正單元包括行緩沖器，保持從上述MOS型傳感器中讀出的多行像素信號；決定單元，按照由檢測單元檢測出的垂直移動量，對每行決定校正行位置；以及垂直內(nèi)插單元，用行緩沖器中保持的行的像素信號、和從上述MOS型傳感器中讀出的像素信號，通過行間的像素內(nèi)插來計算校正行位置上的像素信號。
13.如權利要求12所述的攝像裝置，其特征在于，上述垂直內(nèi)插單元用與由上述決定單元決定的校正行位置最近的上下2行的像素信號來進行像素內(nèi)插。
14.如權利要求13所述的攝像裝置，其特征在于，上述攝像裝置還包括存儲單元，存儲來自MOS型攝像傳感器的幀圖像；上述水平校正單元及垂直校正單元對上述存儲單元中存儲的幀圖像，校正上述起始位置。
15.如權利要求14所述的攝像裝置，其特征在于，上述檢測單元還檢測上述映像的垂直移動量；上述水平校正單元包括決定單元，按照上述水平移動量對每行決定上述起始位置；和重新配置單元，根據(jù)所決定的起始位置來重新配置存儲單元中存儲的幀圖像；上述垂直校正單元包括決定單元，按照上述垂直移動量對每行決定校正行位置；和垂直內(nèi)插單元，對由重新配置單元重新配置了的幀圖像，通過行間的像素內(nèi)插來計算內(nèi)插行位置上的像素信號。
16.如權利要求15所述的攝像裝置，其特征在于，上述檢測單元還檢測存儲單元中存儲的2個幀間的位置偏移量；上述水平移動單元及垂直移動單元按照上述位置偏移量來校正幀間的位置偏移。
17.一種攝像方法，用于具有MOS型傳感器的攝像裝置，該MOS型傳感器具有由排列成多行的多個像素部組成的受光面，其特征在于，包括檢測步驟，檢測從上述MOS型傳感器中按照水平周期讀出的每個上述行的映像中的、與至少2行對應的映像的水平移動量；決定步驟，按照上述水平移動量來決定上述多行中的至少1行的應作為行中的起始像素的起始位置；以及讀出步驟，根據(jù)決定出的起始位置來進行行讀出。
18.如權利要求17所述的攝像方法，其特征在于，在上述檢測步驟中，檢測與上述多行中的所有相鄰2行對應的映像的上述水平移動量。
19.如權利要求17所述的攝像方法，其特征在于，在上述決定步驟中，按照上述水平移動量，來決定上述至少2行中的至少1行的上述起始位置。
20.如權利要求18所述的攝像方法，其特征在于，在上述決定步驟中，按照上述水平移動量，來決定上述相鄰2行中的后讀出的行的上述起始位置。
21.如權利要求17所述的攝像方法，其特征在于，在上述檢測步驟中，具有用加速度傳感器，根據(jù)本攝像裝置的移動來檢測加速度的步驟；和計算步驟，根據(jù)檢測出的加速度來計算上述水平移動量。
22.如權利要求21所述的攝像方法，其特征在于，上述加速度傳感器在每1個水平期間檢測上述加速度，上述計算步驟計算1個水平期間中的水平移動量；在上述水平校正步驟中，具有讀出步驟，從由決定步驟決定的起始位置起，從上述MOS型傳感器中讀出與水平像素數(shù)相應數(shù)量的像素信號。
23.如權利要求17或21所述的攝像方法，其特征在于，在上述決定步驟中，按照最近前面讀出的行的起始位置、和從讀出時刻起的上述水平移動量，來決定讀出對象行的起始位置。
24.如權利要求22所述的攝像方法，其特征在于，在上述決定步驟中，將上述起始位置決定到子像素位置；在上述水平校正步驟中，還具有水平內(nèi)插步驟，對由讀出步驟讀出的行內(nèi)的像素串，通過像素內(nèi)插來校正到上述子像素位置。
25.如權利要求17或21所述的攝像方法，其特征在于，上述攝像裝置還具有保存步驟，將來自MOS型攝像傳感器的幀圖像保存到存儲器中；在上述水平校正步驟中，對存儲器中存儲的幀圖像，校正上述起始位置。
26.如權利要求25所述的攝像方法，其特征在于，在上述決定步驟中，在子像素位置中決定上述起始位置；在上述水平校正步驟中，對上述幀圖像，通過像素內(nèi)插來校正到上述子像素位置。
27.如權利要求17所述的攝像方法，其特征在于，在上述檢測步驟中，還檢測上述映像的垂直移動量；上述攝像裝置還具有垂直校正步驟，按照檢測出的垂直移動量，來校正由攝像步驟拍攝到的圖像的垂直方向的伸縮失真。
28.如權利要求27所述的攝像方法，其特征在于，在上述垂直校正步驟中，具有決定步驟，按照由檢測步驟檢測出的垂直移動量，對每行決定校正行位置；以及垂直內(nèi)插步驟，利用在保持從上述MOS型傳感器中讀出的多行像素信號的行緩沖器中被保持的行的像素信號、和從上述MOS型傳感器中讀出的像素信號，通過行間的像素內(nèi)插來計算校正行位置上的像素信號。
29.如權利要求28所述的攝像方法，其特征在于，在上述垂直內(nèi)插步驟中，用與由上述決定步驟決定的校正行位置最近的上下2行的像素信號來進行像素內(nèi)插。
30.如權利要求29所述的攝像方法，其特征在于，上述攝像裝置還具有保存步驟，將來自MOS型攝像傳感器的幀圖像保存到存儲器中；在上述水平校正步驟及垂直校正步驟中，對上述存儲器中存儲的幀圖像，校正上述起始位置。
31.如權利要求30所述的攝像方法，其特征在于，在上述檢測步驟中，還檢測上述映像的垂直移動量；在上述水平校正步驟中，具有決定步驟，按照上述水平移動量對每行決定上述起始位置；和重新配置步驟，根據(jù)所決定的起始位置來重新配置上述存儲器中存儲的幀圖像；在上述垂直校正步驟中，具有決定步驟，按照上述垂直移動量來對每行決定校正行位置；和垂直內(nèi)插步驟，對重新配置了的幀圖像，通過行間的像素內(nèi)插來計算內(nèi)插行位置上的像素信號。
32.如權利要求31所述的攝像方法，其特征在于，在上述檢測步驟中，還檢測在存儲步驟中存儲的2個幀間的位置偏移量；在上述水平移動步驟及垂直移動步驟中，按照上述位置偏移量來校正幀間的位置偏移。
全文摘要
本發(fā)明的攝像裝置包括MOS型受光傳感器(12)，具有由排列成多行的多個像素部組成的受光面；運算部(17)，在讀出行的每個水平周期檢測受光面的映像的水平移動量、垂直移動量；水平驅(qū)動部(13)，按照檢測出的水平移動量對每行決定應作為行的起始像素的起始位置；以及校正部(10)，根據(jù)決定出的像素位置，來進行垂直校正。
文檔編號H04N5/369GK1922868SQ20058000600
公開日2007年2月28日 申請日期2005年2月21日 優(yōu)先權日2004年2月25日
發(fā)明者佐佐木善滿, 今村邦博 申請人:松下電器產(chǎn)業(yè)株式會社