本發(fā)明涉及一種圖像傳感器和攝像設(shè)備。

背景技術(shù)：

近年來，在諸如數(shù)字靜態(tài)照相機和數(shù)字攝像機等的攝像設(shè)備中所使用的圖像傳感器的多功能化正在推進。作為用以實現(xiàn)圖像傳感器的多功能化的方式，提出了包括攝像單元和圖像處理器的圖像傳感器，其中，該攝像單元包括具有將光轉(zhuǎn)換成電力的光電轉(zhuǎn)換器的像素單元，該圖像處理器用于對從攝像單元輸出的攝像信號施加圖像處理。

日本特開2006-49361公開了與通過將圖像傳感器芯片層疊在信號處理器芯片上所制成的圖像傳感器相關(guān)的技術(shù)。

設(shè)置日本特開2006-49361中所描述的圖像傳感器的信號處理器芯片，以對來自同一半導體模塊中所包括的圖像傳感器芯片的輸出施加信號處理。因此，為了對從圖像傳感器輸出的圖像數(shù)據(jù)再次施加各個類型的圖像處理，需要在圖像傳感器的外部設(shè)置分開的圖像處理器芯片，也就是說，需要額外的構(gòu)件。

技術(shù)實現(xiàn)要素：

考慮到上述問題而作出本發(fā)明，并且本發(fā)明使得能夠通過來自圖像傳感器外部的圖像數(shù)據(jù)的輸入，來執(zhí)行圖像傳感器內(nèi)部的圖像處理。

根據(jù)本發(fā)明，提供一種圖像傳感器，其設(shè)置有包括多個光電轉(zhuǎn)換器的攝像單元，所述圖像傳感器的特征在于還包括：輸入單元，用于從所述圖像傳感器的外部輸入圖像數(shù)據(jù)；圖像處理器，用于對從所述攝像單元獲得的圖像數(shù)據(jù)和從所述輸入單元輸入的圖像數(shù)據(jù)施加圖像處理；以及輸出單元，用于將通過所述圖像處理器所進行的圖像處理所獲得的圖像數(shù)據(jù)輸出至外部。

此外，根據(jù)本發(fā)明，提供一種攝像設(shè)備，包括：圖像傳感器，其設(shè)置有包括多個光電轉(zhuǎn)換器的攝像單元，其特征在于，所述圖像傳感器還包括：輸入單元，用于從所述圖像傳感器的外部輸入圖像數(shù)據(jù)，圖像處理器，用于對從所述攝像單元獲得的圖像數(shù)據(jù)和從所述輸入單元輸入的圖像數(shù)據(jù)施加圖像處理，以及輸出單元，用于將通過所述圖像處理器所進行的圖像處理所獲得的圖像數(shù)據(jù)輸出至外部；顯示處理器，其用于從所述圖像傳感器輸出的圖像數(shù)據(jù)；以及記錄處理器。

此外，根據(jù)本發(fā)明，提供一種攝像設(shè)備，包括：第一圖像傳感器，其設(shè)置有包括多個光電轉(zhuǎn)換器的攝像單元；以及第二圖像傳感器，其設(shè)置有包括多個光電轉(zhuǎn)換器的攝像單元，其特征在于，所述第一圖像傳感器還包括：輸入單元，用于從外部輸入圖像數(shù)據(jù)，圖像處理器，用于對從所述輸入單元輸入的圖像數(shù)據(jù)施加圖像處理，以及輸出單元，用于將通過所述圖像處理器所進行的圖像處理所獲得的圖像數(shù)據(jù)輸出至外部，其中，所述圖像處理器對從所述第二圖像傳感器輸入至所述第一圖像傳感器的所述輸入單元的圖像數(shù)據(jù)施加圖像處理。

通過以下(參考附圖)對典型實施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

包含在說明書中并且構(gòu)成說明書的一部分的附圖示出本發(fā)明的實施例，并且附圖與說明書一起用來解釋本發(fā)明的原理。

圖1是示出根據(jù)本發(fā)明的第一實施例的圖像傳感器的結(jié)構(gòu)的框圖；

圖2是示出根據(jù)第一實施例的圖像傳感器的圖像處理器的結(jié)構(gòu)的框圖；

圖3是示出根據(jù)第一實施例的攝像設(shè)備的示意結(jié)構(gòu)的框圖；

圖4是在根據(jù)第一實施例的正常攝像時所執(zhí)行的處理的流程圖；

圖5是在第一實施例中的圖像輸入時所執(zhí)行的處理的流程圖；

圖6是根據(jù)第一實施例的用于所拍攝圖像和所輸入圖像的圖像合成處理的流程圖；

圖7是示出根據(jù)第二實施例的攝像設(shè)備的示意結(jié)構(gòu)的框圖；

圖8是示出根據(jù)第二實施例的第二圖像傳感器的結(jié)構(gòu)的框圖；

圖9是根據(jù)第二實施例的在第一圖像傳感器對第二傳感器所拍攝的圖像施加圖像處理的情況下所執(zhí)行的攝像處理的流程圖；

圖10是根據(jù)第二實施例的在第一圖像傳感器拍攝視頻并且第二圖像傳感器拍攝靜止圖像的情況下所執(zhí)行的攝像處理的流程圖；

圖11是根據(jù)第二實施例的在第一圖像傳感器和第二圖像傳感器拍攝靜止圖像并且將所拍攝的靜止圖像進行合成的情況下所執(zhí)行的攝像處理的流程圖；

圖12是根據(jù)第二實施例的在第一圖像傳感器和第二圖像傳感器拍攝視頻并且將所拍攝的視頻進行合成的情況下所執(zhí)行的攝像處理的流程圖；

圖13是根據(jù)第二實施例的在第二圖像傳感器用作第一圖像傳感器所進行的攝像時的輔助部件的情況下所執(zhí)行的攝像處理的流程圖；

圖14是示出根據(jù)第三實施例的圖像傳感器的結(jié)構(gòu)的框圖；

圖15是示出根據(jù)第三實施例的圖像傳感器的第一基板的示意結(jié)構(gòu)的框圖；以及

圖16是示出根據(jù)第三實施例的圖像傳感器的圖像處理器的結(jié)構(gòu)的框圖。

具體實施方式

將根據(jù)附圖來詳細說明本發(fā)明的典型實施例。根據(jù)適用于本發(fā)明的設(shè)備的各種條件和結(jié)構(gòu)，應(yīng)當根據(jù)需要來改變本實施例中所示的構(gòu)成部分的尺寸、形狀和相對位置，并且本發(fā)明不限于這里所述的實施例。

第一實施例

首先，將說明根據(jù)本發(fā)明的第一實施例的圖像傳感器。根據(jù)第一實施例的圖像傳感器具有從圖像傳感器的外部接收圖像信號、并且在圖像傳感器的內(nèi)部對所輸入的圖像信號施加圖像處理的功能。

以下將使用圖1和2來詳細說明根據(jù)第一實施例的圖像傳感器的結(jié)構(gòu)。圖1是示出根據(jù)本發(fā)明的第一實施例的圖像傳感器的結(jié)構(gòu)的框圖。

在圖1中，圖像傳感器302以第一基板101(攝像單元)和第二基板102(處理單元)層疊在一起的方式構(gòu)成。第一基板101和第二基板102通過第一基板101中所包括的連接單元106和第二基板102中所包括的連接單元107之間的微突起和通孔等而連接，并且在第一基板101和第二基板102建立電連接。盡管未示出，但是第一基板101中所包括的控制電路103和第二基板102中所包括的圖像處理器108同樣是以它們能夠彼此通信的方式而電連接。

第一基板101具有光接收單元104、模擬/數(shù)字(ad)轉(zhuǎn)換器105、連接單元106和控制電路103。在光接收單元104中，在行和列方向上以二維方式排列包括用于將光轉(zhuǎn)換成電力的光電轉(zhuǎn)換部的多個像素。ad轉(zhuǎn)換器105將通過光接收單元104的像素所生成的模擬圖像信號轉(zhuǎn)換成數(shù)字信號，并且連接單元106將從ad轉(zhuǎn)換器105輸出的數(shù)字圖像信號(圖像數(shù)據(jù))發(fā)送至第二基板102?？刂齐娐?03對光接收單元104和ad轉(zhuǎn)換器105中的各個類型的驅(qū)動進行控制。

第二基板102具有連接單元107、圖像處理器108、存儲器單元109以及包括輸出單元111和輸入單元112的接口單元110。連接單元107接收從第一基板101發(fā)送來的圖像信號。圖像處理器108對從第一基板101、存儲器單元109和輸入單元112發(fā)送來的數(shù)字圖像信號(圖像數(shù)據(jù))施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理和顯像處理等的各個類型的圖像處理。除了施加各個類型的圖像處理的該功能以外，圖像處理器108還具有如下功能：使用通過攝像所獲得的數(shù)字圖像信號(圖像數(shù)據(jù))和從輸入單元112發(fā)送來的數(shù)字圖像信號(圖像數(shù)據(jù))來生成諸如差異圖像、相加圖像和平均圖像等的各種合成圖像的功能；以及通過對多個圖像數(shù)據(jù)進行合成來生成視頻的功能。圖像處理器108例如還具有基于從輸入單元112發(fā)送來的圖像數(shù)據(jù)來計算被攝體的亮度值的功能。稍后將使用圖2來詳細說明圖像傳感器108的結(jié)構(gòu)。

存儲器單元109暫時存儲來自圖像處理器108和輸入單元112的圖像數(shù)據(jù)。輸入單元112接收從圖像傳感器302的外部輸入的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)發(fā)送至圖像處理器108和存儲器單元109，而輸出單元111將從圖像處理器108輸出的圖像數(shù)據(jù)輸出至圖像傳感器302的外部。在第一實施例中，將假設(shè)如下：針對將圖像數(shù)據(jù)從接口單元110輸出至圖像傳感器302的外部、以及將圖像數(shù)據(jù)從圖像傳感器302的外部輸入至接口單元110，使用共同端子。在接口單元110的內(nèi)部，在輸入圖像數(shù)據(jù)時將接口單元110的端子連接至輸入單元112，并且在輸出圖像數(shù)據(jù)時將接口單元110的端子連接至輸出單元111。在圖像傳感器302中，包括了其中的構(gòu)件的第一基板101(攝像單元)和第二基板102(處理單元)組成一個封裝體(package)。

圖2是示出根據(jù)第一實施例的圖像傳感器302的圖像處理器108的結(jié)構(gòu)的框圖。在圖2中，信號放大器201以預定增益來對所輸入的數(shù)字圖像信號(圖像數(shù)據(jù))進行放大?；鶞孰娖秸{(diào)節(jié)單元202進行調(diào)整，以使得沒有光入射在光接收單元104上的黑暗狀態(tài)下的數(shù)字圖像信號(圖像數(shù)據(jù))的信號水平具有預定值。校正單元203對圖像數(shù)據(jù)施加諸如缺陷像素校正處理和黑暗陰影校正處理等的各個類型的校正處理。

顯像處理器204對圖像數(shù)據(jù)施加白平衡調(diào)節(jié)等，然后對圖像數(shù)據(jù)施加顯像處理。圖像合成單元205利用通過光接收單元104所進行的攝像所獲得的并且從ad轉(zhuǎn)換器105中讀出的圖像數(shù)據(jù)、以及從輸入單元112和存儲器單元109發(fā)送來的圖像數(shù)據(jù)，來生成諸如差異圖像、相加圖像和平均圖像等的各種合成圖像。

信號分析電路206對從輸入單元112和存儲器單元119發(fā)送來的圖像數(shù)據(jù)進行分析，并且基于分析的結(jié)果，來設(shè)置信號放大器201所使用的信號放大因子并且經(jīng)由控制電路103來設(shè)置光接收單元104和ad轉(zhuǎn)換器105中的各個類型的驅(qū)動。

圖3是示出包括以上述方式配置的圖像傳感器302的攝像設(shè)備的示意結(jié)構(gòu)的框圖。在圖3中，通過驅(qū)動電路304來對包括透鏡和光圈等的光學系統(tǒng)301進行驅(qū)動，并且圖像傳感器302將經(jīng)由光學系統(tǒng)301入射的光轉(zhuǎn)換成電信號。定時信號生成電路303生成用于使圖像傳感器302進行工作的信號。在本實施例中，定時信號生成電路303所生成的信號包括垂直和水平同步信號以及用于設(shè)置圖像傳感器302內(nèi)的各種設(shè)置參數(shù)的設(shè)置信號等。

如使用圖1所述的，圖像傳感器302具有如下功能：對通過轉(zhuǎn)換所入射的光所獲得的電信號施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、黑暗陰影校正處理和顯像處理等的各個類型的圖像處理，來生成圖像信號。圖像傳感器302還具有如下功能：接收從記錄電路305輸入的圖像數(shù)據(jù)，并且對該圖像數(shù)據(jù)施加各個類型的圖像處理。記錄電路305是用于記錄并保持例如從圖像傳感器302輸出的圖像數(shù)據(jù)以及向圖像傳感器302輸入的圖像數(shù)據(jù)的非易失性存儲器、存儲卡或者類似的記錄介質(zhì)。

控制電路306對包括圖像傳感器302、定時信號生成電路303和驅(qū)動電路304的整個攝像設(shè)備進行整體驅(qū)動和控制?？刂婆_電路307接受來自針對攝像設(shè)備所設(shè)置的控制臺構(gòu)件的信號，并且使控制電路306反映來自用戶的命令。顯示電路308例如顯示所拍攝圖像、實時取景圖像和各種設(shè)置畫面。

本實施例介紹了如下的典型結(jié)構(gòu)，其中，在該典型結(jié)構(gòu)中，將攝像設(shè)備的定時信號生成電路303和控制電路306與圖像傳感器302相獨立的設(shè)置。然而，本實施例不限于該結(jié)構(gòu)，并且定時信號生成電路303和控制電路306的至少一部分的功能可以內(nèi)置于圖像傳感器302中。

以下使用圖4～6來提供第一實施例中的包括圖像傳感器302的攝像設(shè)備所執(zhí)行的各個類型的攝像處理和圖像生成處理的詳細描述。

圖4是在第一實施例的正常攝像時所執(zhí)行的處理的流程圖。在圖4中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s401)。接著，對光學系統(tǒng)301等進行控制，以對圖像傳感器302的光接收單元104進行曝光(步驟s402)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器105將光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后將其讀入至圖像處理器108中(步驟s403)。

接著，信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對輸入至圖像處理器108的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s404)。最后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111輸出至圖像傳感器302外部的記錄電路305或者顯示電路308(步驟s405)，然后結(jié)束本攝像處理。

圖5是第一實施例中的圖像輸入時所執(zhí)行的處理的流程圖?？梢栽诶缁谒谕娘@像參數(shù)、使用攝像設(shè)備中所包括的圖像傳感器302來對通過攝像設(shè)備在過去所進行的攝像而獲得的并且已經(jīng)存儲在外部的raw圖像數(shù)據(jù)進行再次顯像的情況下，使用圖5描述的圖像輸入時所執(zhí)行的處理。

在從圖像傳感器302的外部輸入的圖像數(shù)據(jù)在圖像處理器108中經(jīng)受各個類型的圖像處理、并且從輸出單元111輸出之后，在記錄至用作記錄電路305的非易失性存儲器、存儲卡或類似的記錄介質(zhì)時、或者在顯示電路308所進行的圖像顯示時，使用該圖像數(shù)據(jù)。還可以在各個類型的研究和分析中使用該圖像數(shù)據(jù)。例如，可以在監(jiān)視照相機領(lǐng)域內(nèi)的人物識別和面部識別中使用該圖像數(shù)據(jù)。此外，可以例如在汽車等的自動駕駛所用的車載照相機領(lǐng)域內(nèi)的行人檢測、包括標志、白線、道路上的障礙物和自行車的物體識別、以及字符識別中使用該圖像數(shù)據(jù)。注意，信號處理無需施加到所輸入圖像的整個區(qū)域，并且可以基于被攝體識別等的結(jié)果施加至所輸入圖像的受限區(qū)域。此外，輸入單元112等可以僅切出需要的區(qū)域。

在圖5中，首先，將在記錄電路305中所存儲的raw圖像數(shù)據(jù)經(jīng)由輸入單元112輸入至圖像傳感器302(步驟s501)。接著，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，圖像處理器108的顯像處理器204對輸入至圖像傳感器302的圖像數(shù)據(jù)施加諸如白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s502)。將假設(shè)如下：被施加圖像處理的所輸入圖像數(shù)據(jù)在攝像時、在圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202和校正單元203中經(jīng)受信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理和黑暗陰影校正處理等。一旦圖像數(shù)據(jù)在這樣的圖像處理之后從圖像傳感器302輸出并且存儲至記錄電路305，則在該圖像數(shù)據(jù)再次輸入至圖像傳感器302的情況下，可以省略這樣的圖像處理。

最后，從圖像處理器108輸出的圖像數(shù)據(jù)在被施加了各個類型的圖像處理之后、從輸出單元111輸出至圖像傳感器302外部的記錄電路305或顯示電路308(步驟s503)，然后，結(jié)束本處理。

優(yōu)選地，使用圖4的流程圖所描述的處理(也就是說，圖像處理器108對所拍攝圖像數(shù)據(jù)施加的攝像處理和圖像處理)的定時與使用圖5的流程圖所描述的處理(也就是說，圖像處理器108對所輸入圖像數(shù)據(jù)施加的圖像處理)的定時不同。通過如此使圖像處理器108分散執(zhí)行針對所拍攝圖像數(shù)據(jù)的圖像處理和針對所輸入圖像數(shù)據(jù)的圖像處理，而不是同時執(zhí)行這兩者，可以減輕圖像處理器108的處理負荷，并且可以抑制最大電力消耗。

圖6是第一實施例中的用于所拍攝圖像和所輸入圖像的圖像合成處理的流程圖。在例如將過去拍攝的并且已經(jīng)存儲在圖像傳感器302的外部的圖像與圖像傳感器302新拍攝的圖像進行合成時，可以使用圖6描述的用于所拍攝圖像和所輸入圖像的圖像合成處理。

在圖6中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s601)。接著，將記錄電路305中所存儲的圖像數(shù)據(jù)經(jīng)由輸入單元112輸入至圖像傳感器302，然后存儲至存儲器單元109(步驟s602)。當所輸入圖像數(shù)據(jù)將與之后將拍攝并讀入至圖像處理器108的所拍攝圖像數(shù)據(jù)一起經(jīng)受合成處理時，所輸入圖像數(shù)據(jù)需要處于與所拍攝圖像數(shù)據(jù)相同的狀態(tài)。

具體地，當被讀入至圖像處理器108的合成前的所拍攝圖像數(shù)據(jù)是尚未被施加壓縮處理等的raw圖像數(shù)據(jù)時，所輸入圖像數(shù)據(jù)需要處于相同的狀態(tài)。此外，在圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202和校正單元203對所拍攝圖像數(shù)據(jù)施加了信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理和黑暗陰影校正處理等之后，將所拍攝圖像數(shù)據(jù)和所輸入圖像數(shù)據(jù)進行合成。因此，優(yōu)選地，所輸入圖像數(shù)據(jù)在攝像時被施加了同樣的處理之后被輸出并存儲。

之后，對光學系統(tǒng)301等進行控制，以對圖像傳感器302的光接收單元104進行曝光(步驟s603)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器105將光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號，然后作為所拍攝圖像數(shù)據(jù)被讀入至圖像處理器108中(步驟s604)。

接著，圖像處理器108的圖像合成單元205將所拍攝圖像數(shù)據(jù)和已經(jīng)存儲在存儲器單元109中的所輸入圖像數(shù)據(jù)進行合成(步驟s605)。此時，例如，同時執(zhí)行用于以適當增益對所輸入圖像數(shù)據(jù)進行放大的處理，以使所輸入圖像數(shù)據(jù)的諸如累積時間段和感光度設(shè)置等的攝像條件與所拍攝圖像數(shù)據(jù)的攝像條件一致。

然后，圖像處理器108的顯像處理器204對合成圖像數(shù)據(jù)施加諸如白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s606)。最后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111輸出至圖像傳感器302外部的記錄電路305或顯示電路308(步驟s607)，然后結(jié)束本處理。

如上所述，根據(jù)第一實施例，圖像傳感器包括用于接收所輸入圖像數(shù)據(jù)的輸入單元，并且圖像傳感器中包括的圖像處理器可以對所輸入圖像數(shù)據(jù)施加各個類型的圖像處理。這樣，可以在不使用外部的圖像處理電路的情況下，進行對從圖像傳感器輸出的圖像的再次顯像，并且進行諸如對新拍攝的圖像與過去拍攝的并且已存儲的圖像的合成等的使用多個圖像的處理。

盡管到目前為止使用圖1～6描述了根據(jù)第一實施例的攝像設(shè)備，但是本發(fā)明不限于這種方式，并且可以以各種方式來體現(xiàn)。

例如，在使用圖5和6所描述的圖像輸入時所執(zhí)行的處理中，使用本攝像設(shè)備所拍攝的圖像作為所輸入圖像數(shù)據(jù)。然而，本發(fā)明不限于這種方式，并且可以輸入其它攝像設(shè)備所拍攝并輸出的圖像。

在使用圖6所描述的用于所拍攝圖像和所輸入圖像的圖像合成處理中，根據(jù)所拍攝圖像數(shù)據(jù)和所輸入圖像數(shù)據(jù)來生成簡單合成圖像作為圖像合成處理的一個示例。然而，本發(fā)明不限于這種方式，并且如在高動態(tài)范圍合成處理(hdr合成處理)中那樣，可以例如執(zhí)行用于在以預定增益對所拍攝圖像數(shù)據(jù)和所輸入圖像數(shù)據(jù)各自進行放大之后生成合成圖像的處理。

注意，所輸入圖像的攝像條件和所拍攝圖像的攝像條件之間的差異不限于通過例如執(zhí)行用于以適當增益來對所輸入圖像數(shù)據(jù)進行放大的處理來進行調(diào)整；例如，可以將以不同的攝像條件的多個類型的所輸入圖像數(shù)據(jù)輸入并存儲至存儲器單元109，并且每當進行攝像時，可以根據(jù)攝像時所使用的攝像條件來選擇并使用適當?shù)乃斎雸D像數(shù)據(jù)。此外，為了降低隨機噪聲，可以針對所拍攝圖像數(shù)據(jù)和所輸入圖像數(shù)據(jù)執(zhí)行用于生成平均圖像數(shù)據(jù)的處理。

例如，在用于所拍攝圖像和所輸入圖像的圖像合成處理中，可以生成表示所拍攝圖像數(shù)據(jù)和所輸入圖像數(shù)據(jù)之間的差異的差異圖像。在例如將該方法應(yīng)用于車載照相機的情況下，可以獲得兩個圖像之間的差異，以檢測道路上的障礙物、自行車和行人。還可以在例如如下情況下使方法：圖像傳感器302的圖像處理器108針對通過圖像傳感器302所進行的攝像所獲得的圖像數(shù)據(jù)，使用通過過去的攝像所獲得的并且已經(jīng)存儲在圖像傳感器302的外部的黑色圖像數(shù)據(jù)來施加黑色減少處理。例如，在針對天體攝像的黑色減少處理的情況下，可以通過從用作所拍攝圖像數(shù)據(jù)的天體圖像中減去用作所輸入圖像數(shù)據(jù)的黑色圖像來生成差異圖像。

盡管在前述描述中輸入了與一個類型的一個圖像有關(guān)的圖像信號來生成差異圖像，但是不期望在這方面進行限制。例如，可以將以不同攝像條件的多個黑色圖像數(shù)據(jù)輸入并存儲至存儲器單元109，并且每當進行攝像時，可以根據(jù)攝像時所使用的攝像條件來選擇并使用適當?shù)暮谏珗D像數(shù)據(jù)。

第二實施例

現(xiàn)在將說明本發(fā)明的第二實施例。圖7是示出根據(jù)第二實施例的攝像設(shè)備的示意結(jié)構(gòu)的框圖。如圖7所示，通過向圖3所示的攝像設(shè)備添加光學系統(tǒng)801和第二圖像傳感器802來實現(xiàn)根據(jù)第二實施例的攝像設(shè)備。由于其它構(gòu)件與圖3所示的構(gòu)件相同，因此將省略其描述；在第二實施例中，將圖像傳感器302稱為第一圖像傳感器302，以與第二圖像傳感器802相區(qū)分。

圖8是示出根據(jù)第二實施例的第二圖像傳感器的結(jié)構(gòu)的框圖。在圖8中，第二圖像傳感器802包括光接收單元702、模擬/數(shù)字(ad)轉(zhuǎn)換器703、輸出單元704以及控制電路701。在光接收單元702中，在行和列方向上以二維方式排列包括用于將光轉(zhuǎn)換成電力的光電轉(zhuǎn)換器的多個像素。ad轉(zhuǎn)換器703將光接收單元702的像素所生成的模擬圖像信號轉(zhuǎn)換成數(shù)字信號(圖像數(shù)據(jù))，并且輸出單元704將從ad轉(zhuǎn)換器703輸出的數(shù)字圖像信號(圖像數(shù)據(jù))輸出至圖像傳感器802的外部?？刂齐娐?01對光接收單元702和ad轉(zhuǎn)換器703中的各個類型的驅(qū)動進行控制。

不像圖1所示的第一圖像傳感器302那樣，第二圖像傳感器802不包括圖像處理器。因此，在第二實施例中，第二圖像傳感器802將經(jīng)由包括透鏡和光圈等的光學系統(tǒng)801入射的光轉(zhuǎn)換成電信號，并且將該電信號輸出至第一圖像傳感器302。然后，第一圖像傳感器302的圖像處理器108對該電信號施加各個類型的圖像處理。

在第二實施例中，定時信號生成電路303生成用于使第一圖像傳感器302和第二圖像傳感器進行工作的信號，并且驅(qū)動電路304對光學系統(tǒng)301和801進行驅(qū)動。在本實施例中，定時信號生成電路303所生成的信號包括垂直和水平同步信號以及用于設(shè)置圖像傳感器302和802內(nèi)的各種設(shè)置參數(shù)的設(shè)置信號等。定時信號生成電路303所生成的信號還可以包括例如用于指定其發(fā)送目的地的地址信息。由此，通過在所生成的信號中包括用于指定發(fā)送目的地的地址信息，信號線可以被共同使用。在圖7中，第一圖像傳感器302和第二圖像傳感器802并聯(lián)連接至定時信號生成電路303和控制電路306。然而，其不限于以這種方式連接，并且可以串聯(lián)連接。在這種情況下，可以將從定時信號生成電路303輸入的信號等經(jīng)由第一圖像傳感器302而供給至第二圖像傳感器802。該結(jié)構(gòu)可以簡化在連接有兩個以上的圖像傳感器的情況下的控制專用的連接電路。

以下使用圖9～13來提供在第二實施例中的攝像設(shè)備所執(zhí)行的各個類型的攝像處理和圖像生成處理的詳細描述。在第二實施例中，僅需要第一圖像傳感器302的正常攝像時所執(zhí)行的處理與根據(jù)使用圖4所描述的第一實施例的相同，因而將省略其描述。

圖9是在將從第二圖像傳感器802輸出的圖像數(shù)據(jù)輸入至第一圖像傳感器302的情況下所執(zhí)行的攝像處理的流程圖，并且第一圖像傳感器302在其內(nèi)部對所輸入圖像數(shù)據(jù)施加各個類型的圖像處理，并且輸出所得到的圖像數(shù)據(jù)。

在圖9中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，針對第二圖像傳感器802來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s901)。接著，對光學系統(tǒng)801等進行控制，以對第二圖像傳感器802的光接收單元702進行曝光(步驟s902)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器703將光接收單元702所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后從輸出單元704輸出至第二圖像傳感器802的外部(步驟s903)。注意，由于第二圖像傳感器802不包括圖像處理器，因此尚未對所輸出的圖像數(shù)據(jù)施加各個類型的圖像校正等。

將從第二圖像傳感器802輸出的圖像數(shù)據(jù)輸入至第一圖像傳感器302(步驟s904)。接著，圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對輸入至第一圖像傳感器302的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s905)。最后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111輸出至第一圖像傳感器302外部的記錄電路305或顯示電路308(步驟s906)，然后結(jié)束本攝像處理。

圖10是在第二實施例中的在第一圖像傳感器302拍攝靜止圖像并且第二圖像傳感器802拍攝視頻的情況下所執(zhí)行的攝像處理的流程圖。以下描述第一圖像傳感器302拍攝靜止圖像而第二圖像傳感器802正拍攝實時取景圖像或視頻的典型情況?？蛇x地，第二圖像傳感器802可以拍攝靜止圖像，而第一圖像傳感器302正拍攝實時取景圖像或視頻。

在圖10中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，針對第二圖像傳感器802來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s1001)。接著，對光學系統(tǒng)801等進行控制，以對第二圖像傳感器802的光接收單元702進行曝光，并且開始實時取景圖像拍攝或視頻拍攝(步驟s1002)。

ad轉(zhuǎn)換器703將光接收單元702所生成的每幀電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后從輸出單元704輸出至第二圖像傳感器802的外部(步驟s1003)。注意，由于第二圖像傳感器802沒有包括圖像處理器，因此尚未對所輸出的圖像數(shù)據(jù)施加各個類型的圖像校正等。

將從第二圖像傳感器802輸出的圖像數(shù)據(jù)輸入至第一圖像傳感器302(步驟s1004)。接著，圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對輸入至第一圖像傳感器302的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1005)。然后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111分別在視頻拍攝時和實時取景圖像拍攝時輸出至第一圖像傳感器302外部的記錄電路305和顯示電路308(步驟s1006)。

如果用戶已經(jīng)在實時取景圖像拍攝或視頻拍攝期間經(jīng)由控制臺電路307發(fā)出了用于靜止圖像拍攝的指示(步驟s1007中為“是”)，則第一圖像傳感器302開始靜止圖像拍攝。

首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，針對第一圖像傳感器302來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s1008)。接著，對光學系統(tǒng)301等進行控制，以對第一圖像傳感器302的光接收單元104進行曝光(步驟s1009)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器105將光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后讀入至圖像處理器108中(步驟s1010)。

接著，信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對輸入至圖像處理器108的圖像信號施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1011)。然后，將從圖像處理器108輸出的圖像信號從輸出單元111輸出至第一圖像傳感器302外部的記錄電路305或者顯示電路308(步驟s1012)。

在靜止圖像拍攝之后、或者在尚未發(fā)出用于靜止圖像拍攝的指示的情況下(步驟s1007中為“否”)，判斷隨后是否繼續(xù)實時取景圖像拍攝或視頻拍攝(步驟s1013)。如果要繼續(xù)實時取景圖像拍攝或視頻拍攝，則攝像操作的序列返回至步驟s1001，以進行針對下一幀的實時取景圖像拍攝或視頻拍攝；如果不繼續(xù)實時取景圖像拍攝或視頻拍攝，則結(jié)束攝像操作的序列。

圖11是在第二實施例中的在將第一圖像傳感器302和第二圖像傳感器802所拍攝的靜止圖像進行合成的情況下所執(zhí)行的攝像處理的流程圖。例如可以在使用兩個圖像傳感器來生成3d顯示用的多個視差圖像時使用該攝像方法。在將該方法應(yīng)用于車載照相機等的情況下，可以基于使用兩個圖像傳感器所獲得的視差圖像來測量到被攝體的距離。也就是說，可以根據(jù)使用三角測量原理從兩個圖像傳感器獲得的視差圖像，來測量到對象物體的距離。

在圖11中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，針對第一圖像傳感器302和第二圖像傳感器802來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s1101)。接著，對光學系統(tǒng)301和801等進行控制，以對第一圖像傳感器302的光接收單元104和第二圖像傳感器802的光接收單元702進行曝光(步驟s1102)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器105將第一圖像傳感器302的光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后讀入至圖像處理器108中作為所拍攝圖像數(shù)據(jù)(s1103)。此外，ad轉(zhuǎn)換器703將第二圖像傳感器802的光接收單元702所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后從輸出單元704輸出至第二圖像傳感器802的外部(步驟s1103)，并且輸入至圖像傳感器302(步驟s1104)。注意，由于第二圖像傳感器802沒有包括圖像處理器，因此尚未對從第二圖像傳感器802輸出的并且輸入至圖像傳感器302的圖像數(shù)據(jù)施加各個類型的圖像校正等。

之后，圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對通過第一圖像傳感器302所進行的攝像所獲得的圖像數(shù)據(jù)和通過第二圖像傳感器802所進行的攝像所獲得的圖像數(shù)據(jù)各自施加諸如信號放大、基準電平調(diào)節(jié)和缺陷像素校正處理等的各個類型的圖像處理。在施加了各個類型的圖像處理之后，通過圖像處理器108的圖像合成單元205對該圖像數(shù)據(jù)對進行合成(步驟s1105)。接著，圖像處理器108的顯像處理器204對合成圖像數(shù)據(jù)施加諸如白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1106)。

最后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111輸出至圖像傳感器302外部的記錄電路305或顯示電路308(步驟s1107)，然后結(jié)束攝像處理。

圖12是在第二實施例中的在將第一圖像傳感器302和第二圖像傳感器802所拍攝的同一被攝體的視頻合成在一起的情況下所執(zhí)行的攝像處理的流程圖?？梢栽诶缤ㄟ^交替讀出從一個圖像傳感器輸出的圖像數(shù)據(jù)和從另一圖像傳感器輸出的圖像數(shù)據(jù)并且將這些圖像數(shù)據(jù)合成在一起來生成高幀頻的視頻時使用該攝像方法。

在圖12中，首先，根據(jù)例如用戶經(jīng)由控制臺電路307發(fā)出的指示，針對第一圖像傳感器302和第二圖像傳感器802來配置諸如感光度、f值和曝光時間段等的攝像條件的初始設(shè)置(步驟s1201)。接著，對光學系統(tǒng)301和801等進行控制，以對第一圖像傳感器302的光接收單元104和第二圖像傳感器802的光接收單元702進行曝光，并且開始視頻拍攝(步驟s1202)。注意，第一圖像傳感器302和第二圖像傳感器802以相同幀頻以及與周期的一半相對應(yīng)的相位偏移來進行視頻拍攝。

在第一圖像傳感器302的光接收單元104完成了與一幀相對應(yīng)的累積的情況下，ad轉(zhuǎn)換器105將光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后讀入至圖像處理器108中作為所拍攝圖像數(shù)據(jù)(步驟s1203)。接著，圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對讀入至圖像處理器108的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1204)。將已經(jīng)施加了信號處理的圖像數(shù)據(jù)存儲至存儲器單元109(步驟s1205)。

接著，在第二圖像傳感器802的光接收單元702完成了與一幀相對應(yīng)的累積的情況下，ad轉(zhuǎn)換器703將光接收單元702所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號，然后從輸出單元704輸出至第二圖像傳感器802的外部(步驟s1206)。注意，由于第二圖像傳感器802沒有包括圖像處理器，因此尚未對所輸出的圖像數(shù)據(jù)施加各個類型的圖像校正等。

將從第二圖像傳感器802輸出的圖像數(shù)據(jù)輸入至第一圖像傳感器302(步驟s1207)。接著，圖像處理器108的信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對經(jīng)由輸入單元112從第二圖像傳感器輸入的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、幀間噪聲降低處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1208)。在先前所存儲的第一圖像傳感器302的圖像數(shù)據(jù)之后，將施加了信號處理的該圖像數(shù)據(jù)存儲至存儲器單元109中(步驟s1209)。

之后，判斷隨后是否繼續(xù)視頻拍攝(步驟s1210)。如果要繼續(xù)視頻拍攝，則攝像操作的序列返回至步驟s1203，并且重復前述處理。如果不繼續(xù)視頻拍攝，則遮擋第一圖像傳感器302的光接收單元104和第二圖像傳感器802的光接收單元702以防止曝光，并且結(jié)束視頻拍攝(步驟s1211)。然后，將存儲器單元109中所存儲的視頻數(shù)據(jù)從輸出單元111輸出至第一圖像傳感器302外部的記錄電路305(步驟s1212)，并且結(jié)束攝像操作的序列。

圖13是在第二實施例中的在使用第二圖像傳感器802作為用于確定第一圖像傳感器302所進行的攝像的攝像條件的輔助部件的情況下所執(zhí)行的攝像處理的流程圖?？梢栽诶缛缦虑闆r下使用該處理：第一圖像傳感器302中所包括的圖像處理器108基于來自第二圖像傳感器802的輸出信號來計算被攝體的測光值，并且基于所計算出的測光值來確定第一圖像傳感器302所進行的攝像的攝像條件。

在圖13中，首先，針對第二圖像傳感器802來配置諸如感光度和曝光時間段等的測量條件的初始設(shè)置(步驟s1301)。接著，對光學系統(tǒng)801等進行控制，以對第二圖像傳感器802的光接收單元702進行曝光，并且開始攝像(步驟s1302)。ad轉(zhuǎn)換器703將光接收單元702所生成的每幀電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后從輸出單元704輸出至第二圖像傳感器802的外部(步驟s1303)。注意，由于第二圖像傳感器802不包括圖像處理器，因此尚未對所輸出的圖像數(shù)據(jù)施加各個類型的圖像校正等。

將從第二圖像傳感器802輸出的圖像數(shù)據(jù)輸入至第一圖像傳感器302(步驟s1304)。然后，圖像處理器108的信號分析單元206對來自第二圖像傳感器802的圖像數(shù)據(jù)進行分析，以計算例如被攝體的亮度值(步驟s1305)。然后，基于計算結(jié)果來設(shè)置針對第一圖像傳感器302所進行的攝像的諸如感光度、f值和曝光時間段等的攝像條件(步驟s1306)。接著，對光學系統(tǒng)301等進行控制，以對第一圖像傳感器302的光接收單元104進行曝光(步驟s1307)。在經(jīng)過了預定的累積時間段之后，ad轉(zhuǎn)換器105將光接收單元104所生成的電信號轉(zhuǎn)換成數(shù)字圖像信號(圖像數(shù)據(jù))，然后讀入至圖像處理器108中(步驟s1308)。

接著，信號放大器201、基準電平調(diào)節(jié)單元202、校正單元203和顯像處理器204對輸入至圖像處理器108的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理、白平衡調(diào)節(jié)和顯像處理等的各個類型的圖像處理(步驟s1309)。最后，將從圖像處理器108輸出的圖像數(shù)據(jù)從輸出單元111輸出至第一圖像傳感器302外部的記錄電路305或顯示電路308(步驟s1310)，然后結(jié)束攝像處理。

如上所述，根據(jù)第二實施例，除了第一實施例中所描述的圖像傳感器以外，還設(shè)置了另一圖像傳感器，因而可以通過使用圖像傳感器中所包括的圖像處理電路對通過另一圖像傳感器所進行的攝像所生成的圖像數(shù)據(jù)施加圖像處理。也就是說，可以在不使用外部的圖像處理電路的情況下，對來自兩個圖像傳感器的圖像數(shù)據(jù)施加圖像數(shù)據(jù)。

此外，將圖像處理電路設(shè)置在圖像傳感器內(nèi)部提供在如下情況下所無法實現(xiàn)的優(yōu)點：設(shè)置在圖像傳感器外部的一個圖像處理電路需要從多個圖像傳感器接收圖像數(shù)據(jù)作為輸入。在從多個圖像傳感器輸出合成圖像數(shù)據(jù)的結(jié)果時，這些優(yōu)點涉及高速化以及電路所需的端子的數(shù)量。

上述的本實施例已經(jīng)介紹了如下典型結(jié)構(gòu)，其中，在該典型結(jié)構(gòu)中，第一圖像傳感器302包括圖像處理器，而第二圖像傳感器802不包括圖像處理器。然而，本實施例不限于這種結(jié)構(gòu)；例如，第二圖像傳感器802也可以包括與第一圖像傳感器302同樣的圖像處理器和輸入單元，并且在僅使用一個圖像傳感器的圖像處理器來執(zhí)行圖像處理的情況下，可以是另一圖像傳感器的圖像處理器不工作(也就是說，不接收電力供給，或者置于省電控制下)。

上述的本實施例已經(jīng)介紹了如下的典型結(jié)構(gòu)，其中，在該典型結(jié)構(gòu)中，攝像設(shè)備的控制電路306與第一圖像傳感器302和第二圖像傳感器802相獨立地設(shè)置。然而，本實施例不限于這種結(jié)構(gòu)，并且可以將控制電路306的至少一部分構(gòu)件內(nèi)置于第一圖像傳感器302和第二圖像傳感器802中。例如，在第一圖像傳感器302包括定時信號生成電路303作為內(nèi)置構(gòu)件的情況下，其向第二圖像傳感器802供給信號，并且通過第一圖像傳感器302來控制第二圖像傳感器802。

在兩個圖像傳感器中，一個圖像傳感器可以拍攝可見光的圖像，而另一圖像傳感器可以拍攝諸如紅外線等的不可見光的圖像?？蛇x地，在兩個圖像傳感器中，一個圖像傳感器(例如，用于拍攝可見光的圖像的圖像傳感器)可以拍攝彩色圖像，而另一圖像傳感器(例如，用于拍攝不可見光的圖像的圖像傳感器)可以拍攝黑白圖像。

注意，第一圖像傳感器302和第二圖像傳感器802可以串聯(lián)連接至定時信號生成電路303和控制電路306。在這種情況下，將從第二圖像傳感器802輸出的圖像數(shù)據(jù)經(jīng)由第一圖像傳感器302記錄至記錄電路305等。利用這種結(jié)構(gòu)，在將從第二圖像傳感器802輸出的圖像數(shù)據(jù)顯示在顯示電路308上的情況下，對第一圖像傳感器302內(nèi)部的處理的執(zhí)行存在顯示定時延遲的風險。為了減少顯示定時的這種延遲，可以控制數(shù)據(jù)，以繞開第一圖像傳感器302中的輸入單元112和輸出單元111。該結(jié)構(gòu)可以在兩個以上圖像傳感器串聯(lián)連接的情況下減少記錄或顯示定時的延遲。

第三實施例

現(xiàn)在將說明本發(fā)明的第三實施例。根據(jù)第三實施例的圖像傳感器1400被配置成與根據(jù)第一實施例和第二實施例的圖像傳感器302不同。注意，除了將利用后述的圖像傳感器1400來替換圖像傳感器302以外，根據(jù)第三實施例的攝像設(shè)備與在參考圖3的第一實施例中所描述的攝像設(shè)備、或者在使用圖7的第二實施例中所描述的攝像設(shè)備相同。由于其它構(gòu)件與第一實施例和第二實施例中所描述的構(gòu)件相同，因此將省略其描述。

圖14是示出根據(jù)第三實施例的圖像傳感器1400的結(jié)構(gòu)的框圖。在圖14中，圖像傳感器1400以第一基板1401和第二基板1402層疊在一起的方式構(gòu)成。第一基板1401和第二基板1402通過第一基板1401中的連接單元1404和第二基板1402中的連接單元1405之間的多個貫通電極1406而電連接；這里，連接單元1404以與像素組一一對應(yīng)的方式設(shè)置，并且在數(shù)量方面與連接單元1405相等，其中該像素組各自包括一個或多個像素。這些貫通電極例如為硅通孔(tsv)。

第一基板1401包括光接收單元1411、連接單元1404和控制電路1410。在光接收單元1411中，在行和列方向上以二維方式排列包括用于將光轉(zhuǎn)換成電力的光電轉(zhuǎn)換器的多個像素1403，并且將光接收單元1411所生成的信號經(jīng)由連接單元1404發(fā)送至第二基板1402。控制電路1410對光接收單元1411中的各個類型的驅(qū)動進行控制。在第三實施例的描述中，將假設(shè)如下：如圖14所示，針對包括2×2或4個像素1403的每個像素組，設(shè)置一個連接單元1404。

第二基板1402包括連接單元1405、圖像處理器1408、存儲器單元109、以及包括輸入單元112和輸出單元111的接口單元110。由于存儲器單元109以及接口單元110的構(gòu)件(即輸入單元112和輸出單元111)與參考圖1所述的這些構(gòu)件相同，因此將省略其描述。連接單元1405接收從第一基板發(fā)送來的圖像信號。

圖像處理器1408將經(jīng)由連接單元1405從第一基板1401發(fā)送來的模擬信號轉(zhuǎn)換成數(shù)字信號。圖像處理器1408還對通過ad轉(zhuǎn)換所獲得的圖像數(shù)據(jù)以及從存儲器單元109和輸入單元112發(fā)送來的圖像數(shù)據(jù)施加諸如信號放大、基準電平調(diào)節(jié)、缺陷像素校正處理和顯像處理等的各個類型的圖像處理。圖像處理器1408包括多個部分圖像處理器1407，該多個部分圖像處理器1407以與各自包括2×2或4個像素1403的像素組一一對應(yīng)的方式設(shè)置。稍后將使用圖16來詳細說明圖像處理器1408的結(jié)構(gòu)。

以下使用圖15來提供根據(jù)第三實施例的圖像傳感器1400中的光接收單元1411及其周邊構(gòu)件的結(jié)構(gòu)的詳細描述。圖15是示出根據(jù)第三實施例的圖像傳感器1400的第一基板1401的示意結(jié)構(gòu)的框圖。

如圖15所示，圖像傳感器1400的第一基板1401包括光接收單元1411和驅(qū)動信號線1501，其中，在光接收單元1411中，在行和列方向上排列多個像素1403。控制電路1410經(jīng)由驅(qū)動信號線1501向像素1403發(fā)送驅(qū)動脈沖。為了簡化，以下針對每行或每成對的行來設(shè)置一個驅(qū)動信號線1501；然而，實際上，可以連接適用于以每個像素為單位對像素1403的驅(qū)動進行控制的多個驅(qū)動信號線。將組成像素組的2×2或4個像素1403連接至同一連接單元1404?？刂齐娐?410進行控制，以使得共享同一連接單元1404的像素1403所生成信號彼此不混合，并且按順序?qū)⑺傻男盘栞敵鲋恋诙?402。盡管在圖15中以8行和8列對組成光接收單元1411的像素1403進行排列，但是實際上這些像素可以以幾千行和幾千列排列。

注意，將與在使用圖1和2的第一實施例中所描述的圖像傳感器302的構(gòu)件相同的構(gòu)件賦予相同的附圖標記，并且將省略其詳細描述。

圖16是示出根據(jù)第三實施例的圖像傳感器1400的圖像處理器1408的結(jié)構(gòu)的框圖。在第三實施例中，圖像處理器1408包括多個部分圖像處理器1407、校正單元1603、圖像合成單元1605和顯像處理器1604。在第三實施例所論述的示例中，以與各自包括2×2或4個像素1403的像素組一一對應(yīng)的方式來設(shè)置部分圖像處理器1407，并且部分圖像處理器1407各自包括連接單元1405、ad轉(zhuǎn)換器1600、信號放大器1601、基準電平調(diào)節(jié)單元1602和信號分析單元1606。ad轉(zhuǎn)換器1600將經(jīng)由連接單元1405讀出的來自像素1403的模擬圖像信號轉(zhuǎn)換成數(shù)字信號(圖像數(shù)據(jù))。其它構(gòu)件與已經(jīng)在使用圖2的第一實施例中所描述的圖像傳感器302的圖像處理器108的構(gòu)件相同，因而將省略其描述。

注意，在將通過多個部分圖像處理器1407中的各個類型的圖像處理所獲得的多個圖像數(shù)據(jù)合并成一個圖像數(shù)據(jù)之后，執(zhí)行校正單元1603中的各個類型的校正處理、圖像合成單元1605中的圖像合成處理以及顯像處理器1604中的顯像處理。

現(xiàn)在將詳細說明根據(jù)第三實施例的攝像處理的示例。之后，將假設(shè)如下：代替根據(jù)第二實施例的具有圖7所示的結(jié)構(gòu)的攝像設(shè)備中的第一圖像傳感器302而使用圖像傳感器1400，并且將圖像傳感器1400稱為第一圖像傳感器1400，以與第二圖像傳感器802相區(qū)分。以下參考圖13的流程圖來描述在使用第二圖像傳感器802作為用于確定第一圖像傳感器1400的攝像條件的輔助部件的情況下所執(zhí)行的處理?？梢栽诶缛缦碌那闆r下使用該處理：第一圖像傳感器1400中所包括的圖像處理器108基于來自第二圖像傳感器802的輸出信號來計算被攝體的測光值，并且基于所計算出的測光值來確定第一圖像傳感器1400的攝像條件。

注意，步驟s1301～s1304的處理與第二實施例的相同，因而將省略其描述，其中，在步驟s1301～s1304中，第二圖像傳感器802獲得圖像并且將其輸出信號輸入至圖像傳感器1400。

接著，圖像處理器1408的信號分析單元1606對來自第二圖像傳感器802的圖像數(shù)據(jù)進行分析，以例如針對像素1403中的每一個來計算被攝體的亮度值(步驟s1305)。然后，基于計算結(jié)果來設(shè)置針對第一圖像傳感器1400所進行的攝像的諸如感光度、f值和曝光時間段等的攝像條件(步驟s1306)。

此時，在第三實施例中，根據(jù)基于信號分析單元1606的分析結(jié)果的亮度值，通過使用在第一圖像傳感器1400中的諸如電荷累積時間段等的不同攝像條件，可以實現(xiàn)支持更寬動態(tài)范圍的操作。具體地，經(jīng)由控制電路103將推測產(chǎn)生大的被攝體亮度值的像素1403控制成在對圖像傳感器1400進行曝光時具有更短的電荷累積時間段。與此相對，將推測產(chǎn)生小的被攝體亮度值的像素1403控制成具有更長的電荷累積時間段。與正常攝像時所獲得的圖像相比，這種控制使得能夠獲得具有更寬動態(tài)范圍的圖像。此外，基于信號分析單元1606對被攝體亮度的分析結(jié)果，通過針對各像素1403所分別產(chǎn)生的被攝體亮度中的各被攝體亮度來對部分圖像處理器1407的信號放大器所使用的放大因子進行控制，可以實現(xiàn)同樣的有益效果。

從圖像的獲得到第一圖像傳感器1400的圖像數(shù)據(jù)的輸出的隨后處理(步驟s1307～s1310)與第二實施例中其描述的相同，因而將省略其描述。

盡管到目前為止使用圖14～16說明了根據(jù)第三實施例的攝像設(shè)備，但是本發(fā)明不限于這種方式，并且可以以各種方式來體現(xiàn)。

例如，根據(jù)使用圖14和15所描述的圖像傳感器1400的結(jié)構(gòu)，組成像素組的2×2或4個像素1403共享共同的連接單元1404、連接單元1405、貫通電極1406和部分圖像處理器1406。然而，本發(fā)明不限于這種方式，并且更大數(shù)量的像素1403可以共享這些部件，或者一個像素1403可以專門使用這些部件。

例如，根據(jù)使用圖16所描述的圖像處理器1408的結(jié)構(gòu)，各部分圖像處理器1407包括對應(yīng)的基準電平調(diào)節(jié)單元1602和信號分析單元1606。然而，本發(fā)明不限于這些方式，并且圖像處理器1408可以包括一個基準電平調(diào)節(jié)單元和一個信號分析單元。

盡管到目前為止已經(jīng)使用圖1～16說明了根據(jù)第一實施例～第三實施例的攝像設(shè)備，但是本發(fā)明不限于這種方式，并且可以以各種方式來體現(xiàn)。

例如，使用圖1所描述的圖像傳感器302以將兩個基板層疊在一起的方式構(gòu)成。然而，本發(fā)明不限于這種方式，并且包括光接收單元104和圖像處理器108的全部元件可以安裝在一個基板上，或者可以將三個或更多基板層疊在一起。

例如，根據(jù)使用圖3和7所描述的攝像設(shè)備的結(jié)構(gòu)，圖像傳感器302中所包括的圖像傳感器108對任意圖像傳感器所生成的圖像數(shù)據(jù)專門施加各個類型的圖像處理，并且沒有在任何圖像傳感器的外部設(shè)置圖像處理電路。然而，本發(fā)明不限于這種方式；圖像處理電路可以與圖像傳感器302分開設(shè)置，并且內(nèi)部的圖像處理器108和外部的圖像處理電路可以共享針對所拍攝圖像數(shù)據(jù)的各個類型的圖像處理的施加。

例如，根據(jù)使用圖1所描述的圖像傳感器302的結(jié)構(gòu)，接口單元110使用針對將圖像數(shù)據(jù)從接口單元110輸出至圖像傳感器302的外部、以及將圖像數(shù)據(jù)從圖像傳感器302的外部輸入至接口單元110的共同端子，以減少端子的數(shù)量。然而，本發(fā)明不限于這種方式，并且輸入端子和輸出端子可以分開設(shè)置，并且彼此獨立。特別是在如第二實施例中向第一圖像傳感器302頻繁地輸入圖像信號的情況下，優(yōu)選分開設(shè)置輸入端子和輸出端子，而不是使用共同端子來進行輸入和輸出。

盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。