專利名稱：圖像捕捉設備及方法
技術領域：
本發(fā)明涉及一種圖像捕捉設備以及圖像捕捉方法，包括但不 限于能同時對靜態(tài)活動圖像及動態(tài)圖像(電影)進行捕捉的設備 與方法。
背景技術：
電子照相機大體分為兩種類型靜態(tài)照相機與視頻照相機。 然而，現(xiàn)有一些照相才幾是兩種照相才幾的組合，例如， 一些"視》 頻"照相機既可捕捉電影，也可捕捉靜態(tài)圖像。
另一方面， 一些靜態(tài)照相機也具有"電影"拍攝功能，能捕 捉一系列有序的圖片，這些圖片能像電影一樣連續(xù)播放。本發(fā)明 主要涉及(但不限于)后者。
電子照相機大多具有一個圖像捕捉設備或傳感器，該傳感器 具有排列成陣列的感光探測器或圖像元素(像素)，活動圖像或 電影的捕捉可通過記錄傳感器探測到的連續(xù)圖像實現(xiàn)。
連續(xù)圖像捕捉的速度(幀率)取決于傳感器尺寸的大小(也 就是陣列中像素的數(shù)量)，而這又受限于傳感器數(shù)據(jù)讀取(以數(shù) 字方式)的速度。高速地從圖像傳感器中讀取信息將產(chǎn)生噪聲 (讀噪聲)，降低圖像信號的質(zhì)量。因此，如果傳感器像素較 大，幀率大多很慢。像素較少的小傳感器具有較快的幀率，但圖 像的分辨率將相應地降低。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種減少上述技術缺陷的圖像捕捉設備 以及圖像捕捉方法。本發(fā)明提供一種圖像捕捉設備，其設有包括一個工作區(qū)域的 傳感器，該工作區(qū)域具有多個像素，每一像素具有表示該像素曝 光時形成的有用數(shù)據(jù)，并設有一個用于存儲每一像素形成數(shù)據(jù)的 數(shù)據(jù)存儲器，所述多個像素組成多個像素模塊，所述圖像捕捉設 備可用于捕捉多張時間分離的低分辨率圖像，每一低分辨率圖像 包含從取自不同像素模塊的數(shù)據(jù)。
本發(fā)明允許一 系列時間分離的低分辨率圖像嵌入到高分辨率 的圖像中，這些嵌入的低分辨率圖像能像電影一樣連續(xù)播放，或 者將低分辨率圖像的數(shù)據(jù)組合形成一張高分辨率圖像，因此，該 設備能同時捕捉電影及靜態(tài)圖像。該設備捕捉圖像的幀率遠高于 目前同等傳感器設備所能達到幀率，雖然這些低分辨率圖像的空 間分辨率低于高分辨率圖像，但仍能滿足多種場合的需求，分辨 率與幀率之間的平衡可以容易地調(diào)節(jié)。并且，靜態(tài)圖像的捕捉不
會造成空間分辨率的損失，且不會增加對設備數(shù)據(jù)存儲容器容量 增加的需求。
優(yōu)選地，圖像捕捉設備能組合所述多張低分辨率圖像的數(shù)據(jù) 來形成一 張高分辨率圖像。
優(yōu)選地，至少 一個像素模塊基本包括傳感器內(nèi)全部工作區(qū)域 的像素，這樣，由一個像素模塊生成每一低分辨率圖像將會是一 張全幀圖像。相對應地，至少一個像素模塊包含的像素少于傳感 器內(nèi)全部工作區(qū)域，這允許設備以不同的空間分辨率及時間分辨 率對畫面中不同部分進^亍li/像，這可應用在特定的安全照相4幾或 機器人系統(tǒng)中。
圖像捕捉設備可包括一個具有多個快門元件的快門陣列，每 一快門元件用于控制一個像素的曝光。當然，每一快門元件可控 制多于 一個像素的曝光，該快門元件的面積將大于每一像素的面
6積。當然，每一快門元件的面積也可小于一個^f象素的面積，每一 像素的曝光由多個快門元件控制。
快門陣列可具有多個可變透明度或可變反射率的快門元件。 快門陣列可安裝在傳感器的工作區(qū)域上或在傳感器前(優(yōu)選地， 在快門陣列與傳感器之間設置聚焦設備)。
快門元件可設置反射4 ，以朝向i背:傳感i方向傳導或反射光線。
優(yōu)選地，圖像捕捉設備設置控制設備以控制快門陣列的工 作，例如，可控制傳感器內(nèi)所有像素劃分成像素模塊的數(shù)量、每 一像素模塊的曝光時間以及與曝光相關的時間、設備的工作模式 (例如，電影/靜態(tài)模式或全靜態(tài)模式)。控制設備可驅(qū)動快門 元件以預定的或隨才幾的或半隨4幾方式工作，該半隨才幾方式能纟皮解 碼并可用于還原高速的圖像序列?？刂圃O備還可用于控制一種可 選的工作模式，在該工作模式下，所有快門元件被同時驅(qū)動。
在另 一個優(yōu)選地實施例中，每一像素均與 一個電荷存儲設備 連接，每一像素上的電荷能轉(zhuǎn)移至電荷存儲設備上，圖像捕捉設 備還設置一個用于控制電荷轉(zhuǎn)移的控制設備以捕捉所述時間分離 的低分辨率圖像。按照這樣的設置，圖像捕捉設備不需要設置快 門陣列，可簡化i殳備的結構。
本發(fā)明還提供一種具有上述任一權利要求所述圖像捕捉設備 的照相機，該照相機還設有一個用于聚焦光線到傳感器工作區(qū)域
的透4竟。
照相機可以設置一個用于顯示所捕捉的圖像的顯示裝置，該 顯示裝置可以顯示一張高分辨率圖像或連續(xù)的低分辨率圖像。當然，照相機包括一個控制設備以控制像素模塊的曝光時間。
根據(jù)本發(fā)明的另一個方面，還提供一種圖像捕捉方法，該方 法應用 一種具有傳感器的圖像捕捉設備實現(xiàn)，該傳感器具有包括 多個像素的工作區(qū)域，該方法包括曝光傳感器，存儲每一像素曝 光時形成的數(shù)據(jù)，并捕捉多張時間分離的低分辨率圖像，其中， 所述多個像素組成多個像素模塊，每一低分辨率圖像包含取自不 同像素模塊的數(shù)據(jù)。
并且，該方法包括順序地曝光多個像素模塊，優(yōu)選地以預定 的或隨機的或半隨機的順序曝光。當然，多個像素模塊還可以同 時曝光，以捕捉一張高分辨率的運動模糊較少的靜態(tài)圖像。
并且，該方法包括將每一像素上的電荷轉(zhuǎn)移至電荷存儲設備 并使所存儲的電荷數(shù)字化的步驟。
該方法還包括組合多張低分辨率圖像的數(shù)據(jù)形成高分辨率圖 像，優(yōu)選地，顯示該高分辨率圖像。
該方法還可以包括播放連續(xù)的時間分離的低分辨率圖像。
下面結合附圖以及實施例詳細說明本發(fā)明。


圖1是本發(fā)明圖像捕捉設備第 一實施例示意主視圖2是圖像捕捉設備局部放大主視圖3是圖2中圖像捕捉設備快門元件曝光時間的時序表；
圖4是圖像捕捉設備捕捉圖像的順序圖表；
圖5是圖像捕捉設備的主視圖，圖中顯示操作順序的一個實
施例；圖6是本發(fā)明圖像捕捉設備第二實施例光學設置的示意側視
圖7是本發(fā)明圖像捕捉設備第三實施例光學設置的示意側視
圖8是本發(fā)明圖像捕捉設備第四實施例光學設置的側視圖9是本發(fā)明圖像捕捉設備第五實施例局部主視圖10是本發(fā)明圖像捕捉設備第六實施例局部放大主視圖11是具有本發(fā)明圖像捕捉設備的照相機結構示意框圖。
具體實施例方式
圖1至圖4顯示了本發(fā)明第一實施例的圖像捕捉設備，圖像 捕捉設備2具有傳感器4,傳感器4設有一個工作區(qū)域，該工作 區(qū)域包含排列成正方形陣列的圖像元素(像素)6。傳感器4可 以是CCD、 CMOS設備或類似的設備。本實施例中，傳感器4是一 個具有百萬像素的CCD設備，其包括一個正方形的陣列，陣列具 有1000像素的橫向?qū)挾纫约?000像素的縱向?qū)挾?。傳感器可?大于或小于該尺寸，并具有不同的長寬比例，且像素可排列成多 種不同的形狀。
位于傳感器4正前方的是電子快門設備8，其具有與像素尺 寸大小相等的快門元件10的陣列?？扉T元件10被排列成與傳感 器4的像素6相匹配的形狀，以便每一快門元件控制其正后方的 像素的曝光。因此，本實施例的快門設備8具有一百萬個快門元 件IO,排列成1000 x 1000的陣列，每一快門元件10可被單獨地 驅(qū)動或與一個或多個其他快門元件一起驅(qū)動以曝光位于其后方的 像素6。
本實施例中，快門設備8由鐵電液晶設備構成，該鐵電液晶 設備包括排列成陣列的液晶單元，每一液晶單元可根據(jù)電壓控制
9變得透明或不透明，這讓快門元件10可快速地工作。由于該機 構沒有移動部件，因此其工作可靠。當然，其他可被電子式地控 制且需要提供必須的像素電平的快門機構也可以用于本發(fā)明。
通常，快門設備8具有A個快門元件，并劃分成N個模塊， 我們定義為模塊1、模塊2……模塊N,每一模塊具有A/N個快門 元件。本實施例中，快門設備具有一百萬個快門元件(A)以及 四個模塊(N),每一模塊具有250, 000個快門元件。像素6位 于像素模塊對應的快門元件10后方。
不同模塊的快門元件10排列組成快門組12，每一快門組具 有每一模塊的一個快門元件。如圖2所示的，本實施例中，每一 快門組12具有四個排列成正方形的快門元件10,包括位于左上 角的模塊1的快門元件IOA、位于右上角的模塊2的快門元件 IOB、位于左下角的模塊3的快門元件10C以及位于右下角的模 塊4的快門元件IOD。快門i殳備8具有250, 000個這樣的快門 組。像素也類似地排列形成像素模塊以及像素組，每一像素組包 括每一像素模塊的一個像素。像素組基本覆蓋傳感器4所有工作 表面，因此，每一像素模塊具有取自傳感器4幾乎所有工作區(qū)域
的像素。
每一模塊的快門元件相互間均電連接，以便在控制電路的控 制下該模塊的所有快門元件同時開啟或關閉。本實施例中，四個 快門模塊按圖3所示的順序依次開啟。
可見，快門模塊1開啟時間為0. 25秒，接著模塊2在接下 來的0. 25秒內(nèi)開啟，然后模塊3再開啟0. 25秒，最后模塊4在 第四個0.25秒內(nèi)開啟。因此，所有模塊的總工作時間Ti為1.0 秒，每一像素的曝光時間即為Ti/N (本實施例中為0. 25秒)。
每一曝光時間內(nèi)，位于開啟的快門元件下方的像素在光線下 曝光。然而，像素并不是同時曝光的，而是隨著相對應的快門元件開啟與關閉被依次曝光。因此，位于模塊1的快門元件后方的
像素在第一個0.25秒內(nèi)曝光，然后依次是位于^t塊2、 3、 4的 快門元件后方的像素。
曝光時間內(nèi)，伴隨每一像素表面的光子;^丈電，每一像素將產(chǎn) 生一定量的電荷。在總的工作時間Ti后，所有像素上的電荷將 被數(shù)字化，并且數(shù)字化后的圖像數(shù)據(jù)將從傳感器4轉(zhuǎn)移至存儲i殳備。
存儲的圖像數(shù)據(jù)可被顯示成動態(tài)圖像(電影)或一張靜態(tài)圖 像，當顯示成電影時，每一像素模塊的圖像數(shù)據(jù)將形成一張獨立 的圖像。因此，如圖4所示的，圖像1是由像素模塊1內(nèi)所有像 素捕捉的圖像數(shù)據(jù)形成，其表示光線在第一個0.25秒內(nèi)入射到 傳感器時形成的圖像。圖像2是由像素模塊2內(nèi)所有像素捕捉的 圖像數(shù)據(jù)形成，其表示光線在第二個0.25內(nèi)入射到傳感器時形 成的圖像，圖像3與圖像4也類似地形成。四張圖像將依次顯 示，就像一個四幀的視頻。所顯示的低分辨率圖像內(nèi)的每一像素 的位置將發(fā)生移動，這是因為采集數(shù)據(jù)的像素位置發(fā)生輕微的變 化。電影中的每幀圖像具有250， 000像素，這是傳感器最高分 辨率的四分之一。我們這里定義低分辨率(lo-res)圖像是區(qū)別 于使用所有像素形成的高分辨率(hi-res)圖像。
如果需要播放連續(xù) 的視頻，則可重復一次或多次上述操作， 以每Ti秒獲取一組數(shù)據(jù)的速度捕捉多組數(shù)據(jù)，并按順序依次播 放所捕捉的低分辨率圖像。
若需要顯示一張靜態(tài)圖像，傳感器上的所有像素形成的數(shù)據(jù) 將合成一張全幀的高分辨率圖像。本實施例中，該圖像是一百萬 像素的，這可通過組合四張低分辨率圖像的數(shù)據(jù)來實現(xiàn)形成一 張 高分辨率的圖像。每一模塊的像素不一定需要按照如圖2所示的規(guī)則形狀排 列，可以應用一個數(shù)字圖案來實現(xiàn)快門組內(nèi)像素的隨機排列，該 數(shù)字圖案可以由隨機數(shù)生成器生成，使用者輸入一個源參數(shù)，隨
機數(shù)生成器重新排列曝光組內(nèi)每一像素的位置。如圖5所示，假 設一個具有4方陣的6 x 6的像素集內(nèi)，每一像素組具有4個像 素。數(shù)字圖案生成一個重新排列的序列，用于在前述的總工作時 間內(nèi)曝光像素組內(nèi)的所有像素，但像素的曝光時間被重新排序。
圖2中，未重新排序的序列((1,2,3,4)， (1,2， 3， 4)， (1,2, 3,4)….)表示位于第一快門組左上角的像素6A曝光時間在 0-0.25秒之間，位于第一快門組右上角的像素6B曝光時間在 0.25-0.5秒之間，如此類推。由于操作按照預定的模型重復進 行，每一像素組的曝光時間相同。
相反地，圖5所示的重新排序后的序列((3,2，1，4)， (4，1，2, 3)， (2，3，1,4)…)表示第一快門組左上角的像素6A曝光 時間在0. 5-0. 75秒之間，第一快門組右上角的像素6B的曝光時 間在0. 25-0. 5秒之間，第一快門組左下角的像素6C曝光時間在 0-0.25秒之間，第一快門組右下角的像素6D曝光時間在0.75-l.O秒之間。第二曝光組具有不同順序的曝光時間第二快門組 左上角像素的曝光時間在0.75-1.0秒之間，第二快門組右上角 像素的曝光時間在0-0.25之間，如此類推。此外，這些時序不 會在連續(xù)的幀上重復出現(xiàn)從0至1秒的曝光模型與1至2秒的 不同，以后每幀也類似，這取決于重新排序的長度。
選用隨機的快門圖案具有兩個優(yōu)點。首先，低分辨率圖像的 每 一 像素的位置可隨機的布置，即使相鄰兩像素之間的平均距離 相等。像素的隨機分布相對于規(guī)則的簡單排列在圖像修復應用中 的4尤點在Resnikoff、 Poggio和 Sims 中i青的名為 "Random Array Sensing Devices"的4574311號美國專利中有詳細描述。其次，如果獲得正確時間下重新排列順序的序列，低分辨率 圖像順序是可以單向恢復的。正如重新排列順序由包含有使用密 鑰生成隨機數(shù)的算法產(chǎn)生， 一旦觀看圖像順序的觀看者輸入該密 鑰，圖像順序能單向恢復，這能使圖像順序被加密以防止被未經(jīng) 許可地觀看。
除了像圖2與圖5所示的排列成規(guī)則的正方形形狀外，快門
組還可以排列成不規(guī)則的多邊形形狀，快門組可只精確地覆蓋感 興趣的區(qū)域，而不覆蓋不需要的像素。其中一個具體的應用是在 生命科學領域，當使用者只希望監(jiān)控顯微鏡下一小部分細胞的活
動情況，他可以圍繞這些感興趣的細月包畫一個不^見則的形狀，通 過算法將在該形狀內(nèi)的像素劃分成組，并在不同時間內(nèi)曝光。
如果被傳感器成像的物體在曝光期間移動，圖像將產(chǎn)生"運 動模糊，，現(xiàn)象，并且運動模糊的程度通常要高于傳統(tǒng)的靜態(tài)照相 機傳感器產(chǎn)生的程度，因為傳統(tǒng)的照相機傳感器中所有像素是同 時曝光，而本發(fā)明的總曝光時間長于單 一像素的曝光時間。
然而，若物體移動較少或沒有移動，所形成圖像的質(zhì)量將大 體上與傳統(tǒng)的傳感器相當。
當然，圖像捕捉設備可以工作在不同的模式下，例如所有快 門元件如前述的依次動作的"電影/靜態(tài)"模式，或者所有快門 元件同時動作的"全靜態(tài)"模式。在電影/靜態(tài)模式下，所捕捉 的低分辨率圖像類似電影一樣連續(xù)播放，或組合形成一張高分辨 率圖像(可能帶有運動模糊)。在全靜態(tài)模式下運動模糊與傳統(tǒng) 的傳感器相當，這是因為傳感器不能捕捉時間分離的低分辨率圖 像，圖像也不能像電影一樣連續(xù)播放。
當然， 一部分像素可用于獲取一張無模糊的高分辨率圖像， 其他像素如前述的用于獲取一系列低分辨率圖像。使用者可根據(jù) 圖像質(zhì)量的要求選擇生成高分辨率無模糊圖像的像素數(shù)量，例
13如，使用50%的像素用于生成高分辨率無模糊圖像，并且該模塊
組的像素分布在整個陣列中，這些像素將同時曝光，并在使用者 設定的最佳曝光時間的一瞬間進行。其他的像素如前述的將被劃
分為N-1組，并—皮依次曝光形成電影順序。用于形成高分辨率圖 像的像素可分布成規(guī)則形狀(例如，每一模塊中的第二像素)，
或者隨機地、半隨機地分布(這樣，在設定的子區(qū)域內(nèi)相鄰像素 的平均距離相等，但該區(qū)域內(nèi)的每一像素按已知的規(guī)律隨機分 布)。高分辨率圖像中所缺失的像素可使用各種已知的圖像處理 技術修復。像素的隨機分布相對于規(guī)則的簡單排列在圖像修復應 用中的優(yōu)點在Resnikoff、 Poggio和Sims申請的名為"Random Array Sensing Devices" 的4574311號美國專利中有詳細描 述。
除了使用與像素數(shù)量相等的快門組外，還可以在全景圖像中 使用具有不同尺寸的快門組來生成具有多種分辨率的圖像。例 如，上半部分的探測器使用規(guī)格為4的快門組生成圖像(這樣， 捕捉全幀圖像時將形成四張低分辨率圖像)，而下半部分的探測 器使用規(guī)格為9的快門組生成圖像(這樣，捕捉全幀圖像時將形 成九張低分辨率圖像)。
原則上不同幀組的數(shù)量可根據(jù)使用者的需要自由定義，使用 者可能需要在同一畫面內(nèi)監(jiān)控多個運動的物體，并根據(jù)每一物體 設定最佳的設置(幀率與分辨率)?？扉T組的規(guī)格以及形狀也可 一幀 一 幀地動態(tài)地變化，以滿足畫面中不同圖像的需要。
在特定的環(huán)境下，可以選用不同規(guī)^各的快門元件以便使每一 快門元件控制多于一個像素的曝光，每一快門元件的有效面積將 大于一個像素的面積，這將允許快門設備中快門元件的數(shù)量少于 像素的數(shù)量。當然，每一快門元件的面積也可以小于一個像素的 面積，每一像素的曝光將由多個快門元件控制。在特定環(huán)境下這
14將有助于聚焦，因為不同快門能用于補償透鏡形成的軸向彎曲， 通過開啟不同組的快門還可以增加傳感器各幀的空間分辨率。
下面使用一個具體的例子說明本發(fā)明在具有8.2百萬像素傳 感器的單反照相機中的應用，該傳感器具有2340 x 3500像素。 目前，傳統(tǒng)的同等賴J各照相機能以每秒五幀的速度捕捉全幀圖 像，如果該照相機應用本發(fā)明的技術，則每一全幀圖像可以分成 十張0.82百萬像素的低分辨率圖像捕捉，這些低分辨率圖像可 以在電影模式下以每秒五十幀的速度順序播放，每幀的規(guī)格是 738 x 1108 -像素。當然，每一組低分辨率圖像可以組合形成一張 具有8. 2百萬像素的高分辨率靜態(tài)圖像。
由此可見，每一全幀圖像嵌入的低分辨率圖像越多，獲得的 幀率越高。當然，如果較低的幀率已經(jīng)滿足要求，則可以荻取較 高分辨率的圖像。
如前所述，連續(xù)兩張低分辨率圖像的曝光時間間隔等于每次 曝光的持續(xù)時間，也就是下一曝光的開始時刻是上一曝光結束時 刻，而總曝光時間Ti等于Nt，其中N是像素模塊的數(shù)量，t是 每一像素的曝光時間。當然，相鄰兩次曝光的時間間隔與每次曝 光時間是可以調(diào)整的，以使得曝光時間重疊或分離，這將有利于 使用者對運動模糊或在低光強環(huán)境下拍攝進行補償。例如，曝光 時間可以減少至0. 15秒，而并非如圖3所示的0. 25秒。每一像 素模塊的曝光時序如下所示
像素模塊1從0至G. 15秒，像素模塊2從0. 25至Q. 4秒， 像素模塊3從0. 5至0. 65秒，像素模塊4從0. 75至0. 9秒，總
的曝光時間將少于Nt。
另外一個例子中，曝光時間可以增加至0. 4秒，各像素模塊 的曝光時間如下像素模塊l從O至O. 4秒，像素模塊2從0. 25 至0. 65秒，像素模塊3從0. 5至0. 9秒，像素模塊4從0. 75至1. 15秒。這樣，像素模塊的曝光時間將重疊(1與2重疊，2與 3重疊，3與4重疊，4與1重疊)。曝光時間的間隔可根據(jù)物體 的轉(zhuǎn)變或移動速度相應調(diào)整。
另一個方案是，像素模塊并非在總曝光時間的一小部分時間 內(nèi)依次曝光，他們可在總曝光時間Ti除去短暫的光線遮擋時間 內(nèi)曝光。光線遮擋時間可以在每一像素模塊之間輪轉(zhuǎn)，遮擋時間 內(nèi)的像素值可通過N條線性方程計算出來，其中N為未知值。例 如，短暫的遮擋時間可以是Ti/N,其中Ti是總曝光時間，N是 像素模塊的數(shù)量，每一像素的曝光時間即為Ti - Ti/N,當N為 較大的數(shù)值是，每一像素的曝光時間接近于總的曝光時間Ti。在 低分辨率圖像帶有諸如光強誤差時，每一像素的光強可以從鄰近 的像素中推斷得出，這一處理具有以下優(yōu)點在低光強的環(huán)境中 獲得的全分辨率幀圖像的光亮度接近于傳統(tǒng)傳感器獲得的全幀圖 像。
圖1、 6、 7、 8是傳感器設備的多個不同的實際應用例子。 圖1中，隨機可達LCD像素電平快門陣列8位于傳感器陣列4表 面，傳感器陣列4是諸如CCD、 CMOS或EMCCD等設備?？扉T陣列 8,諸如鐵電快門設備，其透明度可以快速地改變，便于在入射 光線下將其背后的像素曝光。
如圖6所示的，可以使用硅基液晶(LCOS)設備將光線反射 至像素上。從物體14出射的光線經(jīng)過物鏡16的聚焦后反射至偏 振濾光器(或分束器)18上，進而入射至LC0Si殳備20中，LCOS 設備20將偏振光束按照使用者選擇的模型反射出去。光束經(jīng)過 偏振濾光器18后聚焦通過目鏡22入射至包含有CCD探測器的傳 感器4中。當然，若使用一個反射像素電平快門(LCOS或DMD),從被 遮擋像素出射的光線能聚焦至與一個CCD探測器相對的另一 CCD 探測器中，這將確保CCD成像時捕捉多數(shù)光線。
指定像素的光強度值可以被集合以生成一 張光亮的高分辨率圖像。
如圖7所示的設置中，快門陣列8與CCD傳感器設備4之間 具有一定距離，并設有兩組透鏡，其中第一組透鏡24位于快門 陣列8的前方，用于將物體14的圖像聚焦至快門陣列。第二組 透鏡26位于快門陣列與CCD傳感器4之間，用于將快門陣列形 成的圖像聚焦至CCD傳感器4中?？扉T陣列8，諸如鐵電LCD快 門陣列，用于根據(jù)情況遮擋從傳感器陣列出射的光線或允許光線 從傳感器陣列中通過。
如圖8所示的設置中，高速數(shù)字微鏡設備(DMD) 28設置在 一對物鏡30的焦平面上，物鏡30用于將物體14的圖像聚焦在 DMD28的表面上。麗D28包括一個隨機可達的微型透鏡32陣列， 微型透鏡32可在驅(qū)動電壓的驅(qū)動下前后傾斜。DMD陣列具有0. 7 英寸的1024 x 768的雙穩(wěn)態(tài)微型透鏡，其能容易并合適地實現(xiàn)每 秒16， 000全陣列透鎮(zhèn)3莫型的質(zhì)量。
微型透鏡32可設置成將入射光線反射至CCD傳感器陣列34 的第一角度，或者設置成將光線反射至光陷阱36的第二角度。 第二組透鏡38位于DMD28與傳感器34之間，用于將在DMD表面 形成的圖像聚焦至傳感器34中。這樣，DMD28可用于控制入射光 線對每一像素的曝光。
上述的實施例均使用動態(tài)遮蔽技術，光線只是在像素前被諸 如LCD快門設備或DMD陣列等實質(zhì)性地遮擋。實際應用時，本發(fā) 明還可以使用模擬實質(zhì)遮蔽技術的靜態(tài)片裝遮蔽技術，即將像素上的電荷順序地轉(zhuǎn)移到另一芯片上被遮蔽的無電荷區(qū)域，圖9是
應用這種技術的傳感器實施例的示意圖。
圖9中傳感器40被劃分為多列工作像素42以及與工作像素 42相互獨立的多列被遮蔽像素44，被遮蔽像素44被不透明的掩 膜遮擋在入射光線之下，因此不在圖像捕捉過程中參與工作。并 且，被遮蔽像素44可用作電荷存儲設備，每一被遮蔽像素44與 相鄰的工作像素42連接。工作時，電荷一列一列地從未被遮蔽 的一列工作像素中轉(zhuǎn)移至被遮蔽的一列非工作像素上。傳感器可 被設置成如圖9所示的那樣具有四個像素模塊，并被定義為像素 模塊l、像素模塊2、像素模塊3以及像素模塊4。像素模塊位于 曝光組46中，每一曝光組具有每一像素模塊的一列像素元件。
每一像素模塊的像素在曝光時間內(nèi)在光線中曝光，像素上的 電荷轉(zhuǎn)移至鄰近的一列遮蔽的像素上并被數(shù)字化，每一像素模塊 將依次重復這一過程，在每一 高分辨率的全幀圖像時間內(nèi)形成四 張時間分離的低分辨率圖像。這些嵌入的低分辨率圖像可以像電 影一樣順序播放，或者組合形成一張高分辨率的圖像。
'一旦電荷轉(zhuǎn)移至被遮蔽的像素上，未遮蔽的像素將馬上在光 線中再次曝光以捕捉下一 圖像。
下面將描述一個具有幀轉(zhuǎn)移結構靜態(tài)片裝遮蔽處理過程。
我們假設CCD中幀轉(zhuǎn)移數(shù)量為M列，其中芯片的部分暴露在 光線中，且每Ti秒生成一張高分辨率的圖像。曝光組由被指定 的相鄰N列組成，且每組第n列像素的電荷同時轉(zhuǎn)移至被遮擋區(qū) 域。
集聚在CCD的每一第n列上的電荷重復地在(n x Ti) /N時間 內(nèi)轉(zhuǎn)移到被遮蔽的區(qū)域上，這確保所有列電荷的轉(zhuǎn)移時間總和在 Ti秒內(nèi)。上述過程將重復進行，以使每列像素的總曝光時間為T 秒，但每列像素的曝光是交錯進行的。
18任一子區(qū)域內(nèi)第n列任一像素上的電荷可通過vMv前一列上像 素減去相鄰列像素計算出。
上述方案的一個實施例如下假設具有1000像素寬的圖像 區(qū)域一皮劃分為250個曝光組，每一曝光組具有四列Y象素， 一個全 幀圖像的曝光時間為1秒。每一曝光組的第一列在t = 0. 25秒的 時刻轉(zhuǎn)移至^皮遮蔽區(qū)域，第二列在t-O. 5秒時刻轉(zhuǎn)移至被遮蔽 區(qū)域，第三列在t = 0.75秒時刻發(fā)生轉(zhuǎn)移，而第四列在t = 0. 75 秒時刻發(fā)生轉(zhuǎn)移。 一旦任一列的電荷發(fā)生轉(zhuǎn)移，該列像素繼續(xù)在 光線中曝光，并在1秒后再次轉(zhuǎn)移至被遮蔽區(qū)域(也就是第一列 在t = 1. 25秒、2. 25秒等時刻發(fā)生轉(zhuǎn)移，第二列在t = 1. 5秒、 2. 5秒等時刻發(fā)生轉(zhuǎn)移)。
當然，通過將電荷在被遮蔽像素與工作像素上來回移動可實 現(xiàn)光線被短暫遮擋過程所實現(xiàn)的功能，另 一種實現(xiàn)方式是使用一 個CMOS探測器來存儲在捕捉一張高分辨率圖像時間內(nèi)不同時刻 下像素所產(chǎn)生的電荷。
圖10顯示了實現(xiàn)本發(fā)明的另一種方式。本實施例中，傳感 器設備5G具有一個640 x 640的像素陣列，并且像素52與其相 對應的快門元件(未示)被劃分成一百個像素組54,每一像素組 具有排列成8 x 8陣列的六十四個像素。4吏用時，每組54內(nèi)的六 十四個像素52依次曝光，例如，按照圖10中的標注1-64的順 序曝光。由本實施例可見，每一像素組54內(nèi)像素曝光順序是相 同的，這樣設置的順序能確保連續(xù)曝光的像素在空間上是相互分 離的。本實施例中，首先曝光的像素位于第一列第一行，第二個 曝光的像素位于第五列第一行，第三個曝光的像素位于第一列第 五行，如此類推。
將不同組合的像素信號輸出過程中，可以通過平衡時間分辨 率與空間分辨率來調(diào)整傳感器設備捕捉圖像時幀率與分辨率的關
19系。例如，傳感器設備捕捉的每一全幀圖像可以顯示成一張640 x 640像素的高分辨率圖像，也可以是六十四張順序播放的80 x 80像素的低分辨率圖像。這樣，可以將像素1至4合并形成一個 模塊(由于它們在相鄰的較短時間內(nèi)曝光)，像素5至8也類似 地合并形成一個一莫塊，如此類推，原來的六十四個^f象素組可合并 形成十六個像素模塊。所有的像素組也可以執(zhí)行相同的操作，這 樣將形成十六幀160 x 16(H象素的圖^f象。
當然，還可以進一步合并曝光時間鄰近的像素，時間或空間 分辨率的進一步合并是可以實現(xiàn)的。例如，如圖10所示的， <象 素1-16 (點填充)合并形成第一模塊，像素17-32 (條紋填充) 合并形成第二模塊，像素33-48 (網(wǎng)狀填充)合并形成第三模 塊，像素49-64 (無填充)合并形成第四模塊。這些合并后的模 塊形成的低分辨率圖像可用于生成四幀320 x 320像素的圖像序 列。通常， 一個具有N平方像素的傳感器，且該傳感器設有包括 A個快門元件的快門設備，在等式4mxD2 = A成立時，將形成具 有4m元素的圖像序列，其中D是一個等于圖像序列中每一圖像 尺寸(寬度和長度)的正整數(shù)，m是正整數(shù)。在原始快門組具有 足夠快門元件的前提下，這將允許使用者在圖像捕捉后決定這些 低分辨率圖像合適的空間以及時間分辨率。當然，由于合并后沖莫 塊的快門元件并不是同時曝光的，因此合并形成的新圖像序列中 的圖像會發(fā)生變形。例如，如圖IO所示的合并形成的四幀320 x 320像素圖像序列的清晰度可能低于如圖2至4所示的所獲得的 四元素圖像序列。
如果像素組的尺寸足夠大，并能確保順序曝光的像素之間有 足夠的距離，上述方案的多種變形可實現(xiàn)像素的隨機布置。理論 上說，像素組的尺寸可以做成所有像素形成一組的大小，這將允 許使用者合并當前相鄰近的所有像素以獲得合適的圖像序列。本發(fā)明可以應用在多種場合，下面將說明其中一些應用。 家用照相才幾
本發(fā)明可應用在照相機中，主要用于捕捉靜態(tài)圖像，并盡可 能地捕捉較高分辨率和幀率的電影。例如，如前所述的，照相機
可以每秒五幀的速度捕捉8.2百萬像素的連續(xù)圖像，也可以每秒 五十幀的速度捕捉0. 8百萬像素的電影。
給消費者帶來的好處是原始的高分辨率圖像可被轉(zhuǎn)換，且 數(shù)據(jù)存儲要求(存儲器中圖像大小)與傳統(tǒng)的數(shù)字照相機相同。 具體的應用包括視頻獲取和監(jiān)控照相機操作，這允許使用者同時 捕捉屏幕中某一細節(jié)的高分辨率圖像以及多張低分辨率圖像。
照相機的基本元件框圖如圖ll所示。照相機60具有將圖像 聚焦至CCD傳感器64上的透鏡62,傳感器64正前方設有LCD快 門陣列66,用于控制每一像素在入射光線下曝光。LCD快門陣列 66的工作由中央處理器(CPU) 68控制，CPU68還與傳感器64連 接以讀取傳感器傳送的數(shù)據(jù)。數(shù)據(jù)存儲在諸如閃存卡的存儲設備 70中。照相機包括一個與CPU68連接的快門復位器72以及控制 開關74,用于設置諸如照相機的工作模式。這些模式可以是"電 影/靜態(tài)"模式或"全靜態(tài)"模式，"電影/靜態(tài)"模式下，照相 機捕捉多張時間分離的低分辨率圖像，并可以類似電影一樣播放 或組合形成一張高分辨率的靜態(tài)圖像。"全靜態(tài)"模式下，所有 像素同時曝光以形成一張運動模糊較少的高分辨率圖像。照相機 可以包括傳統(tǒng)的設備，如反光鏡、用于檢查設置或查看所捕捉圖 像的顯示單元、用于控制透鏡62孔徑、焦距長度或聚焦的透鏡 控制、閃存單元或凄丈據(jù)輸出端口等。
科學成像
專業(yè)的高級照相機系統(tǒng)對高時間分辨率探測器有特殊的要 求，其或者有很低的空間分辨率(如Marconi CCD39,能以1千赫茲速度運行，但僅為80 x 80像素)，或者有較低的動態(tài)量程 (如增強型CCD或EMCCD，使用增益補償機器來補償因高幀率產(chǎn) 生的增高的幀讀取噪聲，但以動態(tài)量程急劇減少為代價)。本發(fā) 明能使傳統(tǒng)的低噪聲、高分辨率CCD捕捉高速圖像。
以下"i侖述其他優(yōu)點。
目前，同時具有準確的高時間分辨率與高空間分辨率的圖像 模型是無法建立的，但在生命科學領域卻需要應用這一技術。例 如，人們需要在高空間分辨率下監(jiān)控心臟肌肉的運動，同時需要 在高時間分辨率下監(jiān)控心電波活動。
高分辨率的百萬科學級CCD能在0. 1至1秒時間內(nèi)(取決于 該數(shù)據(jù)的深度以及照相機內(nèi)部電路結構)生成一幀圖像。大多科 學級的高分辨率CCD和EMCCD系統(tǒng)應用傳統(tǒng)的方法能才是高讀耳又速 度，其應用一種名為片裝集成(on chip binning)的技術，即 將芯片上的鄰近的像素分組以被高速度讀出。集成的NxN模型 能將速度提高N倍，但系數(shù)N仍小于應用前述技術所獲得的預期 效果。此外，集成的圖像不包含高空間分辨率數(shù)據(jù)。
新技術可定義任意的曝光組形狀(不規(guī)則的)，這將允許研 究人員根據(jù)需要成像的畫面中具體的特征來選用合適的速度與分辨率。
若低的空間分辨率可被接受，則可獲得較高的幀率，該技術 可在高動態(tài)量程下以毫秒級以下的幀時間成^f象。這將遠快于目前 低噪聲、高動態(tài)量程的科學領域探測器所能達到的。
提高信噪比(S/N):該新技術的另一重要優(yōu)點是在同等幀率 下，全幀讀取速度較現(xiàn)有片裝集成的慢。這將在更高速度下大大 提高信噪比，即讀噪聲影響信號質(zhì)量的問題得到有意義的改進。200880015174.8 可以預期的是，該技術進一步在可應用的新采樣協(xié)議中提高 空間和時間分辨率。
一個可能的應用是在不規(guī)則采樣時間上，在
像素電壓方面，4是高時間分辨率(相對于Lomb周期圖)，這在 目前的圖像處理技術中是無法實現(xiàn)的。
安全/機械領域前瞻
用于監(jiān)控變化的三維圖像，如通常的監(jiān)控應用或用于機器人 /機械監(jiān)視的照相機必然需要解決幾個問題， 一 個問題是若物體 正對照相才幾移動時，移動物體在傳感器上的成^f象大小跟物體與照 相機之間的距離成反比，這將導致靠近照相機的物體運動模糊十 分明顯，并且會遮蔽必要的細節(jié)。例如，監(jiān)控一群走在大街上或 建筑物大堂的人群，若他們太靠近照相機，他們的臉將變得模 糊。減少整個圖像的成像時間將降低遠離照相機物體的成像質(zhì) 量，因為對較遠物體發(fā)出光線的收集將減少。
本發(fā)明能通過在一幀內(nèi)改變快門組的數(shù)量(時間分辨率、空 間分辨率以及總曝光時間)來解決上述問題，因此可以優(yōu)化屏幕 上多個物體的成像。優(yōu)選地，將靠近照相機的物體整體放大，降 低空間分辨率要求并提高時間分辨率?？扉T組的尺寸可以根據(jù)一 個已知的屏幕(例如，在高速公路上使用安裝在高處且正對車流 方向的照相機來監(jiān)控汽車運行情況時，可將圖像頂部整體縮小， 并使用逐漸變化的快門組尺寸來保持用于每一汽車上像素的平均 數(shù)量不變)來選擇。當然，快門組的尺寸可以通過算法的方法 (例如在靜態(tài)圖像中從運動模糊中獲取光線流，這在Berthold 與Shunck編寫的"Determining Optical Flow",工程學報， MIT, 1980中有所描述)或量程搜索設備(如激光瞄準器等)來 動態(tài)選擇。
并且，對于感興趣的特定區(qū)域可以使用不同于圖像大部分區(qū) 域所使用快門組模型的分辨率成像。例如，監(jiān)控交通情況的照相
23機可通過控制合適的被選擇的排列成規(guī)則形狀像素的曝光時間來 獲取汽車車牌的高分辨率圖像，而使用低空間分辨率來監(jiān)控汽車運動。
使用該系統(tǒng)監(jiān)控汽車運行速度以及車牌時可通過照相機以低
空間分辨率(使用足夠大的快門組)連續(xù)地監(jiān)控汽車運動來實
現(xiàn)，而不需要使用雷達設備。計算機算法可計算汽車速度并動態(tài)
地改變快門組，根據(jù)實際需要形成全景圖像或以高空間分辨率形 成汽車車牌的圖像。
權利要求
1、一種圖像捕捉設備，包括一傳感器，所述傳感器具有由多個像素構成的工作區(qū)域，每一像素提供該像素曝光時形成的有用數(shù)據(jù)；一用于存儲所述多個像素形成的數(shù)據(jù)的數(shù)據(jù)存儲設備，所述多個像素組成多個像素模塊；所述圖像捕捉設備用于捕捉多張時間分離的低分辨率圖像，每一所述低分辨率圖像包含取自不同像素模塊形成的數(shù)據(jù)。
2、 根據(jù)權利要求1所述的圖像捕捉設備，所述圖像捕捉設 備通過組合所述多張低分辨率圖像的數(shù)據(jù)形成 一 張高分辨率圖像。
3、 根據(jù)權利要求1或2所述的圖像捕捉設備，其特征在 于至少一個像素模塊包含取自所述傳感器中幾乎全部工作區(qū)域 內(nèi)的^象素。
4、 根據(jù)上述任一項權利要求所述的圖像捕捉設備，其特征 在于至少 一個像素模塊包含少于所述傳感器中幾乎全部工作區(qū) 域內(nèi)的像素。
5、 根據(jù)上述任一項權利要求所述的圖像捕捉設備，包括具 有多個快門元件的快門陣列，每一快門元件用于控制一個像素的 曝光。
6、 根據(jù)權利要求5所述的圖像捕捉設備，其特征在于所 述快門陣列由多個可變透明度的多個快門元件構成。
7、 根據(jù)權利要求5所述的圖像捕捉設備，其特征在于所 述快門陣列由多個可變反射率的多個快門元件構成。
8、 根據(jù)權利要求6或7所述的圖像捕捉設備，其特征在 于所述快門陣列安裝于所述傳感器的所述工作區(qū)域上。
9、 根據(jù)權利要求6或7所述的圖像捕捉設備，其特征在 于所述快門陣列安裝于所述傳感器前方。
10、 根據(jù)權利要求5所述的圖像捕捉設備，其特征在于所 述快門陣列包括多個可變方向的快門元件。
11、 根據(jù)權利要求10所述的圖像捕捉設備，其特征在于 所述多個快門元件包括多個反射鏡，用于將光線反射至朝向所述 傳感器或反射至背離所述傳感器。
12、 根據(jù)權利要求5至11任一項所述的圖像捕捉設備，包 括一個用于控制所述快門陣列工作的控制設備。
13、 根據(jù)權利要求12所述的圖像捕捉設備，其特征在于 個快門元件。
14、 根據(jù)權利要求1至4任一項所述的圖像捕捉設備，其特 征在于每一像素與一電荷存儲設備連接，電荷可從所述像素轉(zhuǎn) 移至所述電荷存儲設備，所述圖像捕捉設備包括一個用于控制電 荷轉(zhuǎn)移的控制設備，用于捕捉所述多張時間分離的低分辨率圖 像。
15 、根據(jù)上述任一項權利要求所述圖像捕捉設備的一種照相 機，具有一透鏡，用于將光線聚焦至所述傳感器的所述工作區(qū)域。
16、 根據(jù)權利要求15所述的照相機，包括一個所捕捉圖像 的顯示設備，用于顯示 一 張高分辨率圖像或連續(xù)的低分辨率圖像。
17、 根據(jù)權利要求15或16所述的照相機，包括一個用于控 制所述多個像素模塊曝光的控制設備。
18、 圖像捕捉方法，應用在一包括一傳感器的圖像捕捉設備上，所述傳感器具有一工作區(qū)域，所述工作區(qū)域具有多個像素，該方法包括對所述傳感器進行曝光；存儲每一像素曝光時形成的數(shù)據(jù)，并捕捉多張時間分離的低 分辨率圖像，其中，所述像素組成多個像素模塊，每一低分辨率 圖像包含取自不同像素模塊形成的所述數(shù)據(jù)。
19、 根據(jù)權利要求18所述的方法，包括順序地曝光所述多 個像素模塊。
20、 根據(jù)權利要求19所述的方法，包括所述多個像素模塊 以預定的或隨才幾的或半隨機的順序曝光。
21、 根據(jù)權利要求18、 19或20任一項所述的方法，包括將 每一像素上的電荷轉(zhuǎn)移至電荷存儲設備，然后數(shù)字化所存儲的電 荷。
22、 根據(jù);K利要求18至21任一項所述的方法，包括通過組 合多張低分辨率圖像的數(shù)據(jù)形成一張高分辨率的圖像。
23、 根據(jù)權利要求22所述的方法，包括顯示所述高分辨率 圖像。
24、 根據(jù)權利要求18至21任一項所述的方法，包括依次播 放所述多個時間分離的低分辨率圖像。
25、 圖像捕捉設備，大體上如前所述，如一張或多張附圖所 表示或描述的。
26、 圖像捕捉方法，所述方法如前所述，如一張或多張附圖 所表示或描述的。
全文摘要
一種圖像捕捉設備(2)，包括具有工作區(qū)域的傳感器(4)，該工作區(qū)域具有多個像素(6)及控制每一像素曝光的快門陣列(8)，像素被劃分成多組像素模塊并用于捕捉多張時間分離的低分辨率圖像，這些低分辨率圖像可類似電影地連續(xù)播放或用于組合形成一張高分辨率靜態(tài)圖像。
文檔編號H04N5/225GK101690162SQ200880015174
公開日2010年3月31日 申請日期2008年5月8日 優(yōu)先權日2007年5月10日
發(fā)明者吉爾·布博 申請人:愛西斯創(chuàng)新有限公司