專利名稱：具有多個傳感器的hdr照相機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子照相機，尤其涉及用于捕獲多個曝光的方法和電 子照相機設(shè)備。本發(fā)明具有捕獲高動態(tài)范圍圖像方面的應(yīng)用。
背景技術(shù)：
真實世界的景象可在最亮的高亮部分和最暗的陰影部分的亮度 之間具有50,000:1的對比度。許多傳統(tǒng)的圖像格式和圖像呈現(xiàn)裝置(如 數(shù)字投影機、計算機監(jiān)視器等)僅能夠再現(xiàn)幾百比一的對比度。在這 種文件格式中，使用每顏色一個八比特數(shù)來指定像素亮度值并不罕 見。
高動態(tài)范圍("HDR，，)圖像格式允許記錄顯著高于傳統(tǒng)八比 特圖像格式的對比度的對比度。例如， 一些HDR格式使用每顏色16 或32比特來表示不同的亮度水平。
一種獲得高動態(tài)范圍圖像的圖像數(shù)據(jù)的方式是在不同的曝光水 平以傳統(tǒng)成像裝備獲取多個圖像。該技術(shù)在例如Debevec等人的 及ecov肌Vig歷g/r D"fl附/c 7 fl/ige J </iVmce Maps /ro附/^r7togm/;/rs， Proceeding of SIGGRAPH 97， Computer Graphics Proceedings, Annual Conference Series, 369-378頁(1997年8月，加利福尼亞州， 洛杉磯)，Addison Wesley, Turner Whitted編輯.ISBN 0-89791-896-7、 中有所說明，在此通過引用將其并入于此。
問題是多個圖像需要彼此對準(zhǔn)。這在大多數(shù)情況下需要使用三腳 架。此外，將照相機設(shè)置成拍攝適于組合成HDR圖像的多個圖像需 要關(guān)于用于每個圖像的曝光的適當(dāng)組合的重要知識。
HDR圖像正變成主流。需要可容易地獲取HDR圖像的方法和設(shè)備。

發(fā)明內(nèi)容
本發(fā)明提供用于在電子照相機中獲取多個曝光的方法和設(shè)備?？?br> 應(yīng)用該方法和設(shè)備來獲取可被組合以提供HDR圖像的圖像。根據(jù)本 發(fā)明 一些實施例的設(shè)備可包括具有多個圖像傳感器的電子照相機。
本發(fā)明的一個方面提供包括兩個或更多個圖像傳感器陣列的電 子照相機。圖像傳感器陣列中的至少一個具有高動態(tài)范圍。照相機還 包括用于選擇性地允許光到達(dá)所述兩個或更多個圖像傳感器陣列的 快門、用于選擇性地從圖像傳感器陣列讀出像素數(shù)據(jù)的讀出電路、以 及被配置成控制快門和讀出電路的控制器。控制器包括處理器和其中 包含有計算機可讀代碼的存儲器，該計算機可讀代碼在被處理器執(zhí)行
時使得控制器打開快門一段圖像捕獲時間段，以允許所述兩個或更多 個圖像傳感器陣列捕獲像素數(shù)據(jù)，并從所述兩個或更多個圖像傳感器 陣列讀出像素數(shù)據(jù)。
本發(fā)明的另一方面提供一種用于在電子照相機中生成高動態(tài)范 圍圖像數(shù)據(jù)的方法，該電子照相機包括兩個或更多個圖像傳感器陣 列，所述圖像傳感器陣列中的至少一個具有高動態(tài)范圍。該方法包括 允許光到達(dá)所述兩個或更多個圖像傳感器陣列 一段圖像捕獲時間段， 讀出在該圖像捕獲時間段期間由所述兩個或更多個圖像傳感器陣列 捕獲的像素數(shù)據(jù)，以及組合從所述兩個或更多個圖像傳感器陣列讀出 的像素數(shù)據(jù)以產(chǎn)生高動態(tài)范圍圖像數(shù)據(jù)。
以下說明本發(fā)明的其他方面和具體實施例的特征。


在示出本發(fā)明的非限制性實施例的附圖中
圖1示出用于行間轉(zhuǎn)移CCD的傳感器布局；
圖2是根據(jù)本發(fā)明一個實施例的電子照相機的框圖；以及
圖3是示出根據(jù)本發(fā)明另 一 實施例的方法中的步驟的流程圖。
具體實施例方式
在以下說明中，闡述了具體的細(xì)節(jié)以提供對本發(fā)明更透徹的理 解。然而，本發(fā)明可在不具有這些具體細(xì)節(jié)的情況下實施。在其他情 況下，沒有示出或具體說明公知的要素，以避免使本發(fā)明不必要地變 模糊。因此，說明書和附圖應(yīng)被認(rèn)為是示例性的，而不是限制性的。
本發(fā)明的一個方面提供一種被配置成捕獲單個圖像的多個曝光
的電子照相機?？墒褂迷摱鄠€曝光來創(chuàng)建高動態(tài)范圍(HDR)圖像。 現(xiàn)有技術(shù)中已知用于從多個啄光組合數(shù)據(jù)以產(chǎn)生HDR圖像的方法。 例如，在其內(nèi)容通過引用包括于此的Mann， S等人的fie/"g ^w力》/似/， w/幼 ^Z/g/似/ c"附emsv 五jc/ewf/,Vig i/j;w"附/c r朋ge co附6/w,'"g e/,j5^ew外/;/""f^y, Proc. IS&T 46th Annual Conference (1999年5月)，422-428頁，以及以上引用的Debevec等人的文章中 說明了一些這種方法。
電子照相機一般具有可打開以選擇性地允許光到達(dá)光敏芯片或 閉合以阻止光到達(dá)該芯片的快門。當(dāng)該快門打開時，鏡頭將圖像投射 到芯片上。該快門可例如包括機械快門。
該芯片測量一些像素位置處的光強度。代表各像素處的強度的值 可被讀出并存儲在存儲器中。光敏芯片一般還包括用于選擇光敏元件 在存儲于其中的數(shù)據(jù)被讀出之前收集光的時間量的裝置。這種裝置可 用作"電子快門"。例如，許多CCD芯片包括觸發(fā)將像素數(shù)據(jù)從光 敏像素讀出到被遮光的垂直數(shù)據(jù)寄存器的控制。發(fā)明人已確定提供具 有多個CCD芯片的電子照相機允許照相機同時捕獲單個圖像的多個
,圖1示出許多電子照相機中使用的類型的行間轉(zhuǎn)移電荷耦合器 件("CCD" )IO的傳感器布局。CCD10包括具有光敏元件的多個 成像區(qū)域12，和包括垂直寄存器14的存儲區(qū)域。在所示的實施例中， 成像區(qū)域12與垂直寄存器14在水平方向上交替。成像區(qū)域12每個 都包括多個像素16。每個像素16包括存儲電荷的傳感器。存儲的電 荷的量取決于傳感器檢測到的光子的數(shù)量。如圖l的箭頭所示，在圖像被曝光之后，表征存儲在像素16中的電荷的像素數(shù)據(jù)被遷移到垂 直寄存器14。
垂直寄存器14 (有時稱為"列寄存器")可覆蓋有不透明的掩 膜層(例如鋁片)以防止到來的光照射到垂直寄存器14上。在像素 數(shù)據(jù)沿垂直寄存器14向下遷移到水平寄存器18中時垂直寄存器14 保持電荷的特性。(該說明書中使用的術(shù)語"垂直"、"水平"和"向 下，，指的是圖l所示的元件的取向，而不是任何特定的物理取向)。 一般通過一個或多個放大器和/或其他信號調(diào)節(jié)電路(未示出)將像素 數(shù)據(jù)從水平寄存器18讀出到模數(shù)轉(zhuǎn)換器。
圖2示出了裝備有第一 CCD IOA和第二CCD IOB的電子照相 機20。 CCD 10A和10B中的每一個可在結(jié)構(gòu)上與圖1的CCD 10相 似，但是可具有不同的特性。例如，第一CCD IOA可包括具有普通 動態(tài)范圍的高分辨率傳感器。第二CCD 10B可包括具有高動態(tài)范圍 的低分辨率傳感器。在一些實施例中，第一CCD IOA的分辨率可以 是例如1920 x 1080或更高。第二 CCD 10B的分辨率在每個維度可低 到例如第一 CCD 10A的分辨率的1/4。此外，在一些實施例中，第一 CCD IOA可包括彩色傳感器，且第二 CCD 10B可包括單色傳感器。
照相機20包括用于選擇性地允許來自圖像的光到達(dá)CCD 10A 和10B的機械快門22。當(dāng)才幾械快門22打開時，到來的光通過光學(xué)系 統(tǒng)(未示出)被聚焦到CCD 10A和10B上?？刂破?4通過快門控制 線26控制快門22的打開和關(guān)閉?？刂破?4還通過CCD控制線28A 和28B控制CCD 10A和10B的垂直寄存器14和水平寄存器18的時 鐘計時。控制器24可包括例如微處理器運行軟件(例如固件25)。 控制器24通過數(shù)據(jù)線30A和30B從CCD 10A和10B接收像素數(shù)據(jù)。
控制器24可將像素數(shù)據(jù)存儲在存儲器32中。控制器24可例如 以如下數(shù)據(jù)結(jié)構(gòu)將像素數(shù)據(jù)存儲在存儲器32中，即，該數(shù)據(jù)結(jié)構(gòu)包 括包含HDR信息的第一部分，和包含色調(diào)映射數(shù)據(jù)的第二部分，如 通過引用包括在此的2004年12月24日提交的國際申請 No.PCT/CA2004/002199中所述。控制器24還可將基于像素數(shù)據(jù)的圖像顯示在觀看屏幕34上。觀 看屏幕34可包括例如高亮度顯示器以克服會使得觀看者觀看圖像變 得困難的環(huán)境照明。可替代地，觀看屏幕34可包括例如高動態(tài)范圍 顯示裝置，如通過引用都包括在此的2002年2月27日提交的國際申 請No.PCT/CA2002/000255和2003年3月13日提交的國際申請 No.PCT/CA03/00350中所7>開的高動態(tài)范圍顯示裝置。在這些實施例 中，照相機20可包括罩，以為高動態(tài)范圍顯示裝置遮蔽環(huán)境照明。
照相機20還包括用于允許用戶與控制器24相交互的接口 35。 接口 35包括快門釋放(shutter release )36?？扉T釋放36可由定時器、 電子信號、快門釋放按鈕等來觸發(fā)。
圖3示出用于使用如例如圖2的照相機20的具有多個CCD的 照相機來產(chǎn)生高動態(tài)范圍(HDR)圖像的方法IOO。盡管在具有兩個 CCD的照相機的背景下說明方法100，然而應(yīng)理解方法100可使用具 有多于兩個CCD的照相機來實踐。
在塊102中，方法IOO將照相機的鏡頭設(shè)置到適當(dāng)?shù)墓鈬?。該?圈可由照相機的曝光控制電路來設(shè)置?，F(xiàn)有技術(shù)中已知用于在數(shù)字照 相機中設(shè)置快門光圏的各種各樣的合適的系統(tǒng)。這種系統(tǒng)可將光圏設(shè) 置成用戶確定的值或可基于檢測到的光水平根據(jù)算法來設(shè)置光圏。
在塊104，清除第一 CCD 10A和第二 CCD 10B的像素中存儲的 任何電荷，且圖像捕獲時間段開始。在塊106，照相機的定時器倒計 時用于圖像捕獲的預(yù)定時間段。第一 CCD 10A和第二 CCD 10B可各 自被膝光相同的持續(xù)時間，但這并非在所有實施例中都必需。另外地 或可替代地，例如通過采用如通過引用都包括在此的2005年9月26 日提交的美國專利申請No.ll/236， 155和2006年7月24日提交的 No.ll/459，633中描述的技術(shù)，可操作第一 CCD 10A和第二 CCD 10B 中的任一個或二者來在圖像捕獲時間段期間捕獲多個曝光。
在第一CCD IOA和第二CCD 10B不4皮膝光相同的時間段的實 施例中，當(dāng)組合來自第一 CCD 10A和第二 CCD 10B的數(shù)據(jù)時可使用 時域插值4支術(shù)。在曝光第一CCD IOA和第二CCD IOB之后，在塊108，讀出表示第一CCD IOA和第二CCD 10B的{象素中存儲的電荷 的數(shù)據(jù)。在第一 CCD IOA和第二 CCD IOB各自僅曝光一次的實施例 中，可在圖像捕獲時間段之后讀出數(shù)據(jù)。在第一 CCD 10A和第二 CCD 10B中的任一個或二者捕獲多個曝光的實施例中， 一些數(shù)據(jù)可在圖像 捕獲時間段期間讀出且一些數(shù)據(jù)可在圖像捕獲時間段之后讀出。
在塊110，來自第一 CCD 10A和第二 CCD 10B的數(shù)據(jù)被組合以 產(chǎn)生HDR圖像。組合來自第一 CCD 10A和第二 CCD 10B的數(shù)據(jù)可 包括例如使用如國際申請No.PCT/CA2004/002199中描述的技術(shù)。從 第一 CCD 10A和第二 CCD 10B組合的數(shù)據(jù)可存儲在存儲器中。例如， 可以按包括包含HDR信息的第一部分和包含色調(diào)映射數(shù)據(jù)的第二部 分的數(shù)據(jù)結(jié)構(gòu)來存儲組合的數(shù)據(jù)，如國際申請No. PCT/CA2004/002199中所述，使得可從組合的數(shù)據(jù)產(chǎn)生普通的和動態(tài) 的范圍圖像。
盡管發(fā)明人已確定一般兩個CCD足以產(chǎn)生HDR圖像，但是根 據(jù)本發(fā)明特定實施例的照相機可包括多于兩個CCD。例如，使用多于 兩個CCD可在所得圖像中提供額外的動態(tài)范圍和/或顏色。此外，在 一些實施例中，兩個或更多個CCD中的至少一個可專門適于捕獲 HDR像素。
照相機中的控制器可被編程以組合來自兩個或更多個CCD的數(shù) 據(jù)，從而產(chǎn)生HDR圖像數(shù)據(jù)，并以任何合適的HDR格式存儲HDR 圖像數(shù)據(jù)。在進行該操作的情況下，可理解可以按對于用戶實質(zhì)上透 明的方式來獲得HDR圖像。
本發(fā)明的特定實現(xiàn)包括計算機處理器，該計算機處理器執(zhí)行使得 處理器執(zhí)行本發(fā)明的方法的軟件指令。例如，用于電子照相機的控制 器中的一個或多個處理器可通過執(zhí)行處理器可訪問的程序存儲器中 的軟件指令來實現(xiàn)圖3的方法。本發(fā)明還可以程序產(chǎn)品的形式來提供。 程序產(chǎn)品可包括任何承載一組計算機可讀信號的介質(zhì)，該計算機可讀 信號包括當(dāng)被數(shù)據(jù)處理器執(zhí)行時使得數(shù)據(jù)處理器執(zhí)行本發(fā)明的方法 的指令。根據(jù)本發(fā)明的程序產(chǎn)品可以具有各種各樣的形式中的任何形式。程序產(chǎn)品可包括例如物理介質(zhì)，如包括軟磁盤、硬盤驅(qū)動器在內(nèi)
的磁數(shù)據(jù)存儲介質(zhì)，包括CD ROM、 DVD在內(nèi)的光數(shù)據(jù)存儲介質(zhì)， 包括ROM、閃存RAM等在內(nèi)的電數(shù)據(jù)存儲介質(zhì)，或如數(shù)字或模擬 通信鏈路的傳輸型介質(zhì)。程序產(chǎn)品上的計算機可讀信號可被可選地壓 縮或加密。
當(dāng)以上提及組件(例如軟件模塊、處理器、組合件、裝置、電路 等)時，除非另有指示，對該組件的提及(包括對"裝置"的提及) 應(yīng)被理解為包括執(zhí)行所描述的組件的功能的任何組件作為該組件的 等同物(即功能上等同)，包括執(zhí)行本發(fā)明所示的示例實施例中的功 能的、在結(jié)構(gòu)上與所公開的結(jié)構(gòu)不等同的組件。
在上述公開的教導(dǎo)下對本領(lǐng)域技術(shù)人員來說將顯見的是，在不脫 離本發(fā)明的精神和范圍的情況下在本發(fā)明的實踐中許多改變和修改 是可能的。因此，本發(fā)明的范圍應(yīng)根據(jù)所附權(quán)利要求中限定的實質(zhì)內(nèi) 容來理解。
權(quán)利要求
1.一種電子照相機，包括兩個或更多個圖像傳感器陣列，所述圖像傳感器陣列中的至少一個具有高動態(tài)范圍；快門，用于選擇性地允許光到達(dá)所述兩個或更多個圖像傳感器陣列；讀出電路，用于選擇性地從所述圖像傳感器陣列讀出像素數(shù)據(jù)；以及，控制器，被配置成控制所述快門和所述讀出電路，所述控制器包括處理器和其中包含有計算機可讀代碼的存儲器，該計算機可讀代碼在被所述處理器執(zhí)行時使得所述控制器打開所述快門一段圖像捕獲時間段以允許所述兩個或更多個圖像傳感器陣列捕獲像素數(shù)據(jù)；以及，從所述兩個或更多個圖像傳感器陣列讀出像素數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的照相機，其中所述計算機可讀代碼在被 所述處理器執(zhí)行時使得所述控制器以高動態(tài)范圍數(shù)據(jù)結(jié)構(gòu)存儲從所 述兩個或更多個圖像傳感器陣列讀出的像素數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的照相機，其中所述高動態(tài)范圍數(shù)據(jù)結(jié)構(gòu) 包括包含高動態(tài)范圍信息的第一部分和包含色調(diào)映射數(shù)據(jù)的第二部 分。
4. 根據(jù)權(quán)利要求1所述的照相機，其中所述計算機可讀代碼在被 所述處理器執(zhí)行時使得所述控制器組合從所述兩個或更多個圖像傳 感器陣列讀出的像素數(shù)據(jù)以產(chǎn)生高動態(tài)范圍圖像數(shù)據(jù)。
5. 根據(jù)權(quán)利要求4所述的照相機，包括用于基于所述高動態(tài)范圍 圖像數(shù)據(jù)顯示圖像的觀看屏幕。
6. 根據(jù)權(quán)利要求5所述的照相機，其中所述觀看屏幕包括被配置 成顯示高動態(tài)范圍圖像的高動態(tài)范圍顯示裝置。
7. 根據(jù)權(quán)利要求6所述的照相機，包括用于遮蔽所述高動態(tài)范圍顯示裝置的罩。
8. 根據(jù)權(quán)利要求1所述的照相機，其中具有高動態(tài)范圍的所述圖 像傳感器陣列中的所述至少一個包括低分辨率圖像傳感器陣列。
9. 根據(jù)權(quán)利要求8所述的照相機，其中所述圖像傳感器陣列中的 另一個包括高分辨率圖像傳感器陣列。
10. 根據(jù)權(quán)利要求1所述的照相機，其中具有高動態(tài)范圍的所述圖 像傳感器陣列中的所述至少一個包括專門適于捕獲HDR像素的電荷 耦合器件。
11. 一種用于在電子照相機中產(chǎn)生高動態(tài)范圍圖像數(shù)據(jù)的方法， 該電子照相機包括兩個或更多個圖像傳感器陣列，所述圖像傳感器陣 列中的至少一個具有高動態(tài)范圍，所述方法包括允許光到達(dá)所述兩個或更多個圖像傳感器陣列 一段圖像捕獲時間段；在所述圖像捕獲時間段期間讀出所述兩個或更多個圖像傳感器 陣列捕獲的像素數(shù)據(jù)；以及，組合從所述兩個或更多個圖像傳感器陣列讀出的像素數(shù)據(jù)，以產(chǎn)生高動態(tài)范圍圖像數(shù)據(jù)。
12. 根據(jù)權(quán)利要求11所述的方法，其中允許光到達(dá)所迷兩個或更 多個圖像傳感器陣列 一段圖像捕獲時間段包括以所述圖像傳感器陣 列中的一個捕獲多個曝光。
13. 根據(jù)權(quán)利要求12所述的方法，其中讀出所述圖像捕獲時間段 期間由所述兩個或更多個圖像傳感器陣列捕獲的像素數(shù)據(jù)包括讀出 所述圖像捕獲時間段期間所述圖像傳感器陣列中的所述一個的第一
14.根據(jù)權(quán)利要求11所述的方法，包括將所述高動態(tài)范圍圖像數(shù) 據(jù)存儲在所述照相機可訪問的存儲器中。
15.根據(jù)權(quán)利要求14所述的方法，其中將所述高動態(tài)范圍圖像數(shù) 據(jù)存儲在所述存儲器中包括以如下數(shù)據(jù)結(jié)構(gòu)存儲所述高動態(tài)范圍圖 像數(shù)據(jù)，該數(shù)據(jù)結(jié)構(gòu)包括包含高動態(tài)范圍信息的第一部分和包含色調(diào) 映射數(shù)據(jù)的第二部分。
全文摘要
本發(fā)明涉及具有多個傳感器的HDR照相機。一種電子照相機包括兩個或更多個圖像傳感器陣列。圖像傳感器陣列中的至少一個具有高動態(tài)范圍。該照相機還包括用于選擇性地允許光到達(dá)所述兩個或更多個圖像傳感器陣列的快門，用于選擇性地從圖像傳感器陣列讀出像素數(shù)據(jù)的讀出電路，以及被配置成控制快門和讀出電路的控制器。該控制器包括處理器和其中包含有計算機可讀代碼的存儲器，該計算機可讀代碼在被處理器執(zhí)行時使得控制器打開快門一段圖像捕獲時間段以允許所述兩個或更多個圖像傳感器陣列捕獲像素數(shù)據(jù)，并從所述兩個或更多個圖像傳感器陣列讀出像素數(shù)據(jù)。
文檔編號H04N5/235GK101622862SQ200780049962
公開日2010年1月6日 申請日期2007年12月12日 優(yōu)先權(quán)日2006年12月12日
發(fā)明者G·J·沃德, H·斯特澤恩, W·海德里奇 申請人:杜比實驗室特許公司