專利名稱：具有減小的圖像緩沖存儲器和最小處理用于通過服務(wù)中心回收的數(shù)字照相機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及手持?jǐn)?shù)字照相機(jī)和使用它們的方法，以及更具體地說，涉及具有簡化的電子系統(tǒng)和改由向其傳送照相機(jī)拍攝的圖像數(shù)據(jù)的工作站執(zhí)行的最小圖像處理的照相機(jī)。
背景技術(shù)：
電子照相機(jī)將景物成像到二維傳感器上，諸如電荷耦合器件(CCD)、互補(bǔ)硅上金屬器件(CMOS)(complementary metal onsilicon device)或其他類型的光傳感器。這些器件包括排列在小的二維表面上的大量光電檢測器(通常兩、三、四或更多百萬)，分別生成與照到元件的光或其他光輻射(包括與可見光波長相鄰的光譜的紅外和紫外線區(qū))的強(qiáng)度成比例的信號。通常在光柵模式中掃描形成圖像的像素的元件以便當(dāng)掃描它們時，生成一個接一個照到傳感器元件的輻射的強(qiáng)度的一系列數(shù)據(jù)流。通常通過使用交替分布在傳感器上、對每一個不同彩色分量(諸如紅、綠和藍(lán))敏感的光電檢測器獲得彩色數(shù)據(jù)。
這種電子照相機(jī)的流行形式是小的手持?jǐn)?shù)字照相機(jī)，將大量圖像幀的數(shù)據(jù)記錄為靜止圖像“快照”或形成運(yùn)動圖像的幀序列。在存儲在可移動非易失性存儲器，諸如磁帶盒或閃存卡之前，通常對照相機(jī)內(nèi)的每幀的數(shù)據(jù)執(zhí)行相當(dāng)大量的圖像處理。所處理的數(shù)據(jù)通常顯示在照相機(jī)外部上的液晶顯示器(LCD)器件上。在存儲在非易失性存儲器中之前，通常壓縮所處理的數(shù)據(jù)以便減少由用于每個圖像幀的數(shù)據(jù)占用的存儲容量。
通常處理由圖像傳感器獲得的數(shù)據(jù)以便補(bǔ)償照相機(jī)的缺陷和通常提高從數(shù)據(jù)獲得的圖像的質(zhì)量。用于傳感器的任何缺陷像素光電檢測器元件的校正是一個處理功能。另一個是白平衡校正，其中，設(shè)置原色的不同像素的相對大小來表示白色。該處理還包括解馬賽克(demosaic)各個像素數(shù)據(jù)，重疊來自傳感器的空間分離的單色像素的數(shù)據(jù)以便再現(xiàn)圖像數(shù)據(jù)中的多色像素。然后，該解馬賽克使得期望處理數(shù)據(jù)以增強(qiáng)和平滑圖像的邊緣。對于圖像上的照相機(jī)光學(xué)系統(tǒng)的噪聲和振動和傳感器光電檢測器中的振動的圖像數(shù)據(jù)的補(bǔ)償通常也在照相機(jī)內(nèi)執(zhí)行。其他處理通常包括伽馬校正、對比度擴(kuò)展、色度濾波等等的一個或多個。在2001年5月Robert Kremens，“Fundamental ofCamera Image Processing”的摘要中描述了這些圖像處理功能的幾個和其他，通過Rochester Institute of Technology(R.I.T)，Center forImaging Science，Digital Imaging and Remote Sensing Group和Pixelphysics，Inc.可在Internet上獲得。其是在照相機(jī)的LCD屏幕上顯示的處理數(shù)據(jù)以便當(dāng)稍后顯示或打印所存儲的數(shù)據(jù)時，所顯示的圖像原樣呈現(xiàn)給照相機(jī)的用戶。
所處理的數(shù)據(jù)通常還存儲在包括在照相機(jī)中的全幀緩沖存儲器中。然后，從該緩沖存儲器讀取數(shù)據(jù)，用于由數(shù)據(jù)壓縮算法壓縮。通過使用不同壓縮算法參數(shù)，可以使單幀壓縮多于一次，直到所壓縮的數(shù)據(jù)文件符合一些預(yù)定規(guī)則，諸如總大小不大于一些設(shè)定極限。因此，全幀的未壓縮數(shù)據(jù)被存儲在緩沖存儲器中達(dá)發(fā)生該壓縮處理所需的周期。通常由與照相機(jī)中的處理器芯片分開的集成電路芯片上的易失性存儲器來實(shí)現(xiàn)該緩沖器，并被選擇具有非?？斓拇嫒r間。
用于攝取靜止圖像的可回收、一次性使用手持?jǐn)?shù)字照相機(jī)也可獲得。由終端用戶按遠(yuǎn)低于傳統(tǒng)的數(shù)字照相機(jī)的價格購買這種照相機(jī)。終端用戶以類似于傳統(tǒng)的數(shù)字照相機(jī)的方式使用它，直到攝取多個圖像，填滿其內(nèi)部非易失性存儲器為止。此時，終端用戶將可回收照相機(jī)返回給服務(wù)中心，用于處理所存儲的圖像。隨后，將圖像作為硬拷貝相片或在標(biāo)準(zhǔn)存儲介質(zhì)，諸如磁帶或緊密盤(CD)上返回給終端用戶。然后，由服務(wù)中心或照相機(jī)的制造商，刷新該照相機(jī)，包括擦除其內(nèi)部存儲器，然后返回給零售點(diǎn)，諸如照相機(jī)商店、藥店等等以便重新出售，因此，術(shù)語“可回收”。可回收數(shù)字照相機(jī)僅具有內(nèi)部電子存儲器，用于存儲圖像。不具有可移動存儲器、無用于用戶顯示所捕獲的圖像的裝置，以及無用于終端用戶通過將它們傳送到個人計算機(jī)來檢索所存儲的圖像的裝置。所存儲的圖像僅能通過服務(wù)中心，通過可用于服務(wù)中心的裝置檢索?？苫厥諗?shù)字照相機(jī)在其制造型號、用法、處理和回收回銷售點(diǎn)方面與一次性使用照相膠片照相機(jī)類似。對該可行的商業(yè)模型，可回收數(shù)字照相機(jī)被設(shè)計成制造廉價，以及同時，使由服務(wù)中心交付給終端用戶的圖像質(zhì)量高。目前，可回收數(shù)字照相機(jī)使用捕獲和存儲圖像數(shù)據(jù)的方法，與用在上述傳統(tǒng)的數(shù)字照相機(jī)中的相同或非常類似。
因?yàn)閳D像數(shù)據(jù)壓縮用在可循環(huán)照相機(jī)中，能存儲在照相機(jī)中的圖像的數(shù)量足以吸引終端用戶，而沒有大的內(nèi)部非易失性存儲器的費(fèi)用。使用使最終壓縮圖像處于由大多數(shù)數(shù)字照相機(jī)使用的標(biāo)準(zhǔn)格式，JPEG標(biāo)準(zhǔn)格式的方法，來執(zhí)行壓縮。服務(wù)中心由這些JPEG格式圖像文件產(chǎn)生硬拷貝正片，或帶有以JPEG格式的圖像的計算機(jī)可讀介質(zhì)，或兩者，取決于客戶的請求。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個原理方面，以最小化照相機(jī)中進(jìn)行的處理量和復(fù)雜度的方式，在照相機(jī)處理器和數(shù)據(jù)處理工作站，諸如商業(yè)服務(wù)中心中的工作站之間，劃分將來自照相機(jī)中的傳感器的數(shù)字圖像變換成最終遞送到終端用戶的格式的過程。這通過將通常在數(shù)字照相機(jī)內(nèi)執(zhí)行的大部分或所有圖像處理轉(zhuǎn)移到工作站來完成。獲得圖像傳感器的信號輸出的原始或幾乎原始的數(shù)字?jǐn)?shù)據(jù)，或其壓縮版本，并存儲在照相機(jī)內(nèi)，然后傳送到工作站。除該圖像數(shù)據(jù)之外，可以連同圖像數(shù)據(jù)將各種支持?jǐn)?shù)據(jù)存儲在照相機(jī)內(nèi)，以便于向其傳送數(shù)據(jù)的工作站處理。這種支持?jǐn)?shù)據(jù)可以從先前的照相機(jī)校準(zhǔn)、從照相機(jī)內(nèi)的附加傳感器、從在不同條件下攝取的第二圖像導(dǎo)出，或從照相機(jī)內(nèi)圖像數(shù)據(jù)本身的分析獲得。用這種方式，除了降低照相機(jī)的復(fù)雜度和成本外，工作站還能提供被認(rèn)為太昂貴、實(shí)際太大、太浪費(fèi)時間或太浪費(fèi)電力而不包括在數(shù)字照相機(jī)內(nèi)的更強(qiáng)有力的處理。這導(dǎo)致由終端用戶通過降低復(fù)雜度和成本的數(shù)字照相機(jī)，獲得顯著提高質(zhì)量的照片。
根據(jù)本發(fā)明的另一方面，以還降低數(shù)字照相機(jī)的復(fù)雜度和成本的方式，通過所獲得的傳感器數(shù)據(jù)，在照相機(jī)內(nèi)實(shí)時和單遍(single-pass)壓縮圖像數(shù)字?jǐn)?shù)據(jù)。在照相機(jī)的處理器中實(shí)現(xiàn)的壓縮方法不受與標(biāo)準(zhǔn)，諸如聯(lián)合圖像專家組(JPEG)標(biāo)準(zhǔn)兼容的慣例約束，因?yàn)槟芑パa(bǔ)地構(gòu)造工作站以便從這種照相機(jī)接收壓縮數(shù)據(jù)，而仍然實(shí)現(xiàn)JPEG壓縮的優(yōu)點(diǎn)。從傳感器接收的整個數(shù)字圖像幀在壓縮前，不需要被存儲在圖像幀緩沖存儲器中，如通常在大多數(shù)數(shù)字照相機(jī)中所完成的。相反，在壓縮前，僅需要一次存儲圖像幀的數(shù)字化數(shù)據(jù)的一小部分。通過該方式，通常能從照相機(jī)消除通常專用于在壓縮前存儲圖像的單獨(dú)的數(shù)字存儲器集成電路芯片，從而降低其復(fù)雜度，消除由單獨(dú)的存儲器強(qiáng)加的操作約束，以及降低制造成本。如果完全要求整個圖像幀的臨時存儲，它僅是降低大小的壓縮圖像幀，而不是在其壓縮前，更大量的圖像幀的數(shù)據(jù)。因此，能相當(dāng)大地降低用于臨時圖像數(shù)據(jù)存儲的總需要。在服務(wù)中心的工作站處或其他地方，從用來存儲所捕獲的圖像工作產(chǎn)品的數(shù)字照相機(jī)中的非易失性存儲器檢索壓縮圖像，并解壓縮。在解壓縮后，工作站完成圖像數(shù)據(jù)的處理以便優(yōu)化圖像質(zhì)量和校正照相機(jī)中的缺陷、現(xiàn)在商業(yè)數(shù)字照相機(jī)執(zhí)行的所有處理，如上概述，以及更多。然后，使解壓縮和處理的圖像數(shù)據(jù)變成用于由彩色打印機(jī)利用的形式，用于寫在CD或DVD上，或一些其他終端應(yīng)用。當(dāng)將數(shù)據(jù)準(zhǔn)備成用于寫在CD上的標(biāo)準(zhǔn)格式文件時，工作站通過將數(shù)據(jù)壓縮成標(biāo)準(zhǔn)，諸如JPEG格式標(biāo)準(zhǔn)，來處理圖像。
根據(jù)本發(fā)明的另一方面，可以將數(shù)字照相機(jī)配置成快速連續(xù)地拍攝相同場景的至少兩個圖像，然后，處理兩個圖像的數(shù)據(jù)以便產(chǎn)生共同目標(biāo)場景的單個圖像，具有好于所獲得的圖像的任何一個的質(zhì)量的質(zhì)量，校正所獲得的圖像中的缺陷和/或補(bǔ)償照相機(jī)的局限。例如，當(dāng)在兩次曝光之間使照相機(jī)傳感器上的圖像偏移至少一個像素時，能消除圖像傳感器的缺陷像素對圖像的影響，在通過手持照相機(jī)的兩次連續(xù)曝光之間肯定發(fā)生極其小的偏移。用由另一圖像獲得的目標(biāo)場景的相同部分的數(shù)據(jù)來替換包含缺陷傳感器像素的影響的一個圖像的部分的數(shù)據(jù)，因?yàn)橥ㄟ^不同傳感器像素獲得兩個圖像之間的照相機(jī)運(yùn)動?？梢杂孟嗤绞絹硇Ｕ齻鞲衅?、照相機(jī)光學(xué)設(shè)備和電子系統(tǒng)的固定圖案噪聲的影響。用這種方式進(jìn)行這些校正的優(yōu)點(diǎn)在于它們是動態(tài)的，即，自動地校正隨時間的傳感器或光學(xué)設(shè)備變化，而不必單獨(dú)地測量它們。另一例子是通過在不同曝光條件下，獲得相同目標(biāo)場景的兩個或多個圖像，然后結(jié)合它們，來增加照相機(jī)傳感器的光敏動態(tài)范圍。這允許恢復(fù)由于傳感器像素飽和而太暗或太亮的所獲得圖像的部分細(xì)節(jié)。另外，可以通過使兩次曝光快速連續(xù)，然后用反拖尾算法來處理兩個圖像的數(shù)據(jù)，清晰化由于曝光期間的照相機(jī)移動而模糊的圖像細(xì)節(jié)。
上述本發(fā)明的方面和特征可以單獨(dú)或以各種組合一起實(shí)現(xiàn)，取決于應(yīng)用。本發(fā)明的另外的方面、優(yōu)點(diǎn)和特征將包括在示例性例子的下述描述中，應(yīng)當(dāng)結(jié)合附圖描述。為所有目的，通過參考，在此全部包含在該文獻(xiàn)中引用的所有專利、專利申請、文章和其他公開物。


圖1是手持?jǐn)?shù)字照相機(jī)的示意圖；圖2是用于由圖1的數(shù)字照相機(jī)獲取的圖像數(shù)據(jù)的工作站的框圖；圖3示例說明使用可回收數(shù)字照相機(jī)和服務(wù)處理中心的商業(yè)方法；圖4表示圖1的照相機(jī)的圖像傳感器的像素的示例性排列；圖5示意性地示例說明圖像幀的一部分；圖6總體上表示由圖1的照相機(jī)內(nèi)的處理器執(zhí)行的圖像數(shù)據(jù)處理的一個方面；
圖7是圖1的照相機(jī)的示例性處理器的框圖；圖8是圖7的處理器的示例性壓縮單元的框圖；圖9示例說明通過數(shù)據(jù)壓縮器，從圖像幀數(shù)據(jù)的單元讀取像素的優(yōu)選示例性順序；圖10是表示圖8的壓縮單元的操作的一個方面的流程圖；以及圖11提供解壓縮和進(jìn)一步處理從圖1的照相機(jī)接收的圖像數(shù)據(jù)的圖2的工作站的示例性技術(shù)。
具體實(shí)施例方式
在圖1的示意圖中示出了手持照相機(jī)形式的示例性視頻采集數(shù)據(jù)設(shè)備。該照相機(jī)示意性地示出包括外殼11、成像光學(xué)系統(tǒng)13以及經(jīng)線路19與處理器17通信的用戶接口15。接口15包括用戶操作的開關(guān)和控制，以及照相機(jī)的操作和狀態(tài)的指示器。也可以包括通過線路22由處理器17控制的可選閃光燈單元21。這種手持?jǐn)?shù)字照相機(jī)能很小，照相機(jī)體具有尺寸小于14cm長，8cm高，5cm厚，甚至更小，低于8×4×2厘米，以及鏡頭通常從本體凸出。
光學(xué)系統(tǒng)13能是單鏡頭，如所示，但通常是一組鏡頭。通過可調(diào)孔徑27和快門29，用可見光輻射將景物25的圖像23形成到圖像傳感31的二維表面上。傳感器31的電輸出33包含由掃描圖像23投射到其上的傳感器31的表面的各個光電檢測器產(chǎn)生的模擬信號。傳感器31通常包含按行和列的二維陣列排列的多個各光電檢測器，以便檢測圖像23的各個像素。通常通過用光柵模式掃描它們，按時序在輸出33中獲得與入射到各個光電檢測器的光的強(qiáng)度成比例的信號，其中，每次從左到右掃描光電檢測器的行，從頂行開始，以便產(chǎn)生可以重構(gòu)圖像23的視頻數(shù)據(jù)幀。將模擬信號33提供給模數(shù)轉(zhuǎn)換器電路芯片35，在圖像23的電路37中生成數(shù)字?jǐn)?shù)據(jù)。通常，電路37中的信號是表示入射到傳感器31的各個光電檢測器的光的強(qiáng)度的數(shù)字?jǐn)?shù)據(jù)的各個塊的序列。
在圖1的示例性照相機(jī)中，處理器17包括系統(tǒng)時鐘，以及由處理器在線路39上將時鐘信號提供給傳感器31和模數(shù)轉(zhuǎn)換器35。在處理器17中還生成用于同步傳感器31和處理器17的操作的另外的定時信號并在線路41上提供給傳感器31。另外，可以利用單獨(dú)的系統(tǒng)時鐘和/或可以在傳感器31中生成同步定時信號并提供給處理器17。通過控制和狀態(tài)線43，將處理器芯片17連接到可變孔徑27、快門29和照相機(jī)的其他部件以便控制它們。
由照相機(jī)捕獲的圖像數(shù)據(jù)可以存儲在安裝在照相機(jī)內(nèi)的非易失性存儲器45中。存儲器45能是商業(yè)上可獲得的半導(dǎo)體閃速電可擦可編程只讀存儲器(EEPROM)、小的可移動旋轉(zhuǎn)磁性或光盤、磁帶、具有備用電池的易失性半導(dǎo)體存儲器或能存儲由傳感器31獲得的圖像幀的視頻數(shù)據(jù)的其他非易失性存儲器。當(dāng)傳感器31獲得這些數(shù)據(jù)時，大量數(shù)據(jù)的各個幀的數(shù)據(jù)從處理器17經(jīng)過線47編程到存儲器45中?？刂凭€49允許處理器17控制存儲器45的操作。在線路51上，圖像數(shù)據(jù)的后續(xù)處理可用或所需的另外的圖像支持?jǐn)?shù)據(jù)連同它們支持的圖像幀數(shù)據(jù)也編程在存儲器45中。如別處所述，為了最小化照相機(jī)的成本，在圖1的照相機(jī)中執(zhí)行圖像數(shù)據(jù)的很少或不處理，除最好在存儲在合理大小的存儲器45中之前壓縮數(shù)據(jù)以外，以允許照相機(jī)能在耗盡存儲器的容量前，攝取和存儲足夠多個圖像幀。
盡管存儲器45能制成通過使用閃存卡或可移動小硬盤系統(tǒng)，可從照相機(jī)物理移出，該例子中的存儲器45永久安裝在照相機(jī)外殼11內(nèi)。當(dāng)用戶希望將圖像幀數(shù)據(jù)傳送到照相機(jī)外時，通過在線路55上接收從存儲器45讀出的數(shù)據(jù)的通信設(shè)備53執(zhí)行該操作。通信設(shè)備53能采用多個不同形式，諸如插口，在其中電纜可連接到圖像處理工作站、紅外數(shù)字?jǐn)?shù)據(jù)傳輸設(shè)備、射頻信號發(fā)射機(jī)或其他類型的無線數(shù)據(jù)通信鏈路。
參考圖2，通常示出了用于處理從照相機(jī)存儲器45讀出的圖像數(shù)據(jù)的工作站。通信設(shè)備57與照相機(jī)通信設(shè)備53互補(bǔ)，從照相機(jī)接收數(shù)據(jù)。這可以是通過電纜、紅外發(fā)射、射頻發(fā)射等等。處理器59處理所接收的圖像數(shù)據(jù)。該處理器能是個人計算機(jī)、網(wǎng)絡(luò)服務(wù)器等等。然后，所處理的圖像數(shù)據(jù)被提供給利用該數(shù)據(jù)的一些設(shè)備61。設(shè)備61可以是提供圖像數(shù)據(jù)的打印的彩色打印機(jī)，或存儲圖像數(shù)據(jù)的一些其他非易失性存儲器設(shè)備，諸如CD或DVD刻錄器(burner)、磁盤驅(qū)動器、閃存卡或磁帶驅(qū)動器。如果已經(jīng)壓縮在照相機(jī)存儲器45中存儲的圖像數(shù)據(jù)，那么處理器59將解壓縮數(shù)據(jù)。但處理器59的主要功能是執(zhí)行通常在數(shù)字照相機(jī)中執(zhí)行，但不在圖1的低成本照相機(jī)中執(zhí)行的圖像處理。可用在照相機(jī)外的計算機(jī)中的另外的處理能力和時間允許這種圖像處理更好地執(zhí)行以及還允許進(jìn)行現(xiàn)在不在手持?jǐn)?shù)字照相機(jī)中執(zhí)行的其他類型的處理。由處理器59進(jìn)行的處理還與利用設(shè)備61相互作用，諸如當(dāng)設(shè)備61包括打印機(jī)時包括軟件打印機(jī)驅(qū)動器，當(dāng)設(shè)備61包括CD或DVD存儲單元時，包括正常的JPEG壓縮等等。
圖3表示圖1的簡化數(shù)字照相機(jī)的一個使用，作為可回收照相機(jī)。這種照相機(jī)63首先由各個用戶從零售店購買。在用用戶攝取的圖像數(shù)據(jù)充滿其內(nèi)部非易失性存儲器45的容量后，用戶攜帶照相機(jī)63并交給包含如參考圖2所述的工作站的商業(yè)處理中心。然后，從存儲器中讀出在照相機(jī)63的非易失性存儲器中存儲的圖像數(shù)據(jù)，并讀入工作站的存儲器中。然后，用下述方式處理這些數(shù)據(jù)以便用當(dāng)前在手持?jǐn)?shù)字照相機(jī)中執(zhí)行的方式來校正和增強(qiáng)圖像，因?yàn)樵撎幚韽膱D1的照相機(jī)63的設(shè)計省略。然后，按用戶要求由數(shù)據(jù)產(chǎn)生相片、存儲JPEG壓縮格式的圖像數(shù)據(jù)的CD等等。然后，由處理中心擦除照相機(jī)63的存儲器45，以及照相機(jī)被發(fā)送到零售店由另一用戶購買。
圖3所示的處理中心是商業(yè)企業(yè)，其中，本發(fā)明的數(shù)字照相機(jī)的用戶帶著他或她的照相機(jī)，以便將數(shù)據(jù)下載到圖像處理工作站，完成圖像處理周期，并獲得硬拷貝相片和/或存儲介質(zhì)，諸如軟盤、CD或DVD，在其上存儲有由鏈接的支持?jǐn)?shù)據(jù)擴(kuò)充的從他們的數(shù)字圖像數(shù)據(jù)導(dǎo)出的標(biāo)準(zhǔn)數(shù)字圖像文件。如果數(shù)字照相機(jī)是可回收照相機(jī)并僅具有用于存儲圖像的內(nèi)部電子存儲器，而沒有可移動存儲存儲器，沒有用于照相機(jī)用戶可通過將它們傳送到個人計算機(jī)或其他一些設(shè)備來檢索所存儲的圖像的裝置，以及被設(shè)計成由服務(wù)中心，或照相機(jī)制造商來刷新并返回給銷售點(diǎn)以便再出售，則將遵循這一系列步驟。
然而，該使用模型不一定必須是這種情形。如果由終端用戶利用的圖1的數(shù)字照相機(jī)包括標(biāo)準(zhǔn)裝置，諸如USB2.0或IEEE1394接口，用于將由鏈接的支持?jǐn)?shù)據(jù)擴(kuò)充的數(shù)字圖像數(shù)據(jù)下載到另一設(shè)備，或可移動非易失性存儲器，本發(fā)明的圖像處理工作站不需要位于商業(yè)企業(yè)?；蛘咭部梢晕挥诮K端用戶的家中，并采用USB兼容的個人計算機(jī)的形式，加載適當(dāng)?shù)膱D像處理軟件，具有CD或DVD-R或RW刻錄能力。也能采用DVD刻錄器的形式，具有USB接口或可移動存儲器接口連接器，包含基于在此所述的原理的圖像處理軟件。這種DVD刻錄器另外包括用戶接口，允許終端用戶完成處理周期并將用戶圖像數(shù)據(jù)轉(zhuǎn)換成一個或多個標(biāo)準(zhǔn)圖像格式，以及這些格式的至少一種能在DVD播放器上播放。在這種DVD刻錄器上存在USB或IEEE1394接口允許終端用戶在現(xiàn)在可用于消費(fèi)者的許多彩色打印機(jī)的一個上創(chuàng)建他或她的處理圖像數(shù)據(jù)的硬拷貝相片。
現(xiàn)在描述圖1的照相機(jī)的結(jié)構(gòu)和操作的另外的細(xì)節(jié)。傳感器31可以是電荷耦合器件(CCD)、互補(bǔ)硅上金屬(CMOS)器件或其他類似的光傳感器。在小的二維表面上排列大量光電檢測器元件(通常二、三、四或幾百萬)，分別產(chǎn)生與入射到元件的光或其他光輻射(包括與可見光波長相鄰的光譜的紅外和紫外區(qū))的強(qiáng)度成比例的信號。通常用光柵模式掃描檢測圖像的像素的這些元件以便在輸出33中產(chǎn)生一系列模擬信號，提供當(dāng)掃描它們時，入射到逐個光電檢測器元件的輻射的強(qiáng)度。通過在光電檢測器前使用濾光器來提供彩色數(shù)據(jù)，將它們的靈敏度限制到不同彩色分量中的一個，諸如紅、綠和藍(lán)。
圖4示例說明根據(jù)一個廣泛使用的標(biāo)準(zhǔn)，可以在傳感器31內(nèi)使用的彩色馬賽克中，圖像23的各個像素的光敏檢測器的二維陣列的一部分。交替行65每個包括交替對綠(GR)和紅(R)敏感的光電檢測器，而中間行的光電檢測器對藍(lán)(B)和綠(GB)敏感。由于眼睛對綠更敏感，對綠敏感的光電檢測器是對紅或藍(lán)敏感的光電檢測器的二倍。盡管在陣列上，綠敏感光電檢測器是相同的，在行65中的那些被表示為GR以及在行67中的那些被表示為GB以便分別將紅行中的那些與藍(lán)行中的那些區(qū)分開來。在此所述的例子中，與來自藍(lán)行中的那些分開處理來自紅行中的綠敏感光電檢測器的數(shù)據(jù)。
盡管從圖1的照相機(jī)全部或幾乎全部省略圖像處理，為了最小化其復(fù)雜度和成本，當(dāng)前期望在存儲在非易失性存儲器45之前，壓縮圖像數(shù)據(jù)。這允許在存儲器45中存儲足夠多個圖像數(shù)據(jù)，使得照相機(jī)在商業(yè)上期望，而不必承受非常大的容量存儲器的成本。這可隨著存儲器成本繼續(xù)下降而改變，在這種情況下，來自傳感器31的原色數(shù)據(jù)將在數(shù)字化后直接存儲在存儲器45中，而很少或沒有另外的處理。然而，在此的例子提供圖1的照相機(jī)內(nèi)的圖像數(shù)據(jù)壓縮。
在此所述的用在照相機(jī)中的壓縮算法是JPEG壓縮算法的改進(jìn)形式。參考圖5，來自傳感器陣列的光電檢測器的數(shù)據(jù)被組成到從傳感器31的陣列塊獲得的那些中，每個包含設(shè)定數(shù)目的光電檢測器的行和列。在所示的例子中，每塊包含8行和8列，但其他行或列數(shù)能定義到一個塊內(nèi)。在該例子中，來自每個單元內(nèi)的R、GR、B和GB像素的數(shù)據(jù)被單獨(dú)地壓縮并存儲在存儲器45中。
該圖像數(shù)據(jù)壓縮總體上如圖6所示。所有最好在單個集成電路芯片上的為處理器17的一部分的小易失性緩沖存儲器從模數(shù)轉(zhuǎn)換器35接收圖像像素數(shù)據(jù)流。當(dāng)按傳感器31的陣列上的順序?qū)D像幀的行接收時，寫入該數(shù)據(jù)，交替用于R/GR和B/GB像素的行。一旦在緩沖器71中捕獲足夠的數(shù)據(jù)，用于處理單元的圖像行數(shù)，在圖6的例子中，跨越顯示器的所有列，則按不同于寫的順序從緩沖器71讀取數(shù)據(jù)，開始壓縮處理，以及當(dāng)來自低于已經(jīng)捕獲的那些的其他行的數(shù)據(jù)被寫入緩沖器中時繼續(xù)。如圖6所示，對于從存儲在緩沖器的第一部分73中的8行圖像幀數(shù)據(jù)讀取的數(shù)據(jù)執(zhí)行數(shù)據(jù)壓縮功能77-80，同時將后8行的數(shù)據(jù)寫入第二部分75。此后，從第二部分75讀取數(shù)據(jù)用于壓縮，同時將圖像的下8行的數(shù)據(jù)寫入第一部分73等等，直到已經(jīng)將整個圖像幀的數(shù)據(jù)寫入緩沖存儲器71并讀出。從存儲器71讀取數(shù)據(jù)和它們的壓縮最好與將數(shù)據(jù)寫入存儲器71一樣快地發(fā)生，以便維持處理的速度。
一旦已經(jīng)用8個圖像數(shù)據(jù)行裝滿緩沖存儲器71的部分73或75的一個，則按不同順序從所有那些行每次一個單元地讀取該數(shù)據(jù)，在該例子中，每單元8列像素。可以讀取、壓縮來自第一單元的所有紅(R)像素的數(shù)據(jù)并存儲在照相機(jī)存儲器45的區(qū)域83中，跟隨用于紅行中的綠(GR)像素的相同處理，壓縮數(shù)據(jù)存儲在存儲器45的區(qū)域85中。類似地，按順序從相同單元讀取藍(lán)(B)和綠(GB)數(shù)據(jù)，并將它們的壓縮版本存儲在存儲器45的各個區(qū)87和89中。這完成了在緩沖器71的一個部分中存儲的圖像幀數(shù)據(jù)的第一單元的壓縮和存儲。然后，對在相同緩沖部分中存儲的數(shù)據(jù)的第二單元重復(fù)該過程，直到已經(jīng)讀取、壓縮一個部分中存儲的8行數(shù)據(jù)上的所有數(shù)據(jù)單元并將壓縮數(shù)據(jù)寫入存儲器45為止。對緩沖器71的另一部分中存儲的數(shù)據(jù)，重復(fù)該過程，直到完成為止，然后回到第一部分等等，直到壓縮圖像幀的所有數(shù)據(jù)并存儲在非易失性存儲器45中為止。一旦這發(fā)生，可以通過傳感器31獲取另一圖像的數(shù)據(jù)，以及對新的圖像數(shù)據(jù)組重復(fù)該過程。
該處理技術(shù)具有要求緩沖存儲器71顯著地小于通用數(shù)字照相機(jī)的緩沖存儲器的主要優(yōu)點(diǎn)，其中，這種緩沖器存儲至少一個圖像幀的所有數(shù)據(jù)。通常通過在照相機(jī)中使用單獨(dú)的集成電路存儲器芯片并連接到處理器，來實(shí)現(xiàn)用于存儲未壓縮數(shù)據(jù)的這種全幀緩沖器。但這很昂貴以及兩個芯片之間的必要快速數(shù)據(jù)傳送易于產(chǎn)生必須在其周圍工作的噪聲環(huán)境。其中，緩沖器71足夠小，其能包括在處理器集成電路芯片上。緩沖器71能小于全幀緩沖器大小的15％或10％，或甚至小于5％，取決于處理的幀中和單元(圖5)中的相對行數(shù)。緩沖器71可以是全圖像幀緩沖器的大小的2％或更小。
當(dāng)從傳感器31獲得圖像數(shù)據(jù)，以及一次通過那個數(shù)據(jù)時，實(shí)時地執(zhí)行圖6概述的數(shù)據(jù)壓縮。圖6所示的壓縮步驟通常是JPEG標(biāo)準(zhǔn)處理。在步驟77中，每次對一個顏色的數(shù)據(jù)進(jìn)行離散余弦變換對于單個顯示單元。然后，在步驟78中量化變換系數(shù)，以及在步驟79中進(jìn)行Huffman編碼。然后，將編碼數(shù)據(jù)寫到緩沖存儲器80，用來使通過步驟79編碼數(shù)據(jù)的速率和將該編碼數(shù)據(jù)寫到非易失性存儲器45的速率同步。如果對非易失性存儲器45利用閃存，則緩沖器80需要足夠大以高速率保存數(shù)據(jù)，而以更慢速率將該數(shù)據(jù)寫到存儲器45，因?yàn)楫?dāng)前可用閃存的編程相當(dāng)慢。在任何情況下，由于在該點(diǎn)壓縮圖像幀數(shù)據(jù)，緩沖器80不需要如此大以致在照相機(jī)中要求單獨(dú)的存儲器芯片。步驟77-80所示的壓縮能用軟件或硬件實(shí)現(xiàn)，主要的硬件實(shí)現(xiàn)如下所述。
通過監(jiān)視編碼器79的數(shù)據(jù)輸出并響應(yīng)地調(diào)整步驟78的量化級，來控制由壓縮產(chǎn)生的數(shù)據(jù)量，如圖6中的虛線所示。如果由跨越8個像素行的圖像幀上的一條產(chǎn)生的壓縮數(shù)據(jù)量太高，則對下一數(shù)據(jù)條的壓縮調(diào)整量化級。然而，使單一這種調(diào)整小，因此，對逐條的最終解壓縮圖像沒有顯著的影響。在全幀緩沖的其他照相機(jī)設(shè)計中，可通過不同量化級多于一次地壓縮圖像幀數(shù)據(jù)，直到獲得所需大小的壓縮數(shù)據(jù)文件為止。但在此描述的照相機(jī)系統(tǒng)中，只有一個機(jī)會執(zhí)行該壓縮，具有在壓縮前不需要全幀緩沖器，以及加速壓縮處理，導(dǎo)致降低采集連續(xù)圖像間的時間延遲的顯著優(yōu)點(diǎn)。
照相機(jī)處理器17(圖1)在開始圖像壓縮的過程前，執(zhí)行來自傳感器31的圖像數(shù)據(jù)的最少量預(yù)處理。在一個實(shí)施例中，根本不執(zhí)行預(yù)處理，從而使預(yù)處理功能的成本降低到零，以及保持屬于原始傳感器圖像數(shù)據(jù)的最大信息量，以便用在照相機(jī)外執(zhí)行的工作站中的處理中。通常由現(xiàn)有的數(shù)字照相機(jī)執(zhí)行，但在此由工作站執(zhí)行的預(yù)處理功能是，例如缺陷像素校正、白平衡補(bǔ)償、黑色電平校正、對比度擴(kuò)展、解馬賽克、伽馬校正、像素格式轉(zhuǎn)換、邊緣增強(qiáng)、色度濾波和鏡頭黑斑校正。為校正目的執(zhí)行該數(shù)據(jù)處理，增強(qiáng)或者改善最終由處理數(shù)據(jù)形成的原始景物的質(zhì)量圖像。這些數(shù)據(jù)操作通常與另外發(fā)生的數(shù)據(jù)的任何壓縮無關(guān)。將圖像數(shù)據(jù)壓縮到表示所捕獲的圖像的更小數(shù)據(jù)量，然后，通過解壓縮重構(gòu)圖像數(shù)據(jù)不影響最終圖像，除了在壓縮過程中固有的丟失外。數(shù)據(jù)壓縮不具有校正、增強(qiáng)或者改善圖像質(zhì)量的目的或效果。
然而，期望在照相機(jī)中保持簡單的缺陷像素校正預(yù)處理，因?yàn)槲葱Ｕ南袼貢挂恍嚎s技術(shù)引入壓縮人為缺陷(artifact)。但除簡單的缺陷像素校正外，最好在工作站而不是照相機(jī)中執(zhí)行所有這些預(yù)處理功能，從而簡化照相機(jī)和對實(shí)際上不能包括在照相機(jī)中的作業(yè)提供更多處理能力。
為便于工作站的這些處理功能，圖1的數(shù)字照相機(jī)能在非易失性存儲器45中，基于逐個圖像保存與壓縮的捕獲圖像數(shù)據(jù)鏈接的支持?jǐn)?shù)據(jù)。支持?jǐn)?shù)據(jù)能采用在獲得感興趣的景物的圖像前后，以一個或多個預(yù)定時間間隔，在不同成像條件下獲得的一個或多個另外的全或局部圖像的形式。由于以一次通過實(shí)時地執(zhí)行本發(fā)明的壓縮操作，以及相對于壓縮時間、壓縮輸出數(shù)據(jù)率和壓縮數(shù)據(jù)大小可確定和可預(yù)測，當(dāng)從傳感器讀取圖像數(shù)據(jù)時，這些預(yù)定時間間隔可重復(fù)并能相當(dāng)短。因此，這些附加圖像與感興趣場景很好關(guān)聯(lián)。最好按與獲取的圖像數(shù)據(jù)相同的方式壓縮支持?jǐn)?shù)據(jù)，以便降低存儲這些數(shù)據(jù)所需的存儲器45的量。另外，可以在存儲在存儲器45中之前，由照相機(jī)處理器17二次采樣或平均支持?jǐn)?shù)據(jù)，以便降低支持?jǐn)?shù)據(jù)存儲需求。為進(jìn)一步降低存儲器使用，僅預(yù)定圖像區(qū)，或響應(yīng)預(yù)定規(guī)則的圖像區(qū)能作為支持?jǐn)?shù)據(jù)存儲在存儲器45中。定義這些感興趣的預(yù)定區(qū)的數(shù)據(jù)也將存儲在存儲器中。另外，支持?jǐn)?shù)據(jù)可以是在因子校準(zhǔn)期間，測量并在照相機(jī)的適當(dāng)存儲器中存儲的特定照相機(jī)的參數(shù)，或可在照相機(jī)使用期間動態(tài)確定或調(diào)整。與所捕獲的圖像數(shù)據(jù)鏈接的支持?jǐn)?shù)據(jù)通過從照相機(jī)接收的圖像數(shù)據(jù)的工作站操作，進(jìn)行可能的某些校正、增強(qiáng)和/或圖像質(zhì)量的其他改進(jìn)。為了向工作站提供能用來顯著地改善最終圖像質(zhì)量的支持?jǐn)?shù)據(jù)，可在下述情況下，捕獲支持?jǐn)?shù)據(jù)1)利用通過使用機(jī)械快門29被阻塞到達(dá)圖像傳感器的光，以便允許校正傳感器的固定模式噪聲；2)相同目標(biāo)場景，但在與感興趣的圖像相比不同的曝光級或多個級，以提供數(shù)據(jù)以便允許校正傳感器灰度級特性和提高圖像動態(tài)范圍；
3)在捕獲感興趣的圖像和捕獲支持?jǐn)?shù)據(jù)之間的不同時延間隔或多個間隔，以允許確定和校正在感興趣的目標(biāo)場景圖像的數(shù)據(jù)采集期間發(fā)生的照相機(jī)運(yùn)動；4)在相對于正捕獲的感興趣的場景的不同傳感器位置或多個位置，為便于有缺陷的像素的檢測和校正。注意小的位置偏差在快速連續(xù)捕獲的圖像之間自然發(fā)生。因?yàn)閭鞲衅魃系脑搱D像偏差，第一次通過缺陷像素讀取的圖像數(shù)據(jù)第二次將由相鄰工作像素讀取。因此，感興趣的場景捕獲和支持?jǐn)?shù)據(jù)捕獲之間的短時延提供了圖像數(shù)據(jù)處理工作站所需的信息，以便用良好圖像數(shù)據(jù)替代來自有缺陷像素的錯誤數(shù)據(jù)；以及5)在數(shù)字照相機(jī)工廠校準(zhǔn)時。
上述第一例子，固定模式圖像傳感器噪聲校正提供支持?jǐn)?shù)據(jù)概念的良好示例說明。這種噪聲由傳感器陣列的各個光電檢測器元件的稍微不同的特性產(chǎn)生。噪聲電平是溫度相關(guān)的，因此是動態(tài)的，表示隨時間改變，因此，需要在接近攝取圖像時的時間測量噪聲模式。在一個例子中，這通過正好在捕獲感興趣的場景后，從圖像傳感器讀出支持?jǐn)?shù)據(jù)來完成。在這種情況下，用于支持?jǐn)?shù)據(jù)的圖像需要是“黑圖像”，沒有光落在圖像傳感器上而捕獲的圖像。通過在數(shù)字照相機(jī)中包括機(jī)械快門29，可以在適當(dāng)時間，阻塞所有光到達(dá)圖像傳感器。壓縮該支持?jǐn)?shù)據(jù)并按與表示感興趣的場景的圖像數(shù)據(jù)相同的方式進(jìn)行存儲，除了壓縮碼的目標(biāo)容量可以更小以外，因?yàn)樵肼暤膭討B(tài)范圍遠(yuǎn)小于主圖像。因此，支持?jǐn)?shù)據(jù)的壓縮數(shù)據(jù)大小遠(yuǎn)小于感興趣的場景的數(shù)據(jù)的壓縮數(shù)據(jù)大小。在處理服務(wù)中心，解壓縮支持?jǐn)?shù)據(jù)和感興趣場景數(shù)據(jù)，以及基于逐個像素，從相應(yīng)感興趣的場景像素數(shù)據(jù)值減去支持?jǐn)?shù)據(jù)值。由于支持?jǐn)?shù)據(jù)值來自捕獲感興趣場景的圖像數(shù)據(jù)后的短時間攝取的黑圖像，它們表示在捕獲感興趣的圖像時每個傳感器元件的黑電平噪聲值。用這種方式，在照相機(jī)外，由工作站進(jìn)行用于圖像傳感器固定模式噪聲的校正。
如果圖1的照相機(jī)采用在圖像區(qū)的外圍外具有另外的元件，覆蓋有防止光撞擊到這些元件上的材料的圖像傳感器31，則來自這些黑元件的數(shù)據(jù)采樣能用作支持?jǐn)?shù)據(jù)。在工作站中，該支持?jǐn)?shù)據(jù)用來估計圖像區(qū)中的黑色電平噪聲。在一種圖像傳感器中，另外的元件能由在圖像區(qū)的左或右邊緣上的單列元件組成。當(dāng)讀出傳感器的每行時，也讀出其相關(guān)的黑元件。由于順序地讀出行，通常隨時間累積的噪聲逐行改變，以及來自黑元件的數(shù)據(jù)提供黑色電平噪聲的測量。當(dāng)隨后由工作站在照相機(jī)外處理圖像時，從那個行中的所有其他元件的值減去黑元件的輸出，從而從圖像中去除時間改變噪聲。
上述第二例子，圖像傳感器動態(tài)范圍的改進(jìn)提供支持?jǐn)?shù)據(jù)概念使用的另一例子。當(dāng)在特定曝光級捕獲感興趣的場景時，通常存在不能判別詳情的圖像區(qū)，因?yàn)樗鼈兊陀谧钚×炼乳撝祷蚋哂谧畲罅炼乳撝?。該技術(shù)是一或多次連續(xù)地捕獲相同圖像，但在不同曝光級。來自這些另外圖像捕獲的數(shù)據(jù)用作用于工作站的支持?jǐn)?shù)據(jù)。這在圖1的數(shù)字照相機(jī)中是可能的，由于上述實(shí)時、單遍圖像壓縮和存儲方法，在捕獲的圖像之間不會招致明顯的運(yùn)動。在工作站中，創(chuàng)建合成圖像，具有比任何一個單個圖像更多量的可見灰度級細(xì)節(jié)，從而增強(qiáng)圖像動態(tài)范圍。
注意，為使這種動態(tài)范圍增強(qiáng)的形式有效，不需要與圖像數(shù)據(jù)一起存儲存在于另外的圖像中的所有捕獲數(shù)據(jù)，并且可獲得作為用于工作站的支持?jǐn)?shù)據(jù)。例如，能以另外圖像的低分辨率版本、響應(yīng)圖像內(nèi)容包含動態(tài)范圍信息的另外圖像的處理版本，或另外圖像的壓縮版本的形式來存儲支持?jǐn)?shù)據(jù)動態(tài)范圍信息。另外，圖像處理工作站應(yīng)當(dāng)知道獲取支持?jǐn)?shù)據(jù)的條件，以便利用支持?jǐn)?shù)據(jù)來增強(qiáng)感興趣的圖像的動態(tài)范圍。例如，這些條件可以是通過比感興趣場景更長的曝光時間來捕獲另外的圖像，以便展現(xiàn)在第一圖像中不可見的場景的陰影區(qū)中的詳情，和/或通過比感興趣的場景更短的曝光時間來捕獲另外的圖像，以便展現(xiàn)在感興趣的場景中不可見的場景的高亮部分中的詳情。在工作站中，使用已知圖像對準(zhǔn)方法來校正兩個圖像間的小的運(yùn)動量，如果有的話。對每個等效元件，能使來自第一圖像的數(shù)據(jù)向左移以便增加其范圍，以及向其添加支持?jǐn)?shù)據(jù)，以便創(chuàng)建具有擴(kuò)展動態(tài)范圍的合成圖像。
能通過存儲與光學(xué)設(shè)備有關(guān)的動態(tài)支持?jǐn)?shù)據(jù)連同所獲得的圖像，在工作站中校正鏡頭13和照相機(jī)光學(xué)設(shè)備的其他部件的缺陷，諸如鏡頭黑斑。在一個例子中，在制造照相機(jī)時，由工廠按每個變焦和聚焦設(shè)置，校準(zhǔn)鏡頭，并將測量的校準(zhǔn)數(shù)據(jù)作為靜態(tài)信息存儲在非易失性存儲器中。當(dāng)捕獲圖像時，變焦和聚焦設(shè)置能作為支持?jǐn)?shù)據(jù)與來自感興趣的圖像的壓縮數(shù)據(jù)一起存儲，以及由工作站讀出用于那些設(shè)置的光學(xué)設(shè)備校正數(shù)據(jù)，用來執(zhí)行鏡頭黑斑校正。
支持?jǐn)?shù)據(jù)和工作站圖像處理的使用的另一例子是，在圖像捕獲時，在圖1的數(shù)字照相機(jī)內(nèi)不產(chǎn)生可視圖像的數(shù)據(jù)。該例子的數(shù)字照相機(jī)可使用計算機(jī)優(yōu)化的鏡頭。該鏡頭故意失真撞擊在傳感器上的圖像。通過工作站中的后續(xù)處理來消除所產(chǎn)生的失真。在這種情況下，鏡頭失真特性與圖像數(shù)據(jù)一起存儲在數(shù)字照相機(jī)非易失性存儲器45中。該鏡頭失真數(shù)據(jù)在照相機(jī)制造時，存儲在照相機(jī)的非易失性存儲器中。在這種照相機(jī)結(jié)構(gòu)的另一具體例子中，使用這種鏡頭能增強(qiáng)最終圖像的景深，如在Science News，Vol.163.No.13，March 292003，P.200中所述。由這種鏡頭產(chǎn)生的原始圖像的關(guān)鍵特性是被模糊，即，投射到傳感器31(圖1)上的圖像23不包含可見陡沿，因此，能比由傳統(tǒng)鏡頭產(chǎn)生的圖像更有效地壓縮圖像。實(shí)際上，能與如果在壓縮圖像數(shù)據(jù)前在照相機(jī)處理器中執(zhí)行失真去除處理相比，通過照相機(jī)處理器17更有效地壓縮圖像。結(jié)果，能通過不太嚴(yán)格的量化執(zhí)行壓縮，因此，產(chǎn)生比通過傳統(tǒng)的照相機(jī)鏡頭，或在壓縮前執(zhí)行失真消除處理的照相機(jī)可能的更高質(zhì)量最終圖像。
回到圖1的照相機(jī)，現(xiàn)在，將描述處理器17的結(jié)構(gòu)和操作。處理器17在一個實(shí)施例中，執(zhí)行下述功能1)圖像傳感器31的控制，包括可選生成信號，具有操作傳感器所需的定時；2)從傳感器31讀出數(shù)據(jù)，用于感興趣的圖像數(shù)據(jù)和支持?jǐn)?shù)據(jù)，包括監(jiān)視由傳感器產(chǎn)生的定時信號，或可選地，由處理器17產(chǎn)生的定時信號；3)所需傳感器曝光時間的計算；4)數(shù)字化傳感器數(shù)據(jù)的壓縮；5)將壓縮數(shù)據(jù)存儲在非易失性存儲器45中；6)通過自適應(yīng)控制壓縮過程來管理可用存儲器空間；以及7)管理照相機(jī)的用戶接口15。
圖7中示出了處理器17的實(shí)施例的框圖。處理器包括用如上所述的方式，與傳感器31和模數(shù)轉(zhuǎn)換器35連接的圖像接口93。具有相關(guān)的存儲器控制器97的存儲器接口95，在先前所述的線路47、49和51上與非易失性存儲器45連接。通用接口99將處理器17與用戶接口15、照相機(jī)內(nèi)的其他電子組件以及閃光燈單元21連接。處理器17還包括中央處理單元(CPU)101、曝光控制協(xié)處理器103、壓縮單元105和時鐘發(fā)生器107。
圖像傳感器接口93通過與由圖像傳感器接口93在線路39上提供的時鐘信號和線路41中的相關(guān)定時信號同步地采樣數(shù)據(jù)，從傳感器31讀取在線路37上出現(xiàn)的數(shù)字化圖像數(shù)據(jù)。根據(jù)為照相機(jī)選擇的特定類型傳感器，能由傳感器31或通過與傳感器有關(guān)的定時發(fā)生器生成定時信號。由傳感器接口93獲得的圖像數(shù)據(jù)被發(fā)送到兩個目的地，曝光控制協(xié)處理器103和壓縮單元105。
曝光協(xié)處理器103累積傳感器的照明度量。該單元充當(dāng)用于CPU101的協(xié)處理器，使用這些照明的度量來確定快門29的所需定時和通知傳感器31何時終止曝光。該曝光控制方法與用在傳統(tǒng)的數(shù)字照相機(jī)中的相同。
壓縮單元105包括用于條形存儲器(strip memory)(圖6)的隨機(jī)存取存儲器109。逐條(strip)自適應(yīng)地調(diào)整壓縮參數(shù)，以便確保壓縮的圖像適合非易失性存儲器45(圖1)中為它分配的空間。可完全由CPU101，或由CPU通過壓縮單元105中協(xié)處理器的幫助，或完全在壓縮單元中完成用于適應(yīng)的計算。CPU101執(zhí)行存儲在只讀存儲器中的指令以及在計算中使用少量讀-寫存儲器。
圖7的存儲器控制器97在組織為先入先出(FIFO)存儲器的存儲器111中緩沖由壓縮單元105產(chǎn)生的壓縮圖像數(shù)據(jù)，然后經(jīng)存儲器接口95將這些數(shù)據(jù)寫入非易失性存儲器45(圖1)。FIFO存儲器111實(shí)現(xiàn)如上所述的緩沖器(圖6)的功能。CPU101也經(jīng)存儲器接口95訪問非易失性存儲器45(圖1)。
在傳統(tǒng)的數(shù)字照相機(jī)中，預(yù)處理包括解馬賽克。該過程導(dǎo)致被稱為YCbCr的表示，其中，為傳感器陣列的每個元件指定亮度Y值。彩色分量Cb和Cr，其中，一個CbCr對與兩個或四個Y元件有關(guān)，用較低分辨率表示。因此，產(chǎn)生以及隨后被壓縮的YCbCr值的總數(shù)是陣列中元件數(shù)量的2或1.5倍。使用YCbCr表示，因?yàn)樗怯捎嬎銠C(jī)軟件使用的標(biāo)準(zhǔn)表示以便顯示數(shù)字照片，以及因?yàn)樗试S比源自壓縮其中存在用于陣列的每個元件的RGB三元組值的表示，另一標(biāo)準(zhǔn)表示更有效的壓縮。注意圖像傳感器通常將數(shù)字化傳感器元件值提供為10位數(shù)據(jù)，但8位用于Y、Cb和Cr值的每一個。因此，在傳統(tǒng)的數(shù)字照相機(jī)中出現(xiàn)的通用解馬賽克預(yù)處理操作中，10位數(shù)據(jù)必須在一些點(diǎn)被轉(zhuǎn)換成8位。
在圖1的照相機(jī)中，不執(zhí)行解馬賽克。延遲解馬賽克直到由工作站處理圖像為止。當(dāng)從傳感器的模數(shù)轉(zhuǎn)換器35接收圖像數(shù)據(jù)時，在照相機(jī)內(nèi)對圖像數(shù)據(jù)執(zhí)行壓縮。在壓縮前，如參考圖6所述，對應(yīng)于每個顏色的元件值被分成各個陣列，以及與其他無關(guān)地壓縮每個顏色陣列。為了提高由工作站在照相機(jī)外執(zhí)行的解馬賽克的質(zhì)量，與藍(lán)元件(GB)相同行中的綠元件分開處理與紅元件(GR)相同的圖4行中的綠元件是有利的，如上所述。因此，對于彩色元件值R、GR、GB、B的四個分量陣列進(jìn)行壓縮。每個陣列中的元件數(shù)是總傳感器元件的四分之一。
為了避免去除可能有用的信息的步驟和盡可能保存以便隨后由服務(wù)中心的解馬賽克計算使用，對于10位數(shù)據(jù)值的陣列進(jìn)行壓縮。這在保存工作站能用來校正由照相機(jī)處理器設(shè)備執(zhí)行的曝光控制中的誤差的傳感器數(shù)據(jù)的整個動態(tài)范圍方面有另外的優(yōu)點(diǎn)。已知在壓縮圖像期間執(zhí)行的量化的一個效果可以是動態(tài)范圍的一些減小，但該減小是局部效果，以及通過平均工作站處理中的圖像的更大區(qū)域，能保存用于曝光校正目的的動態(tài)范圍信息。
處理器17的圖像壓縮單元105(圖7)的框圖如圖8所示。由于相對于圖6，概括地描述了壓縮，執(zhí)行與前所述的塊相同功能的圖8的塊給予相同的標(biāo)記。壓縮方法廣義上與用在傳統(tǒng)的照相機(jī)中的JPEG壓縮類似，但具有一些修改，改善本實(shí)施例中單遍操作的特性。
第一步驟是將數(shù)字化傳感器數(shù)據(jù)存儲在臨時條形緩沖存儲器71中。如前所述，數(shù)據(jù)在緩沖器的輸入處逐行到達(dá)線37。緩沖器71保存一條16行圖像，因此，稱為條形緩沖器。緩沖器能設(shè)計成四個單獨(dú)的緩沖器，每個保存一條8行圖像元素，一個用于每個顏色分量。光柵至塊(raster to block)地址發(fā)生器115尋址存儲器71，使得當(dāng)讀出緩沖器的內(nèi)容時，改變元件的順序。如在JPEG標(biāo)準(zhǔn)中詳細(xì)所述，每次讀出一個塊，由彩色分量的相鄰元素的8行和8列組成，被稱為8×8塊，單色分量塊交錯，但以最適合應(yīng)用的方式。例如，如果JPEG標(biāo)準(zhǔn)按照字母，交錯將是[R]，[GR]，[GB]，[B]。然而，在該應(yīng)用中，更適合的交錯將是[R]，[GR]，[R]，[GR]，...，.[GB]、[B]、[GB]、[B]，...，.[R]、[GR]、[R]，[GR]，...，.[GB]、[B]、[GB]、[B]，...，其中，加括號的符號表示各個元素的8×8塊。這是因?yàn)樵趥鞲衅鞯闹鹦旭R賽克排列(圖4)中，R和GR元素的前8行條將是完整的，以及準(zhǔn)備在GB和B元素的前8行條之前有效地讀出。在開始讀出[GB]和[B]塊之前讀出的[R]和[GR]塊的數(shù)量取決于傳感器的寬度，即，一行中光電檢測器元件的數(shù)量。
當(dāng)已經(jīng)從緩沖器32讀出圖像元素塊時，由那些元素占用的空間是空閑的，用于下一條的采集。管理存儲器占用的一個簡單方法是為兩個完整條提供足夠的緩沖存儲器，以及在條形緩沖器之間交替，從一個讀取同時寫入另一個。地址發(fā)生器115在這種情況下是直接的。也可以通過實(shí)現(xiàn)更復(fù)雜的地址發(fā)生器來降低僅一條所需的存儲量，以便當(dāng)讀出塊時空閑的存儲器空間被來自下一條的新元素覆蓋。
當(dāng)圖像數(shù)據(jù)的每個顏色塊被讀出條形緩沖器71時，將其應(yīng)用于離散余弦變換(DCT)單元77，計算離散余弦變換，通常以由JPEG標(biāo)準(zhǔn)指定的細(xì)節(jié)。該應(yīng)用的實(shí)現(xiàn)和用在傳統(tǒng)的數(shù)字照相機(jī)中的一個區(qū)別是，保持結(jié)果的更高精度，因?yàn)榈絾卧妮斎氲木仁?0位而不是8位。更具體地說，保持13位精度而不是11位。由DCT單元輸出的結(jié)果的8×8陣列，被稱為DCT系數(shù)，均臨時存儲在塊存儲器117中，因?yàn)樵谠撨^程的下一步驟前，必須按不同順序讀出它。為避免停止DCT單元77，存儲器117包括兩塊存儲器，允許從一塊存儲器讀出一個結(jié)果塊，同時將下一結(jié)果塊寫入另一塊存儲器。
按平均最大化零值系數(shù)的運(yùn)行長度的順序，通過地址發(fā)生器119從塊存儲器117中讀出DCT系數(shù)。在JPEG標(biāo)準(zhǔn)中，該順序是Z字形順序，其中，沿對角順序地讀出系數(shù)。由于不要求遵守JPEG標(biāo)準(zhǔn)，能使用改進(jìn)Z字形順序的讀出順序。例如，能采用使從左上手元素到二維8×8塊中讀取的元素的距離單調(diào)地增加的讀出順序。如圖9所示，通過序號表示讀取順序。該交替讀出順序的選擇基于觀察到DCT系數(shù)的大小平均隨距離塊的左上角的距離而減小，從而提高零值系數(shù)的運(yùn)行長度將增加的機(jī)會。如在下述圖中所述，通過使用該讀出順序，而不是標(biāo)準(zhǔn)的Z字形順序，在圖像壓縮過程中，能使用更低量化平均級，因此，作為壓縮結(jié)果較小改變圖像。
通過使用采用量化值的表121的現(xiàn)有技術(shù)的選擇之一，在圖8的量化器78中量化DCT系數(shù)。然后，通過使用標(biāo)準(zhǔn)的Huffman編碼技術(shù)，由Huffman編碼器79Huffman編碼量化器78的輸出處的量化DCT系數(shù)。采用Huffman編碼來進(jìn)一步降低所生成的壓縮數(shù)據(jù)量。在執(zhí)行Huffman編碼的同時，還計數(shù)輸出的位數(shù)或其他單位數(shù)并可用于處理器(圖7)的CPU101。
使Huffman編碼器79的輸出打包成字節(jié)并臨時存儲在組織為FIFO的代碼存儲器80中，隨后由存儲器控制器97(圖7)永久存儲在閃存形式的非易失性存儲器45(圖1)中。所需的代碼存儲器80的大小取決于閃存的特性。如果閃存具有每字節(jié)足夠短的編程時間，則代碼存儲器80僅需要存儲壓縮圖像代碼的一部分，以便在代碼存儲器中產(chǎn)生代碼并在處理中寫入閃存中。如果閃存對該操作模式來說太慢，能將代碼存儲器80制成足夠大以包含整個圖像的壓縮代碼。
使用單遍壓縮方法，避免需要將未壓縮的原圖像存儲在幀緩沖器中，如多遍所需的。這消除了需要系統(tǒng)中大的隨機(jī)存取存儲器。多遍通常用在傳統(tǒng)數(shù)字照相機(jī)中，以確保壓縮碼大小不超出設(shè)定極限，該設(shè)定極限被計算以便允許所保證的最小數(shù)目圖像存儲在為該目的提供的非易失性存儲器中。除此之外，存在提供足夠存儲器將完整的未壓縮圖像存儲在傳統(tǒng)的照相機(jī)中的其他原因。一個原因是允許數(shù)字照相機(jī)的處理器在壓縮圖像前，執(zhí)行自動白平衡。在此所述的系統(tǒng)中，通過工作站，而不是通過照相機(jī)內(nèi)的處理器，來執(zhí)行白平衡處理。另一原因是支持重放所存儲的圖像并在電視機(jī)上直接顯示它們的能力。該重放功能不包括在這里所述的照相機(jī)中。
通過允許從圖像幀的逐條改變存儲器121(圖8)中的量化表，在圖1的照相機(jī)內(nèi)實(shí)現(xiàn)單遍壓縮。JPEG標(biāo)準(zhǔn)不允許單個圖像幀內(nèi)量化表的這種自適應(yīng)。存儲器121中的量化表的自適應(yīng)由CPU101執(zhí)行。
總之，圖8中所示的壓縮過程利用基本量化表，或基本量化表集，一個用于每個彩色分量或類似分量的組。為最佳性能，通過用代表性圖像集，以及將用在照相機(jī)中的傳感器來實(shí)施實(shí)驗(yàn)，預(yù)先最佳選擇適當(dāng)?shù)幕玖炕?，但如果失敗，從?shí)驗(yàn)已知、將用于許多類似的應(yīng)用的基表能在文獻(xiàn)中找到，例如在JPEG標(biāo)準(zhǔn)中提供為樣本的表。為確定將用在壓縮圖像條中的實(shí)際量化表，將每個基表乘以一個比例因子。該比例操作保存該表的整體形狀，但改變該表中的每個量化因子的量化級。由于可以由解壓縮從照相機(jī)接收的圖像數(shù)據(jù)的工作站使用相同的基表，僅用于每條的比例因子需要存儲在照相機(jī)的非易失性存儲器45中，連同表示該圖像的壓縮碼，以便工作站重構(gòu)在壓縮期間使用的實(shí)際量化表。
在圖10中示出了單遍壓縮過程的該方面。每次一個圖像幀條地壓縮數(shù)據(jù)。在壓縮每條的數(shù)據(jù)后，測量壓縮代碼的數(shù)量以及測量的數(shù)量用來調(diào)整用于下一條的量化級比例因子，以便調(diào)整由壓縮下一條引起的代碼量。在步驟131中，確定所壓縮的條是否是被壓縮的當(dāng)前圖像幀的第一條。如果是，在步驟133，將基本量化表值乘以初始比例因子以及在壓縮第一條開始前加載到量化表存儲器121(圖8)中?？梢酝ㄟ^用代表性圖像集預(yù)先實(shí)施實(shí)驗(yàn)，來選擇初始比例因子。不管是否是圖像幀的初始條，如步驟131所示，示例的處理部分等待直到已經(jīng)通過由確定的比例因子調(diào)整的量化表，壓縮圖像的指定條的數(shù)據(jù)為止。圖10中所示的剩余步驟導(dǎo)致確定比例因子，以便用在順序地壓縮下一圖像幀條中。
一旦已經(jīng)壓縮一個條的數(shù)據(jù)，則在步驟137(圖10)中，由CPU101讀取條的壓縮代碼量(圖7)。在步驟139，然后，CPU101計算將用于下一條的比例因子。如果發(fā)現(xiàn)存在比所期望更多的壓縮代碼，則設(shè)置用于下一條的比例因子以便降低最終代碼量。相反地，如果比接受的更少壓縮碼，則選擇用于下一條的比例因子以便增加代碼量。然后，相應(yīng)地調(diào)整用于壓縮下一條的量化表(步驟141)并在壓縮下一條開始前，存儲在量化存儲器121中(步驟143)。通過步驟145，然后，由圖10所示的處理部分轉(zhuǎn)移到下一條，以及通過參考由下一圖像條的數(shù)據(jù)獲得的壓縮代碼量，重復(fù)該順序。
調(diào)整比例因子利用目標(biāo)累積碼量的表，每條一個，在開始壓縮圖像前，由CPU101準(zhǔn)備。目標(biāo)條碼量是分配給每一條的壓縮代碼量，以及目標(biāo)累積碼量是所有條的目標(biāo)條碼量的總和并包括當(dāng)前條。相同的目標(biāo)條碼量能用于每一條，最好，該表能偏向包含圖像中心部分的條，將總圖像壓縮數(shù)據(jù)的更多分配給最感興趣的區(qū)域，其中，最重要的是最小化由量化引起的圖像細(xì)節(jié)的降質(zhì)。例如，能將總圖像壓縮數(shù)據(jù)的70％分配給圖像高度的中心50％，以及15％分配給頂部和底部的剩余25％部分。
如果在壓縮圖像條后，直到和包括那條的條碼量的總和超出該條的目標(biāo)累積代碼量，則增加用于下一條的比例因子，以便增加量化的量，并因此增加壓縮量。為避免由于突然比例因子調(diào)整而在條形邊界處的可見效果，最好每條使比例因子僅增加少量。如果在壓縮條后，直到和包括那條的條碼量的總和小于該條的目標(biāo)累積代碼量，則少量減少比例因子，但不允許小于初始比例因子的預(yù)定分?jǐn)?shù)。能通過用代表性圖像集進(jìn)行測試，經(jīng)驗(yàn)地確定用于該分?jǐn)?shù)的最佳值。
通過使用具有剛才所述的比例因子調(diào)整的單遍壓縮方法，可以更接近地滿足整個圖像的累積代碼量不超出目標(biāo)量的約束。因此，能存儲在指定存儲器量中的壓縮圖像數(shù)是可預(yù)測的。對于相同預(yù)測度，與不采用比例因子調(diào)整的JPEG標(biāo)準(zhǔn)壓縮的單遍實(shí)現(xiàn)相比，這允許實(shí)現(xiàn)更高圖像質(zhì)量級。
使用上述實(shí)時壓縮方法，在最小化臨時存儲器80(圖8)的量以便僅存儲整個壓縮圖像的一部分的數(shù)據(jù)的實(shí)施例中，必須匹配非易失性存儲器45(圖1)的壓縮和編程速度。由于某些類型的非易失性存儲器，諸如閃速的編程速度通常慢于SRAM或DRAM的速度，存儲器速度潛在地限制能使用的最小壓縮比。為了處理此，能降低讀出傳感器數(shù)據(jù)的速率，從而降低產(chǎn)生壓縮數(shù)據(jù)的速率。當(dāng)在通用電子快門模式中操作傳感器時，當(dāng)在照相機(jī)和場景之間存在相對運(yùn)動時，由于太慢讀出產(chǎn)生的圖像歪斜限制讀出速率的降低。如果使用機(jī)械快門，能進(jìn)一步降低讀出速率，因?yàn)閭鞲衅鞯乃胁糠值钠毓馔瑫r停止。通過利用具有與每個感光元件有關(guān)的存儲元件類型的圖像傳感器，在沒有機(jī)械快門的情況下，也能實(shí)現(xiàn)更慢讀出速率。在該傳感器結(jié)構(gòu)中，當(dāng)傳感器的曝光完成時，將所有傳感器元件的輸出同時存儲在它們各自的存儲元件上，然后，以比不存在存儲元件時更低的速率，讀出存儲元件。
除上述處理外，處理器17(圖1)也能監(jiān)視構(gòu)成照相機(jī)的用戶接口15的按鈕，例如快門按鈕和模式選擇按鈕，以及控制顯示例如捕獲到非易失性存儲器中的圖像數(shù)量、也是用戶接口15的一部分的可選狀態(tài)顯示器。處理器的其他功能可以是通過控制快門觸發(fā)器和從傳感器讀出圖像之間的時延來控制圖像的曝光，以及提供控制信號以便觸發(fā)可選閃光燈。這些后面的功能能由單獨(dú)的控制器執(zhí)行，但由于成本原因，最好采用同一處理器17來執(zhí)行這些附加功能。
在此所述的照相機(jī)處理的改進(jìn)允許處理器17被實(shí)現(xiàn)為非常小的集成電路。事實(shí)上，由于CMOS傳感器使用與處理器所需的CMOS技術(shù)相同的集成電路制造技術(shù)，處理器17(包括局部幀圖像數(shù)據(jù)緩沖器)、模數(shù)轉(zhuǎn)換器35和傳感器31可以形成在單個集成電路芯片上。這通過上述實(shí)時壓縮技術(shù)可行，因?yàn)閮H需要全圖像幀緩沖器的一小部分在壓縮前存儲數(shù)據(jù)。消除全幀緩沖器使得不必具有普通高速存儲器接口和處理器17。這種高速存儲器接口會將不可接受噪聲引入敏感的圖像傳感器。
由圖2的工作站的處理器59執(zhí)行的處理的例子如圖11所示。用于多個圖像的數(shù)據(jù)從照相機(jī)非易失性存儲器傳送到工作站內(nèi)的一些適當(dāng)?shù)拇鎯ζ?51。用于每個圖像的文件包含圖像的壓縮數(shù)據(jù)加上上述類型的支持?jǐn)?shù)據(jù)以及至少由照相機(jī)用于圖像數(shù)據(jù)壓縮的圖像的每條的量化比例因子。在所述的具體例子中，這些數(shù)據(jù)是以圖像數(shù)據(jù)的壓縮單元的形式，分別用于R、GR、B和GB顏色分量的每一個。在第一處理步驟153中，解壓縮這些數(shù)據(jù)以便提供R、GR、B、GB彩色數(shù)據(jù)的未壓縮形式。解壓縮算法當(dāng)然與用在照相機(jī)中以便壓縮圖像數(shù)據(jù)的壓縮算法互補(bǔ)，并使用相同的基本量化表。然后使用與圖像的每條一起使用以便在照相機(jī)中壓縮數(shù)據(jù)的比例因子，以導(dǎo)出用于在工作站中解壓縮每條數(shù)據(jù)的相同量化表值。
圖11的塊155表示通常在數(shù)字照相機(jī)中執(zhí)行的類型的解壓縮圖像數(shù)據(jù)的處理，如上所述。下一處理步驟157可選地將圖像數(shù)據(jù)從RGB色空間轉(zhuǎn)換成亮度和色度色空間，諸如YUV、YCrCb或YIQ。一個原因是現(xiàn)在在工作站中完成的、通常在數(shù)字照相機(jī)中執(zhí)行的一些處理最好對于以亮度/色度格式時的數(shù)據(jù)執(zhí)行。步驟159表示該處理，其例子是白平衡校正。用于執(zhí)行轉(zhuǎn)換157的另一原因是，圖11中所示的處理的輸出的一些使用，諸如在標(biāo)準(zhǔn)電視機(jī)上顯示，要求或優(yōu)選以亮度/色度格式的數(shù)據(jù)。
另外，在圖11中未示出，一些應(yīng)用將包括根據(jù)通常識別的標(biāo)準(zhǔn)，諸如通過JPEG標(biāo)準(zhǔn)，由工作站處理器59(圖2)壓縮輸出圖像數(shù)據(jù)，用于由圖2的圖像利用設(shè)備61優(yōu)選使用。例如，如果圖像數(shù)據(jù)將通過圖像利用設(shè)備，諸如CD或DVD刻錄器存儲在CD或DVD光盤上，則將需要這種壓縮。擁有重放設(shè)備，諸如CD或DVD播放器的消費(fèi)者然后根據(jù)顯示標(biāo)準(zhǔn)，解壓縮圖像數(shù)據(jù)。
將意識到上述幾個獨(dú)特技術(shù)，諸如合并在數(shù)字照相機(jī)的非易失性存儲器中存儲的支持?jǐn)?shù)據(jù)和圖像數(shù)據(jù)，以便允許通過工作站優(yōu)化圖像處理，以及在工作站而不是照相機(jī)中執(zhí)行大多數(shù)或所有圖像數(shù)據(jù)預(yù)處理的特征不取決于將被實(shí)施的圖像壓縮。當(dāng)適當(dāng)?shù)姆且资源鎯ζ鞯某杀鞠陆禃r，在不利用任何類型的壓縮的情況下，仍能實(shí)現(xiàn)圖1的照相機(jī)，而且仍實(shí)現(xiàn)上述特征的優(yōu)點(diǎn)。另外，盡管已經(jīng)參考其示例性實(shí)施例，描述了本發(fā)明的各個方面，將理解到本發(fā)明有權(quán)在附加權(quán)利要求的整個范圍內(nèi)保護(hù)。
權(quán)利要求
1.一種捕獲和處理光輻射數(shù)據(jù)的方法，包括在手持照相機(jī)內(nèi)，生成來自傳感器的光輻射圖的至少一幀的數(shù)字?jǐn)?shù)據(jù)，該傳感器具有在其上入射該光輻射圖的光敏像素的陣列，在該照相機(jī)內(nèi)的非易失性存儲器中，存儲所生成的數(shù)據(jù)和執(zhí)行所生成的數(shù)據(jù)的至少第一處理所需的支持?jǐn)?shù)據(jù)，以便提高由此形成的最終光輻射圖顯示幀的質(zhì)量，隨后將所生成的數(shù)據(jù)和支持?jǐn)?shù)據(jù)從該照相機(jī)的非易失性存儲器傳送到工作站；以及通過使用所述支持?jǐn)?shù)據(jù)，在該工作站內(nèi)執(zhí)行所生成的數(shù)據(jù)的第一處理以便產(chǎn)生處理數(shù)據(jù)，由此，最終光輻射圖顯示幀具有提高的質(zhì)量。
2.如權(quán)利要求1所述的方法，其中，所述支持?jǐn)?shù)據(jù)包括至少一些在其上沒有入射光輻射的所述光敏像素的響應(yīng)數(shù)據(jù)，以及所述第一處理包括組合所述響應(yīng)數(shù)據(jù)和所生成的數(shù)據(jù)以便校正光敏像素的陣列中所生成的噪聲。
3.如權(quán)利要求1所述的方法，其中，所述支持?jǐn)?shù)據(jù)包括照相機(jī)內(nèi)將光輻射圖引導(dǎo)到傳感器上的光學(xué)系統(tǒng)特性數(shù)據(jù)；以及所述第一處理包括組合所述光學(xué)系統(tǒng)特性數(shù)據(jù)和所生成的數(shù)據(jù)以便至少校正光學(xué)系統(tǒng)的有缺陷光學(xué)特性。
4.如權(quán)利要求3所述的方法，其中，被校正的有缺陷光學(xué)特性是入射在傳感器上的光輻射圖中由光學(xué)系統(tǒng)產(chǎn)生的失真。
5.如權(quán)利要求1所述的方法，其中，所述支持?jǐn)?shù)據(jù)包括陣列的光敏像素中的有缺陷像素的數(shù)據(jù)，以及所述第一處理包括組合有缺陷光敏像素的數(shù)據(jù)和所生成的數(shù)據(jù)以校正有缺陷光敏像素的結(jié)果。
6.如權(quán)利要求1所述的方法，其中，所述支持?jǐn)?shù)據(jù)包括由所述至少一幀的第二半內(nèi)的傳感器產(chǎn)生的光輻射圖的第二幀的數(shù)字?jǐn)?shù)據(jù)，以及所述第一處理包括組合所述至少一幀和數(shù)字?jǐn)?shù)據(jù)的第二幀。
7.如權(quán)利要求6所述的方法，其中，組合所述至少一幀和數(shù)字?jǐn)?shù)據(jù)的第二幀校正陣列的光敏像素的有缺陷像素。
8.如權(quán)利要求6所述的方法，其中，組合所述至少一幀和數(shù)字?jǐn)?shù)據(jù)的第二幀校正第一或第二幀之一的光學(xué)輻射入射圖的至少一部分相對于傳感器的運(yùn)動結(jié)果。
9.如權(quán)利要求6所述的方法，其中，組合所述至少一幀和數(shù)字?jǐn)?shù)據(jù)的第二幀擴(kuò)展了光敏像素的有效動態(tài)范圍。
10.如權(quán)利要求1所述的方法，還包括在將它們存儲在照相機(jī)內(nèi)之前，壓縮所生成的數(shù)據(jù)和支持?jǐn)?shù)據(jù)。
11.一種捕獲和處理圖像幀的數(shù)據(jù)的方法，包括從包括光敏元件陣列的手持照相機(jī)內(nèi)的圖像傳感器，以多種原色，順序地生成表示多個圖像幀的像素的數(shù)字?jǐn)?shù)據(jù)；在照相機(jī)內(nèi)，通過下述的任何一個，將表示所生成的數(shù)字?jǐn)?shù)據(jù)的數(shù)據(jù)存儲在照相機(jī)內(nèi)的非易失性存儲器中，而不影響所存儲的數(shù)據(jù)(a)處理足以能顯示所述多個圖像幀的圖像的所生成的數(shù)字?jǐn)?shù)據(jù)；(b)將所生成的數(shù)字?jǐn)?shù)據(jù)處理成亮度/色度格式；以及(c)將表示所生成的數(shù)字?jǐn)?shù)據(jù)的數(shù)據(jù)的至少一個全幀一次存儲在幀緩沖器中，隨后將所存儲的數(shù)字?jǐn)?shù)據(jù)從照相機(jī)的非易失性存儲器傳送到工作站，以及用足以能顯示所述多個圖像幀的圖像的方式在工作站內(nèi)處理所存儲的數(shù)字?jǐn)?shù)據(jù)包括將傳送的數(shù)字?jǐn)?shù)據(jù)變換成YUV格式。
12.如權(quán)利要求11所述的方法，還包括將支持?jǐn)?shù)據(jù)從照相機(jī)傳送到工作站，以及當(dāng)在工作站內(nèi)處理所獲得的圖像幀數(shù)據(jù)時，使用該支持?jǐn)?shù)據(jù)。
13.如權(quán)利要求11所述的方法，其中，工作站內(nèi)的處理包括解馬賽克圖像幀數(shù)據(jù)，而不是在照相機(jī)內(nèi)執(zhí)行解馬賽克處理。
14.如權(quán)利要求13所述的方法，其中，工作站內(nèi)的處理還包括圖像幀數(shù)據(jù)的邊緣增強(qiáng)，而不是在照相機(jī)內(nèi)執(zhí)行邊緣增強(qiáng)處理。
15.如權(quán)利要求11所述的方法，其中，工作站內(nèi)的處理包括圖像幀數(shù)據(jù)的白校正，而不是在照相機(jī)內(nèi)執(zhí)行白校正處理。
16.如權(quán)利要求11所述的方法，其中，工作站內(nèi)的處理包括圖像幀數(shù)據(jù)的伽瑪校正，而不是在照相機(jī)內(nèi)執(zhí)行伽瑪校正處理。
17.如權(quán)利要求12所述的方法，其中，從照相機(jī)傳送到工作站的支持?jǐn)?shù)據(jù)包括在傳感器上沒有光的情況下獲得的圖像幀的數(shù)據(jù)，以及工作站內(nèi)的處理包括通過使用支持?jǐn)?shù)據(jù)來校正圖像幀數(shù)據(jù)的黑色電平噪聲，而不是在照相機(jī)內(nèi)執(zhí)行黑色電平噪聲的校正處理。
18.如權(quán)利要求12所述的方法，其中，從照相機(jī)傳送到工作站的支持?jǐn)?shù)據(jù)包括通過照相機(jī)內(nèi)的光學(xué)系統(tǒng)在圖像傳感器上成像的不均勻度數(shù)據(jù)，以及工作站內(nèi)的處理包括通過使用支持?jǐn)?shù)據(jù)，對于照相機(jī)光學(xué)系統(tǒng)成像的不均勻度校正圖像幀數(shù)據(jù)，而不是在照相機(jī)內(nèi)，執(zhí)行用于處理通過照相機(jī)光學(xué)系統(tǒng)成像的不均勻度的校正處理。
19.如權(quán)利要求12所述的方法，其中，從照相機(jī)傳送到工作站的支持?jǐn)?shù)據(jù)包括圖像傳感器的有缺陷像素的數(shù)據(jù)，以及工作站內(nèi)的處理包括通過使用支持?jǐn)?shù)據(jù)來校正有缺陷像素的圖像幀數(shù)據(jù)，而不是在照相機(jī)內(nèi)執(zhí)行有缺陷像素的校正處理。
20.如權(quán)利要求11所述的方法，還包括壓縮所獲得的圖像數(shù)據(jù)，然后將壓縮數(shù)據(jù)存儲在照相機(jī)中。
21.如權(quán)利要求20所述的方法，其中，在壓縮前，將所獲得的圖像幀數(shù)據(jù)存儲在具有低于存儲圖像幀所需的容量的15％的容量的緩沖存儲器中。
22.如權(quán)利要求11所述的方法，其中，獲得至少一個圖像幀的數(shù)字?jǐn)?shù)據(jù)包括從彼此的第二半內(nèi)的圖像傳感器，獲得第一和第二圖像幀的數(shù)字?jǐn)?shù)據(jù)，以及其中，工作站內(nèi)處理所獲得的圖像幀數(shù)據(jù)包括使用第二圖像數(shù)據(jù)來校正、增強(qiáng)或修改第一圖像的數(shù)據(jù)。
23.如權(quán)利要求22所述的方法，其中，處理包括使用第二圖像數(shù)據(jù)來提供由于有缺陷像素而丟失的第一圖像數(shù)據(jù)。
24.如權(quán)利要求22所述的方法，其中，處理包括使用第二圖像數(shù)據(jù)來校正第一圖像的固定圖案噪聲。
25.如權(quán)利要求22所述的方法，其中，處理包括使用第二圖像數(shù)據(jù)來校正第一圖像的運(yùn)動。
26.如權(quán)利要求22所述的方法，其中，使用第二圖像來擴(kuò)展超出由傳感器提供的第一圖像的動態(tài)范圍。
27.如權(quán)利要求11所述的方法，其中，存儲所獲得的數(shù)字?jǐn)?shù)據(jù)包括將所獲得的數(shù)字?jǐn)?shù)據(jù)存儲在照相機(jī)內(nèi)的不可移動非易失性存儲器中，以及其中，隨后從照相機(jī)傳送所獲得的圖像數(shù)據(jù)包括將數(shù)據(jù)從照相機(jī)的非易失性存儲器傳送到工作站中。
28.如權(quán)利要求27所述的方法，其中，無線地執(zhí)行將數(shù)據(jù)從非易失照相機(jī)存儲器傳送到工作站中。
29.一種在具有光電檢測元件的二維陣列的手持照相機(jī)內(nèi)，處理來自其上有圖像的傳感器的數(shù)據(jù)幀的方法，該光電檢測元件以多種原色生成數(shù)據(jù)，在照相機(jī)內(nèi)包括以原色的不同顏色，按時間順序從光電檢測元件讀取圖像數(shù)據(jù)，按從圖像上的順序條中的光電檢測器讀取的順序，將原色的不同顏色的圖像數(shù)據(jù)寫入第一存儲器中，按多種原色的不同顏色的圖像數(shù)據(jù)組，從第一存儲器讀取各個圖像條的圖像數(shù)據(jù)，其中，按一次將少于圖像數(shù)據(jù)幀的15％存儲在第一存儲器中的速率，進(jìn)行寫入和讀取，壓縮從第一存儲器讀取的圖像上的各個條內(nèi)的多個原色的不同顏色的圖像數(shù)據(jù)組，以及將壓縮的圖像數(shù)據(jù)組存儲在照相機(jī)內(nèi)的非易失性第二存儲器中。
30.如權(quán)利要求29所述的方法，其中，將壓縮圖像數(shù)據(jù)組存儲在第二存儲器中包括將永久連接在照相機(jī)內(nèi)的一個存儲器用作第二存儲器。
31.如權(quán)利要求29所述的方法，其中，在照相機(jī)中不進(jìn)行用于顯示圖像數(shù)據(jù)的處理。
32.如權(quán)利要求29所述的方法，其中，在照相機(jī)中不進(jìn)行解馬賽克、白平衡校正、伽瑪校正和鏡頭補(bǔ)償?shù)娜魏我粋€的處理。
33.如權(quán)利要求29所述的方法，還包括在照相機(jī)內(nèi)，讀取和在第二存儲器中存儲壓縮的多個圖像數(shù)據(jù)幀的組，此后，進(jìn)一步包括將所存儲的壓縮的多個圖像數(shù)據(jù)幀的組從第二存儲器傳送到照相機(jī)外的工作站。
34.如權(quán)利要求33所述的方法，還包括在工作站內(nèi)解壓縮壓縮的圖像數(shù)據(jù)組，以及處理解壓縮的圖像數(shù)據(jù)組以便以可以再現(xiàn)圖像的形式，形成用于多個幀的數(shù)據(jù)文件。
35.如權(quán)利要求34所述的方法，其中，工作站內(nèi)的處理包括所以解馬賽克、邊緣增強(qiáng)、白平衡校正和伽瑪校正。
36.如權(quán)利要求35所述的方法，其中，在照相機(jī)內(nèi)不產(chǎn)生用于解馬賽克、邊緣增強(qiáng)、白平衡校正和伽瑪校正的任何一個的處理。
37.如權(quán)利要求34所述的方法，其中，在照相機(jī)內(nèi)另外包括將用來在傳感器上形成圖像的照相機(jī)光學(xué)器件的特性存儲在第二存儲器中。
38.如權(quán)利要求37所述的方法，其中，照相機(jī)光學(xué)器件的特性從照相機(jī)的第二存儲器傳送到工作站，以及其中，工作站內(nèi)的處理包括對于照相機(jī)光學(xué)器件的特性來補(bǔ)償圖像數(shù)據(jù)。
39.如權(quán)利要求38所述的方法，其中，在照相機(jī)內(nèi)不執(zhí)行補(bǔ)償照相機(jī)光學(xué)器件的特性的處理。
40.一種手持照相機(jī)，在外殼內(nèi)包括二維傳感器，具有光輻射的各個光學(xué)檢測器的陣列，生成與以多種原色引導(dǎo)到傳感器上的光輻射有關(guān)的信號，光學(xué)系統(tǒng)，通過外殼定位，將光輻射場從照相機(jī)外引導(dǎo)到傳感器上，第一存儲器，按時間順序接收和臨時存儲引導(dǎo)到傳感器的各個檢測器上的光輻射值的數(shù)據(jù)，所述第一存儲器具有低于由傳感器的各個檢測器生成的、表示引導(dǎo)到傳感器上的光輻射的一個場的數(shù)據(jù)量的15％的數(shù)據(jù)量的存儲容量，處理器，讀出第一存儲器中的數(shù)據(jù)，以及壓縮所述用于多個原色的每一個的數(shù)據(jù)，第二存儲器，以非易失方式存儲光輻射的多個場的壓縮數(shù)據(jù)，以及通信設(shè)備，連接到第二存儲器，用于將壓縮數(shù)據(jù)文件傳送到外殼外。
41.如權(quán)利要求40所述的照相機(jī)，其中，至少所述傳感器、第一存儲器和處理器被形成在單個集成電路芯片上。
42.如權(quán)利要求41所述的照相機(jī)，另外包括連接的模數(shù)轉(zhuǎn)換器，從傳感器接收信號并為處理器和第一存儲器提供數(shù)字信號，以及其中，所述模數(shù)轉(zhuǎn)換器也形成在所述單個集成電路芯片上。
全文摘要
數(shù)字照相機(jī)系統(tǒng)，與現(xiàn)有系統(tǒng)不同地劃分捕獲、處理和存儲功能。手持?jǐn)?shù)字照相機(jī)與可以存在于商業(yè)圖像處理服務(wù)中心內(nèi)的工作站一起使用。在數(shù)字照相機(jī)內(nèi)執(zhí)行最少量的圖像數(shù)據(jù)處理，從而允許由于更低存儲器要求、更低處理要求以及更低功率要求的顯著數(shù)字照相機(jī)成本降低。在該數(shù)字照相機(jī)內(nèi)利用實(shí)時單遍圖像壓縮技術(shù)，以允許快速收集和存儲原始或最少處理的圖像數(shù)據(jù)。向其傳送圖像數(shù)據(jù)的工作站執(zhí)行通常在現(xiàn)有照相機(jī)內(nèi)完成的圖像處理。該處理利用與小照相機(jī)相比在這種工作站內(nèi)可能具有的增加的計算能力以及可以執(zhí)行這種處理的增加的時間。
文檔編號H04M1/21GK1806425SQ200480016199
公開日2006年7月19日 申請日期2004年5月19日 優(yōu)先權(quán)日2003年6月10日
發(fā)明者奧哈德·邁塔瓦, 丹尼爾·塞爾特茲, 伊特哈克·申博格 申請人:卓然公司