專利名稱：具有改進感光度的圖像傳感器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有改進感光度的二維圖像傳感器。
背景技術(shù)：
電子成像系統(tǒng)依靠電子圖像傳感器來創(chuàng)建可視圖像的電子表示。
這類電子圖像傳感器的示例包括電荷耦合器件(CCD)圖像傳感器和有 源像素傳感器(APS)器件(由于用互補金屬氧化物半導(dǎo)體工藝來制造 APS器件的能力，APS器件通常稱作CMOS傳感器)。這些圖像傳感 器通常包括往往以行和列的規(guī)則圖案排列的多個感光像素。為了捕獲 彩色圖像，通常在像素的圖案上制造濾光片的圖案，其中不同的濾光 片材料用于使各個像素僅對可見光譜的一部分敏感。濾色片必然減小 到達各像素的光量，從而降低各像素的感光度。對于改進電子彩色圖 像傳感器的感光度或照相感速率以便允許以較低光級捕獲圖像或者允 許用較短曝光時間以較高光級捕獲圖像的需要持續(xù)存在。
圖像傳感器是線性的或者二維的。 一般來說，這些傳感器具有兩 種不同類型的應(yīng)用。二維傳感器通常適合于圖像捕獲裝置，例如數(shù)字 相機、蜂窩電話和其它應(yīng)用。線性傳感器往往用于掃描文檔。在任一 種情況下，在使用濾色片時，圖像傳感器都具有降低的敏感度。
線性圖像傳感器，由伊斯曼柯達公司制造的KLI-4104，包括像素 的四個線性單像素寬陣列，其中濾色片應(yīng)用于陣列中的三個，以便使 各陣列對紅、綠或藍中的任一個完全敏感，并且其中沒有濾色片陣列 應(yīng)用于第四陣列；另外，三個彩色陣列具有較大像素以補償因濾色片 而引起的感光度降低，并且第四陣列具有較小像素以捕獲高分辨率單 色圖像。當(dāng)使用這種圖像傳感器捕獲圖像時，將圖像表示為高分辨率、 高照相敏感度單色圖像連同具有大致相同照相敏感度的三個車交低分辨
率圖像，其中三個圖像中的每個對應(yīng)于來自圖像的紅、綠或藍光；因
此，電子圖像中的各點包括單色值、紅色值、綠色值和藍色值。但是， 由于這是線性圖像傳感器，因此要求圖像傳感器與圖像之間的相對機 械運動，以便掃描像素的四個線性陣列上的圖像。這限制了掃描圖像 的速度，并且妨礙了將這個傳感器用于手持相機中，或者捕獲包括運
動只于象的畫面。
在本領(lǐng)域還已知的是，Akira Muramatsu等人的美國專利4823186 中描述的電子成像系統(tǒng)包括兩個傳感器，其中每個傳感器包括像素的 二維陣列，但一個傳感器沒有濾色片而另 一個傳感器包括包含有像素 的濾色片圖案，并且其中具有為各圖像傳感器提供圖像的光束分裂器。 由于彩色傳感器具有所施加的濾色片圖案，所以彩色傳感器中的各像 素僅提供單一顏色。在用這種系統(tǒng)捕獲圖像時，電子圖像中的各點包 括單色值和一種顏色值，并且彩色圖像必須使從附近顏色對在像素位 置的缺失顏色進行內(nèi)插。雖然這個系統(tǒng)改進了對于單個常M^圖像傳感 器的感光度，但是，由于需要兩個傳感器和分束器，系統(tǒng)的整體復(fù)雜 度、大小和成本更大了。另外，分束器僅將一半的光從圖《象指向M 感器，限制了照相感速率的改進。
除了上述線性圖像傳感器之外，在本領(lǐng)域還已知的是具有像素的 二維陣列的圖像傳感器，其中像素包括沒有向其應(yīng)用濾色片的圖像。 例如參見Sato等人的美國專利4390895、 Yamagami等人的美國專利 5323233和Gindele等人的美國專利6476865。在所述專利的每個中， 未過濾像素或單色像素的敏感度明顯高于彩色像素，從而要求對彩色 像素施加增益，以便匹配來自像素陣列的彩色和單色信號。增大增益 增大了噪聲以及信號，從而引起所得到圖像的總信噪比降級。Frame 在美國專利申請2003/0210332中公開了一種像素陣列，其中大多數(shù)像 素未過濾，但彩色像素遭受到與以上所述相同的敏感度缺陷。
因此，對于改進使用具有像素二維陣列的單個傳感器的電子捕獲
裝置的感光度的需要持續(xù)存在。

發(fā)明內(nèi)容
本發(fā)明針對提供一種具有彩色和全色像素的二維陣列的圖像傳感 器，它提供高敏感度，并且在產(chǎn)生全色圖像時是有效的。
簡言之，根據(jù)本發(fā)明的一個方面，本發(fā)明提供一種用于捕獲彩色
圖像的圖像傳感器，它包括
a) 具有以行和列排列的第一和第二組像素的二維陣列，其中來自 第 一組像素的像素具有比來自第二組像素的像素更窄的光:^普光響應(yīng)， 并且其中第一組像素的像素的光語光響應(yīng)對應(yīng)于至少兩種顏色的集 合；以及
b) 第一和第二組像素的布置定義具有包括至少6個像素的最小重 復(fù)單位的圖案，使得最小重復(fù)單位的至少 一些行或列僅由來自第二組 的像素組成，且最小重復(fù)單位的一些行或列僅由來自第一組的像素組 成，其中僅由來自笫一組的像素組成的行或列由來自第一組的最多兩 種顏色的像素組成。
在本發(fā)明的另一個方面，提供一種用于捕獲彩色圖像的圖像傳感 器，它包括
a) 具有以行和列排列的笫 一和第二組像素的二維陣列，其中來自 第一組像素的像素具有比來自第二組像素的像素更窄的光"i普光響應(yīng)， 且其中第 一組像素的像素的光譜光響應(yīng)對應(yīng)于至少兩種顏色的集合；
b) 第一和第二組像素的布置定義具有包括至少6個^f象素的最小重 復(fù)單位的圖案，使得最小重復(fù)單位的至少 一些行或列僅由來自笫二組 的像素組成，以及
c) 用于組合來自至少兩個相鄰最小重復(fù)單位的相似顏色的一些像 素的部件。
根據(jù)本發(fā)明的圖像傳感器特別適合于低級照明條件，其中這類低 級照明條件是低場景照明、短曝光時間、小光圈或者對到達傳感器的
光的其它限制的結(jié)果。它們具有廣泛應(yīng)用，并且許多類型的圖像捕獲 裝置可有效地使用這些傳感器。
通過閱讀以下優(yōu)選實施例的詳細描述和所附權(quán)利要求書，并參照 附圖，會更清楚地理解和認識本發(fā)明的這些和其它方面、目的、特征 及優(yōu)點。


圖1是可使用常規(guī)傳感器和處理方法或者本發(fā)明的傳感器和處理
方法的常規(guī)數(shù)字靜態(tài)相機系統(tǒng)的框圖2(現(xiàn)有技術(shù))是示出最小重復(fù)單位和非最小重復(fù)單位的常規(guī) Bayer濾色片陣列圖案；
圖3提供了紅、綠和藍像素的代表性光譜量子效率曲線以及較寬 光譜全色量子效率，全部與紅外截止濾光片的傳輸特性相乘；
圖4A-D提供包括具有以行或列排列的相同彩色光響應(yīng)的彩色像 素的本發(fā)明的濾色片陣列圖案的幾個變體的最小重復(fù)單位；
圖5示出來自圖4A的最小重復(fù)單位的單元結(jié)構(gòu)；
圖6A是圖4A的內(nèi)插全色圖像；
圖6B是與圖4A和圖5A中單元對應(yīng)的低分辨率彩色圖像； 圖7A-C示出組合圖4A像素的幾個方式；
圖8A-E提供包括幾個平鋪排列的本發(fā)明的濾色片陣列圖案的最 小重復(fù)單位以及最小重復(fù)單位的備選定向；
圖9A-C提供本發(fā)明的濾色片陣列圖案的幾個最小重復(fù)單位，它 們?yōu)閳D8的最小重復(fù)單位的變體；
圖10A-F提供本發(fā)明的濾色片陣列圖案的八個像素的最小重復(fù)單 位，并且包括具有包^^備選彩色光響應(yīng)特性的彩色像素的平鋪排列和 變體，其中包括原色、補色、三色和四色備選；
圖IIA-B提供了多于一半的像素具有全色光響應(yīng)的本發(fā)明的濾色 片陣列的最小重復(fù)單位；
圖12A-B提供了像素處于旋轉(zhuǎn)45度的矩形網(wǎng)格上的本發(fā)明的濾 色片陣列的最小重復(fù)單位，并且包括平鋪排列；
圖13A-B提供了像素以六邊形圖案排列的本發(fā)明的濾色片陣列的 最小重復(fù)單位，并且包括平鋪排列；
圖14 4是供了本發(fā)明的濾色片陣列的最小重復(fù)單位，它為圖13的 備選；
圖15^是供了本發(fā)明的濾色片陣列的最小重復(fù)單位，它為圖13的 備選；
圖16是圖4A的最小重復(fù)單位，其中具有最小重復(fù)單位中的各個 像素的下標；
圖17A-E示出圖16的一個單元的全色像素和彩色像素以及組合彩 色像素的各種方式；
圖18是示出處理來自本發(fā)明傳感器的彩色和全色像素的方法的 本發(fā)明的過程圖19A-D示出用于在圖18的低分辨率部分顏色圖像中內(nèi)插缺失 顏色的本發(fā)明的方法；
圖2(M是供圖8A的最小重復(fù)單位中的兩個，示出組合相鄰最小重 復(fù)單位之間的像素；以及
圖21提供本發(fā)明的備選濾色片陣列的兩個最小重復(fù)單位，示出組 合相鄰最小重復(fù)單位之間以及最小重復(fù)單位的單元之內(nèi)的像素。
具體實施例方式
由于將成像器件及相關(guān)電路用于信號捕獲和校正以及用于曝光控 制的數(shù)字相機是眾所周知的，所以本描述將具體針對形成根據(jù)本發(fā)明 的方法和裝置的組成部分、或者更直接地與其合作的元素。本文沒有 具體說明或描述的元素是從本領(lǐng)域已知的那些元素中選取的。將要描 述的實施例的某些方面以軟件來提供。在給定以下資料中根據(jù)本發(fā)明 進行說明和描述的系統(tǒng)的情況下，本文沒有具體說明、描述或建議的、
對于實現(xiàn)本發(fā)明有用的軟件是常規(guī)的，并且在本領(lǐng)域技術(shù)人員了解的 范圍之內(nèi)。
現(xiàn)在來看圖1,示出了示為實施本發(fā)明的數(shù)字相機的圖像捕獲裝 置的框圖。雖然現(xiàn)在將說明數(shù)字相機，但是顯然，本發(fā)明可適用于其 它類型的圖像捕獲裝置。在公開的相機中，把來自主題場景的光10輸
入到成像級ll,在那里由鏡頭12對光聚焦，以便在固態(tài)圖像傳感器 20上形成圖像。圖像傳感器20將入射光轉(zhuǎn)換成各圖元(像素)的電信號。 優(yōu)選實施例的圖像傳感器20是電荷耦合器件(CCD)類型或有源像素傳 感器(APS)類型(由于用互補金屬氧化物半導(dǎo)體工藝來制造APS器件的 能力，APS器件通常稱作CMOS傳感器)。使用具有像素的二維陣列 的其它類型的圖像傳感器，只要它們使用本發(fā)明的圖案。本發(fā)明還利 用具有彩色和全色圖像的二維陣列的圖像傳感器20，在本說明書中， 描述了圖l之后，這個方面將會變得非常清楚。與圖像傳感器20—起 使用的本發(fā)明的彩色和全色像素的圖案的示例見圖4A-D、圖8A、圖 8E、圖9A-C、圖IOA、圖IOC-F、圖IIA-B、圖12和圖15,但是在 本發(fā)明的精神內(nèi)也可使用其它圖案。
到達傳感器20的光量由可變光闌塊14來調(diào)節(jié)，它改變包括插入 光路中的一個或多個中性密度(ND)濾光片的光圈和ND濾光片塊13。 另外，調(diào)節(jié)整個光級是在快門塊18打開時。曝光控制器塊40響應(yīng)由 亮度傳感器塊16所計量的在場景中可得到的光量，并控制這些調(diào)節(jié)功 能中的所有三個功能。
具體相機配置的本描述將是本領(lǐng)域的技術(shù)人員熟悉的，并且4艮顯
然存在許多變體和附加特征。例如，添加自動聚焦系統(tǒng)，或者鏡頭是 可拆卸的且可互換的。會理解，本發(fā)明適用于任何類型的數(shù)字相機， 其中相似的功能性由備選組件提供。例如，數(shù)字相機是比較筒單的傻 瓜數(shù)字相機，其中快門18是比較簡單的動片快門等，而不是較復(fù)雜的 焦面布置。本發(fā)明還可實施在非相機裝置、如移動電話和才幾動車輛等 中包含的成像組件上。
來自圖像傳感器20的模擬信號由模擬信號處理器22處理，并施 加到模數(shù)(A/D)轉(zhuǎn)換器24。定時發(fā)生器26產(chǎn)生各種時鐘信號，以便選 擇行和像素，并使才莫擬信號處理器22和A/D轉(zhuǎn)換器24的操作同步。 圖像傳感器級28包括圖像傳感器20、模擬信號處理器22、 A/D轉(zhuǎn)換 器24和定時發(fā)生器26。圖像傳感器級28的組件是單獨制造的集成電 路，或者可像對于CMOS圖像傳感器通常所作的那樣將它們制造成單 個集成電路。來自A/D轉(zhuǎn)換器24的所得到的數(shù)字像素值流存儲在與 數(shù)字信號處理器(DSP)36關(guān)聯(lián)的存儲器32中。
在這個實施例中，除了系統(tǒng)控制器50和曝光控制器40之外，數(shù) 字信號處理器36是三個處理器或控制器其中之一。雖然在多個控制器 和處理器之間的相機功能控制的這種劃分是典型的，但是，這些控制 器或處理器可以各種方式組合，而不影響相機的功能操作和本發(fā)明的 應(yīng)用。這些控制器或處理器可包括一個或多個數(shù)字信號處理器裝置、 微控制器、可編程邏輯器件或者其它數(shù)字邏輯電路。雖然已經(jīng)描述了 這類控制器或處理器的組合，但是應(yīng)當(dāng)很明顯，將一個控制器或處理 器指定用于執(zhí)行全部所需功能。所有這些變體均可執(zhí)行同一功能，并 落入本發(fā)明的范圍內(nèi)，并且術(shù)語"處理級"將根據(jù)需要用于包含一個階 段中的這個功能性的全部，如在圖1的處理級38中那樣。
在所示實施例中，DSP 36根據(jù)程序存儲器54中永久存儲并復(fù)制 到存儲器32以便在圖像捕獲期間運行的軟件程序來操縱其存儲器32 中的數(shù)字圖像數(shù)據(jù)。DSP36運行實施圖18所示圖像處理所需的軟件。 存儲器32包括任何類型的隨機存取存儲器、如SDRAM。包括用于地 址和數(shù)據(jù)信號的通路的總線30將DSP 36連接到其相關(guān)存儲器32、 A/D 轉(zhuǎn)換器24和其它相關(guān)裝置。
系統(tǒng)控制器50根據(jù)程序存儲器54中存儲的軟件程序來控制相機 的總體操作，程序存儲器54可包括閃速EEPROM或其它非易失性存 儲器。這個存儲器還可用于存儲圖像傳感器校準數(shù)據(jù)、用戶設(shè)置選擇 以及在相機關(guān)機時必須保存的其它數(shù)據(jù)。系統(tǒng)控制器50通過如前面所
述指示曝光控制器40操作鏡頭12、 ND濾光片13、可變光闌14和快 門18,指示定時發(fā)生器26操作圖像傳感器和關(guān)聯(lián)的元素，并指示DSP 36處理所捕獲的圖像數(shù)據(jù)，來控制圖像捕獲序列。在圖像^支捕獲和處 理之后，存儲器32中存儲的最終圖像文件經(jīng)由接口 57傳遞給主計算 機，存儲在可拆卸存儲卡64或其它存儲裝置中，并在圖像顯示器88 上向用戶顯示。
總線52包括用于地址、數(shù)據(jù)和控制信號的通路，并將系統(tǒng)控制器 50連接到DSP36、程序存儲器54、系統(tǒng)存儲器56、主機接口 57、存 儲卡接口 60和其它相關(guān)裝置。主機接口 57提供到個人計算機(PC)或 其它主計算機的高速連接，以傳遞圖像數(shù)據(jù)用于顯示、存儲、操縱或 打印。這個接口是IEEE1394或USB 2.0串行接口或者任何其它適當(dāng)?shù)?數(shù)字接口 。存儲卡64通常是插入插座62中并經(jīng)由存儲卡接口 60連接 到系統(tǒng)控制器50的典型小型閃存(CF)卡。所使用的其它類型存儲裝置 包括但不限于PC卡、多媒體卡(MMC)或安全數(shù)字(SD)卡。
已處理的圖像被復(fù)制到系統(tǒng)存儲器56中的顯示緩沖器，并經(jīng)由視 頻編碼器80連續(xù)讀出，以產(chǎn)生視頻信號。這個信號直接從相機輸出以 便在外部監(jiān)視器上顯示，或者由顯示控制器82進行處理并在圖像顯示 器88上呈現(xiàn)。這個顯示器通常是有源矩陣彩色液晶顯示器(LCD),但 也可使用其它類型的顯示器。
用戶控制和接口狀態(tài)68,包括取景器顯示器70、曝光顯示器72、 狀態(tài)顯示器76和圖像顯示器88中的全部或任何組合以及用戶輸入74 ， 由運行于曝光控制器40和系統(tǒng)控制器50的軟件程序的組合來控制。 用戶輸入74通常包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)撥號盤或觸摸屏 的某種組合。曝光控制器40操作測光、曝光才莫式、自動聚焦和其它曝 光功能。系統(tǒng)控制器50管理在一個或多個顯示器、如圖像顯示器88 上呈現(xiàn)的圖形用戶界面(GUI)。 GUI通常包括用于進行各種選項選擇的 菜單以及用于檢查已捕獲圖像的檢查模式。
曝光控制器40接受選擇曝光^f莫式、鏡頭光圈、曝光時間(快門速 度)和曝光指數(shù)或ISO速度額定的用戶輸入，并相應(yīng)地指示鏡頭和快門
進行隨后捕獲。亮度傳感器16用來測量場景的亮度，并提供使用戶在 手動設(shè)置ISO速度額定、光圈和快門速度時進行參考的曝光表功能。 在這種情況下，當(dāng)用戶改變一個或多個設(shè)置時，在取景器顯示器70上 呈現(xiàn)的測光表指示器告訴用戶圖像將會曝光過度或曝光不足的程度。 在自動曝光^t式中，用戶改變一個設(shè)置，并且曝光控制器40自動改變 另一個設(shè)置，以保持正確的曝光，例如對于給定的ISO速度額定，當(dāng) 用戶減小鏡頭光圈時，曝光控制器40自動增大曝光時間，以保持同樣 的整體曝光。
ISO速度額定是數(shù)碼相機的一個重要屬性。曝光時間、鏡頭光圏、 鏡頭透光率、場景照明的等級和光語分布以及場景反射率確定數(shù)碼相 機的曝光量級。當(dāng)使用不充分曝光獲得來自數(shù)碼相機的圖像時， 一般 可通過增大電子或數(shù)字增益來保持適當(dāng)?shù)纳{(diào)再現(xiàn)，但圖像將包含不 可接受的噪聲量。隨著曝光的增大，增益減小了，因此通常可使圖像 噪聲減小到可接受水平。如果曝光過分增大，則在圖像的亮區(qū)中所得 到的信號可超過圖像傳感器或相機信號處理的最大信號電平容量。這 可導(dǎo)致圖像加亮部分^皮修剪以形成均勻亮區(qū)，或者發(fā)展成為圖像的周 圍區(qū)域。重要的是指導(dǎo)用戶設(shè)置正確的曝光。ISO速度額定意在充當(dāng) 這樣一種指導(dǎo)。為了易于^皮攝影者理解，數(shù)碼相機的ISO速度額定應(yīng) 當(dāng)直接與照相膠片相機的ISO速度額定相關(guān)。例如，如果數(shù)碼相機的 ISO速度額定為ISO 200,則相同的曝光時間和光圏應(yīng)當(dāng)適合于ISO 200額定膠片/處理系統(tǒng)。
ISO速度額定意在與膠片ISO速度額定協(xié)調(diào)。但是，在電子與基 于膠片的成像系統(tǒng)之間存在差異，它們阻礙了完全相當(dāng)。數(shù)碼相機可 包括可變增益，并且在捕獲了圖像數(shù)據(jù)之后可提供數(shù)字處理，使色調(diào) 再現(xiàn)能夠在相機曝光的范圍上實現(xiàn)。因此，數(shù)碼相機能夠具有速度額 定的范圍。這個范圍定義為ISO速度幅度。為了阻止混淆，將單值指 定為固有ISO速度額定，其中ISO速度幅度的上限和下限指明速度范
圍、即包括與固有ISO速度額定不同的有效速度額定的范圍。記住這
一點，固有ISO速度是根據(jù)在數(shù)碼相機的焦面提供的曝光所計算的以
便產(chǎn)生規(guī)定相機輸出信號特性的數(shù)值。固有速度通常是曝光指數(shù)值， 它對于正常場景產(chǎn)生給定相機系統(tǒng)的峰值圖像質(zhì)量，其中曝光指數(shù)是 與提供給圖像傳感器的曝光成反比的數(shù)值。
數(shù)字相機的以上描述將是本領(lǐng)域的技術(shù)人員熟悉的。很顯然，存 在這個實施例的可能的許多變體，并^皮選擇以降低成本、增加特征或 改進相機的性能。以下描述將詳細地公開根據(jù)本發(fā)明捕獲圖像的這種 相機的操作。雖然此描述參照數(shù)字相機，但會理解，本發(fā)明適用于與 包括具有彩色和全色像素的圖像傳感器的任何類型的圖像捕獲裝置一 起使用。
圖1所示的圖像傳感器20通常包括在硅襯底上制造的、提供將在 各像素的輸入光轉(zhuǎn)換成被測量的電信號的方式的光敏像素的二維陣 列。當(dāng)傳感器暴露于光時，自由電子被生成，并在各像素的電子結(jié)構(gòu) 中被捕獲。在某個時間段捕獲這些自由電子然后測量所捕獲電子的數(shù) 量或者測量生成自由電子的速率可測量各像素的光級。在前一情況下， 將積聚的電荷移出像素陣列以便對電壓測量電路充電，如同電荷耦合 器件(CCD)中那樣，或者與各像素接近的區(qū)域可包含對電壓測量電路 充電的元素，如同有源像素傳感器(APS或CMOS傳感器)中那樣。
在以下描述中，每當(dāng)提到圖像傳感器時，將理解為表示圖1的圖 像傳感器20。還要理解，本說明書中所公開的本發(fā)明的圖像傳感器體 系結(jié)構(gòu)和像素圖案的所有示例及其等效體都用于圖像傳感器20。
在圖像傳感器的上下文中，像素("圖像元素"的縮寫)指的是離散光 感測區(qū)域以及與光感測區(qū)域關(guān)聯(lián)的電荷轉(zhuǎn)移或電荷測量電路。在數(shù)字 彩色圖像的上下文中，術(shù)語"像素"通常是指圖像中具有關(guān)聯(lián)顏色值的 特定位置。
為了產(chǎn)生彩色圖像，圖像傳感器中的像素陣列通常具有布置在它 們之上的濾色片的圖案。圖2示出通常使用的紅、綠和藍濾色片的圖
案。這個特定圖案通常以其發(fā)明人BryceBayer命名為Bayer濾色片陣 歹iJ(CFA)，如US3971065中所/>開的。這個圖案有效地用于具有彩色 像素二維陣列的圖像傳感器中。因此，各像素具有特定的彩色光響應(yīng)， 在這種情況下主要是對紅、綠或藍光敏感。另一個有用種類的彩色光 響應(yīng)主要是對品紅、黃或藍綠光敏感。在每種情況下，特定彩色光響 應(yīng)對可見光譜的某些部分具有高敏感度，同時對可見光譜的其它部分 具有低敏感度。術(shù)語"彩色像素"指的是具有彩色光響應(yīng)的像素。
選擇用于傳感器的彩色光響應(yīng)的集合通常具有如Bayer CFA中所 示的三種顏色，^f旦它還可包括四種或更多。本文所z使用的"全色光響應(yīng)，， 指的是具有比所選的彩色光響應(yīng)集合中所表示的那些光譜敏感度更寬 的光譜敏感度的光響應(yīng)。全色光敏感度可在整個可見光鐠上具有高敏 感度。術(shù)語"全色像素"指的是具有全色光響應(yīng)的像素。雖然全色像素 一般具有比彩色光響應(yīng)集合更寬的光譜敏感度，但每個全色像素可具 有關(guān)聯(lián)的濾光片。這種濾光片是中性密度濾光片或濾色片。
當(dāng)彩色和全色像素的圖案在圖像傳感器的表面時，每個這種圖案 具有重復(fù)單位，它是充當(dāng)基本積木塊的像素的毗連子陣列。通過并置 重復(fù)單位的多個副本，產(chǎn)生整個傳感器圖案。在對角線方向以及水平 和垂直方向進行重復(fù)單位的多個副本的并置。
最小重復(fù)單位是一種使得沒有其它重復(fù)單位具有更少像素的重復(fù) 單位。例如，圖2的CFA包括為如圖2的像素塊100所示的2x2像素 的最小重復(fù)單位。將這個最小重復(fù)單位的多個副本平鋪以便覆蓋圖像 傳感器中的像素的整個陣列。最小重復(fù)單位示為在右上角具有綠色像 素，但三個備選最小重復(fù)單位可易于通過以下方式來辨別將粗輪廓 線區(qū)域向右移動一個像素、向下移動一個像素或者沿對角線向右下移 動一個像素。雖然像素塊102是重復(fù)單位，但它不是最小重復(fù)單位， 因為像素塊100是重復(fù)單位，并且塊100具有比塊102少的像素。
用圖2的CFA、使用具有二維陣列的圖像傳感器捕獲的圖像在各 像素僅具有一種顏色值。為了產(chǎn)生全色圖像，存在多種技術(shù)對各像素
的缺失顏色進行推斷或內(nèi)插。這些CFA內(nèi)插技術(shù)在本領(lǐng)域是眾所周知
的，并且參考以下專利US5506619、 US5629734和US5652621。
圖3示出在典型相機應(yīng)用中具有紅、綠和藍濾色片的像素的相對 光譜敏感度。圖3中的X軸表示單位為納米的光波長，而Y軸表示效 率。在圖3中，曲線110表示用于阻止紅外和紫外光到達圖像傳感器 的典型濾光片的光譜透射特性。需要這樣一種濾光片，因為用于圖像 傳感器的濾色片通常不阻擋紅外光，因此像素?zé)o法區(qū)分紅外光與在它 們的關(guān)聯(lián)濾色片的通帶內(nèi)的光。曲線110所示的紅外阻擋特性防止紅 外光破壞可見光信號。對于應(yīng)用了紅、綠和藍濾光片的典型硅傳感器， 將光譜量子效率、即4皮捕獲并轉(zhuǎn)換成可測量電信號的入射光子的比例 與曲線110所表示的紅外阻擋濾光片的光譜透射特性相乘，以便對于 紅色產(chǎn)生由曲線114表示的、對于綠色由曲線116表示的以及對于藍 色由曲線118表示的組合系統(tǒng)量子效率。通過這些曲線會理解，各彩 色光響應(yīng)僅對可見光譜的一部分敏感。相反，沒有應(yīng)用濾色片(但包括 紅外阻擋濾光片特性)的相同石圭傳感器的光響應(yīng)如曲線112所示；這是 全色光響應(yīng)的一個示例。通過將彩色光響應(yīng)曲線114、 116和118與全 色光響應(yīng)曲線112進行比較，顯然，全色光響應(yīng)對寬光譜光的敏感比 彩色光響應(yīng)中的任一個都多三到四倍。
圖3所示的更大全色敏感度通過將包括濾色片的像素與不包括濾 色片的像素相互混合，允許改進圖像傳感器的整體敏感度。但是，濾 色片像素明顯不如全色像素那么敏感。在這種情況下，如果將全色像 素正確地暴露于光，使得來自場景的光強度范圍覆蓋全色像素的全測 量范圍，則彩色像素將明顯曝光不足。因此，有利的是調(diào)整濾色片像 素的敏感度，使得它們具有與全色像素大致相同的敏感度。彩色像素 的敏感度例如通過增大彩色像素相對于全色像素的大小來增大，其中 相關(guān)聯(lián)地減小了空間像素。
圖4A表示具有兩組的像素的二維陣列。來自第一組像素的像素 具有比來自第二組像素的像素更窄的光譜響應(yīng)。第 一組像素的各個像
合這兩組像素，以改進傳感器的整體敏感度。在本說明書中這將變得 更為清楚，第一和第二組像素的布置定義具有包括至少12個像素的最 小重復(fù)單位的圖案。最小重復(fù)單位包括第一和第二組像素，它們排列 成允許在不同照明條件下再現(xiàn)所捕獲的彩色圖像。
圖4A所示的完整圖案表示最小重復(fù)單位，它被平鋪以覆蓋像素 的整個陣列。如同圖2—樣，存在幾個其它最小重復(fù)單位，它們用來 描述彩色和全色像素的這個整體排列，但它們在其特性方面實質(zhì)上全
部等效，并且各為像素的子陣列，其中子陣列的范圍為8x8像素。這
個圖案的一個重要特征是交替的全色和彩色像素行，其中彩色行包括 具有集中在一起的相同彩色光響應(yīng)的像素。具有相同光響應(yīng)的像素組 連同其相鄰全色像素中的一些^皮看作是形成組成最小重復(fù)單位的四個 單元， 一個單元是具有比最小重復(fù)單位更少像素的像素的毗連子陣列。
在圖4A中由粗線描繪并在圖5中示為單元120、 122、 124和126 的這四個單元包含各為4x4像素的四組，其中120表示左上單元，122 表示右上單元，124表示左下單元，以及126表示右下單元。四個單 元中的每個都包括8個全色像素和相同彩色光響應(yīng)的8個彩色像素。 組合單元中的彩色像素，以便表示該整個單元的顏色。因此，圖5中 的單元120看作是綠色單元，單元122看作是紅色單元，依此類推。 各單元包括相同顏色的至少兩個像素，由此允許相同顏色的像素組合， 以便克服彩色像素與全色像素之間的光敏感度的差異。
在具有4個不重疊單元的最小重復(fù)單位、其中各單元具有相同顏 色的兩個像素和兩個全色像素的情況下，顯然，最小重復(fù)單位包括16 個像素。在具有3個不重疊單元的最小重復(fù)單位、其中各單元具有相 同顏色的兩個像素和兩個全色像素的情況下，顯然，最小重復(fù)單位包 括12個像素。
根據(jù)本發(fā)明，在按照圖5所示的單元結(jié)構(gòu)考慮時，圖4A的最小 重復(fù)單位可表示高分辨率全色圖像和低分辨率Bayer圖案彩色圖像的
組合，排列成允許在不同照明條件下再現(xiàn)所捕獲的彩色圖像。Bayer 圖案圖像的各個元素表示對應(yīng)單元中彩色像素的組合。第一組像素定 義低分辨率濾色片陣列圖像，而第二組像素定義高分辨率全色圖像。 參見圖6A和圖6B。圖6A表示與圖4A對應(yīng)的高分辨率全色圖像，包 括來自圖4A的全色像素P以及內(nèi)插的全色像素P，；而圖6B表示低分 辨率Bayer圖案彩色圖像，其中R'、 G，和B，對于圖5所示的每個單元 表示與單元中的組合彩色像素關(guān)聯(lián)的單元顏色。
在以下論述中，圖4B-D中的所有單元均由粗線表示，如同圖4A 中那樣。
除了圖4A的備選最小重復(fù)單位之外，將圖案的各單元旋轉(zhuǎn)90度， 以產(chǎn)生圖4B所示的圖案。這是基本相同的圖案，但它在垂直方向而不 是水平方向布置最高全色取樣頻率。使用圖4A還是圖4B的選擇取決 于是否希望在水平或垂直方向上分別具有更高的全色空間取樣。但是， 顯然，在兩個圖案中組成最小重復(fù)單位的所得到單元對于兩個圖案產(chǎn) 生相同的低分辨率彩色圖像。因此，從顏色角度來看，圖4A和圖4B 是等效的。 一般來說，圖4A和圖4B是用以行或列線性排列的全色像 素實施本發(fā)明的示例。另外，圖4A具有單行的全色像素，其中各行 與相鄰全色像素行分隔一行彩色像素；圖4B在列方向具有相同特性。
圖4C表示圖4A的又一個備選最小重復(fù)單位，具有實質(zhì)上相同單 元彩色特性。但是，圖4C示出逐個單元交錯的全色和彩色行。這可 改進垂直全色分辨率。圖4A的又一個備選最小重復(fù)單位如圖4D所示， 其中全色和彩色行按列對交錯。這也具有改進垂直全色分辨率的潛力。 圖4A-D的所有最小重復(fù)單位的特性在于，兩個或更多的相同顏色像 素組以行或列并排排列。
圖4A-D都具有相同的色彩結(jié)構(gòu)，其中構(gòu)成最小重復(fù)單位的單元 表示低分辨率Bayer圖案。因此可以看到，在本發(fā)明的精神內(nèi)構(gòu)造全 色像素和分組彩色像素的各種排列。
為了增大彩色光敏感度以克服全色光敏感度與彩色光敏感度之間
的不一致，以各種方式組合各單元中的彩色像素。例如，來自相同有
色像素的電荷被組合或裝倉在CCD圖像傳感器中或者允許裝倉的有 源像素傳感器類型中。備選地，例如通過并聯(lián)被充電到與相同有色像 素中的所測量電荷量對應(yīng)的電壓的電容器，對這些電壓求平均。在又 一種方法中，對相同有色像素的光級的數(shù)字表示求和或者求平均。把 來自兩個像素的電荷組合或裝倉使信號電平加倍，而與取樣和讀出組 合信號關(guān)聯(lián)的噪聲保持不變，由此將信噪比增大2倍，表示在組合像 素的光敏感度方面的對應(yīng)兩倍增大。在對來自兩個像素的光級的數(shù)字 表示求和的情況下，所得到的信號增大兩倍，但來自讀取兩個像素的 對應(yīng)噪聲電平正交組合，由此使噪聲增大2的平方根；因此，組合像 素的所得到的信噪比對于未組合信號增大2的平方根。類似的分析適 用于電壓或數(shù)字平均。
單獨或組合使用用于組合來自單元中相同有色像素的信號的上述 方法。例如，以兩個分組垂直組合來自圖4A的相同有色像素的電荷 產(chǎn)生具有圖7A所示的組合信號R，、 G，和B，的組合像素。在這種情況 下，各R，、 G，和B，具有未組合像素的兩倍敏感度。備選地，以四個分 組水平組合來自圖4A的相同有色像素的測量值(電壓或數(shù)字)產(chǎn)生具有 圖7B所示的組合信號R，、 G，和B，的組合像素。在這種情況下，由于 信號增大四倍但噪聲增大2，所以各R，、 G，和B，具有未組合像素的兩 倍敏感度。在另一個備選組合方案中，如圖7A中那樣以兩個分組垂 直組合來自相同有色像素的電荷，并且以四個分組對圖7A的組合像 素的測量值垂直求和或求平均產(chǎn)生圖7C的最終組合彩色像素，其中 R"、 G"和B"表示相同有色像素的最終組合。在這個組合排列中，圖 7C的最終組合彩色像素各具有未組合像素的四倍敏感度。 一些傳感器 體系結(jié)構(gòu)、特別是某些CCD排列可允許來自各單元中所有8個相同有 色像素的電荷以圖7C的方式組合，引起組合彩色像素的敏感度的八 倍增大。
從前面所述，現(xiàn)在會理解，在為了調(diào)整彩色像素的光敏感度而組
合彩色像素方面存在幾個自由度。眾所周知的組合方案將是本領(lǐng)域的 ^支術(shù)人員知道的，并且基于場景內(nèi)容、場景光源、整體光級或其它標 準。另外，將組合方案選擇為故意允許組合像素具有比全色像素更少 的敏感度或更多的敏感度。
至此，將圖像傳感器描述為使用紅、綠和藍色濾光片，使得對于 每一個紅和藍色像素存在兩個綠色像素。還以相等比例用紅、綠和藍
色濾光片來實施本發(fā)明，如圖8A所示。圖8A的最小重復(fù)單位可用于 以幾種不同方式平鋪傳感器陣列，其中一些如圖犯-D所示。會理解， 可使用這些圖案的幾何相似變體、如圖8A的最小重復(fù)單位。圖8E示 出圖8A的最小重復(fù)單位的旋轉(zhuǎn)形式。
本發(fā)明也可與具有多于三個彩色光響應(yīng)的像素一起使用。圖9A 示出圖8A的最小重復(fù)的變體，它除了全色像素之外還使用四種顏色。 圖9B-C示出這些圖案中兩個圖案的附加變體，其中單行全色像素由雙 行全色像素取代。所有這些圖案都沒有相同顏色的多個像素。稍后將 論述這個事實以及用于使用這類圖案的優(yōu)選方法。
另一個最小重復(fù)單位如圖IOA所示，它包含一個紅色、兩個綠色 和一個藍色像素。使用這個圖案的平鋪示例如圖IOB所示。
采用藍綠色、品紅色和黃色傳感器的圖像傳感器是本領(lǐng)域眾所周 知的，并且用藍綠色、品紅色和黃色濾色片來實施本發(fā)明。圖10C示 出圖10A的藍綠色、品紅色和黃色等效方案，其中C表示藍綠色像素， M表示品紅色像素，以及Y表示黃色像素。
圖10D示出本發(fā)明的最小重復(fù)單位，它包括藍綠色像素(由C表 示)、品紅像素(由M表示)、黃色像素(由Y表示)以及綠色像素(由G 表示)。圖IOE示出又一個備選四色排列，其中包括紅色像素(由R表 示)、藍色像素(由B表示)、具有一個彩色光響應(yīng)的綠色像素(由G表 示)以及具有不同彩色光響應(yīng)的備選綠色像素(由E表示)。圖IOF示出 又一個備選四色排列，其中圖IOA的綠色單元之一由黃色單元取代， 其中黃色像素由Y表示。
圖IIA示出圖IOA圖案的變體，其中各行全色像素由雙行全色像 素取代。圖IIB所示的附加示例是應(yīng)用于圖IOE圖案的相同變體。
用與矩形陣列不同的像素陣列來實施本發(fā)明。圖12A示出圖8A 圖案的變體，其中像素是八邊形，并且排列在對角行上。由于像素幾 何形狀是八邊形，因此存在位于水平和垂.直鄰域之間的小正方形空白， 它們可用于所需傳感器功能性、如數(shù)據(jù)傳遞電路。圖12B示出使用圖 12A最小重復(fù)單位的平鋪圖案的一個示例。在圖12B中，全色像素以 實質(zhì)上為對角的行出現(xiàn)。同樣，彩色像素還以對角地定向的行出現(xiàn)。
圖13A示出圖8A圖案的另一個變體，其中像素是六邊形并垂直 排列。圖13B示出使用圖13A最小重復(fù)單位的平鋪圖案的一個示例。 在圖13B中，全色像素以列出現(xiàn)。同樣，彩色像素也以列出現(xiàn)。
圖14示出使用比彩色像素更少的全色像素的另一個最小重復(fù)單 位，其中像素以六邊形打包，并且全色像素以實質(zhì)上為對角的行出現(xiàn)。 在圖14中，彩色像素也以對角地定向的行出現(xiàn)。圖15示出圖13A圖 案的另一個變體。在本發(fā)明的范圍內(nèi)，應(yīng)當(dāng)注意，像素的行和列不一 定相互垂直，如圖12A-15所示。
現(xiàn)在來看圖16，圖5的最小重復(fù)單位示為再分成四個單元，其中 一個單元是具有比最小重復(fù)單位更少像素的像素的毗連子陣列。提供 以下處理所需的軟件包含在圖1的DSP 36中。單元220、 224、 226 和228是單元的示例，其中這些單元包含分別具有綠色、紅色、藍色 和綠色光響應(yīng)的像素。在這個示例中，單元220包含全色像素和綠色 像素，其中將綠色像素標識為像素組222。最終目標是通過組合來自 像素組222中的綠色像素的8個綠色信號來產(chǎn)生單元220的單個綠色 信號。根據(jù)圖像傳感器的操作才莫式，通過在模擬域中組合全部8個綠 色信號(例如通過電荷裝倉)來產(chǎn)生單個綠色信號，或者通過組合取自 像素組222的像素的更小分組來產(chǎn)生多個綠色信號。單元220的全色 像素如圖17A所示。在以下示例中，單獨對于來自這些全色像素的全 部8個信號進行數(shù)字化。單元220的綠色像素如圖17B-17E所示，其
中按照在模擬域中如何組合它們的信號來將它們集中在一起。圖17B 示出組合全部8個綠色像素以產(chǎn)生單元220的單個綠色信號(圖16)的 情況。例如通過首先組合來自像素G21、 G22、 G23和G24的信號， 然后組合來自像素G41、 G42、 G43和G44的信號，傳感器可產(chǎn)生兩 個綠色信號，如圖17C所示。也可通過其它方式產(chǎn)生兩個信號。傳感 器可首先組合來自像素G21、 G22、 G41和G42的信號，然后組合來 自像素G23、 G24、 G43和G44的信號，如圖17D所示。傳感器還可 通過組合4對信號，例如將像素G21與G22組合，然后將G23與G24 組合，然后將G41與G42組合，最后將G43與G44組合，來產(chǎn)生單 元220的四個綠色信號，如圖17E所示。顯然，存在許多附加方式來 組合單元220內(nèi)的綠色信號對(圖16)。如果傳感器根本沒有進行組合， 則單獨對于單元220報告全部8個綠色信號。因此，在單元220的情 況下，傳感器可產(chǎn)生單元220的1個、2個、4個或8個綠色值，并根 據(jù)其操作才莫式以不同方式產(chǎn)生它們。
對于單元224、 226和228(圖16)，傳感器根據(jù)其操作模式產(chǎn)生類 似彩色信號。單元224、 226和228的彩色信號分別為紅、藍和綠。
回到單元220的情況，不管對這個單元的多少信號進行數(shù)字化， 本發(fā)明的圖像處理算法還組合數(shù)字化的綠色值，以便產(chǎn)生單元的單個 綠色值。獲得單個綠色值的一種方式是對于為單元220產(chǎn)生的所有數(shù) 字化綠色值求平均。在單元包含不同光響應(yīng)的彩色像素的情況下，以 類似方式組合單元中的所有彩色數(shù)據(jù)，使得對于在單元中表示的各彩 色光響應(yīng)存在單值。
重要的是區(qū)分與捕獲原始圖像數(shù)據(jù)的原始傳感器中的像素有關(guān)的 顏色值和與原始傳感器中的單元有關(guān)的顏色值。兩種類型的顏色值用 來產(chǎn)生彩色圖像，但所得到的彩色圖像具有不同的分辨率。具有與原 始傳感器中像素關(guān)聯(lián)的像素值的圖像稱作高分辨率圖像，而具有與原 始傳感器中單元關(guān)聯(lián)的像素值的圖像稱作低分辨率圖像。
現(xiàn)在來看圖18，數(shù)字信號處理器塊36(圖l)示為從數(shù)據(jù)總線30(圖
l)接收所捕獲的原始圖像數(shù)據(jù)。將原始圖像數(shù)據(jù)傳遞給低分辨率部分
顏色塊202和高分辨率全色塊204。已經(jīng)在圖5和圖16中示出了圖像 傳感器的最小重復(fù)單位的一個示例。在單元220的情況下(圖16)，所 捕獲的原始圖像數(shù)據(jù)包括由各個全色像素產(chǎn)生的全色數(shù)據(jù)，如圖17A 所示。對于單元220(圖16),還包含例如來自圖17B-E所示組合的一 個或多個緣色(顏色)值。
在低分辨率部分顏色塊202(圖18)中，根據(jù)所捕獲的原始圖像數(shù) 據(jù)產(chǎn)生部分顏色圖像，部分顏色圖像是其中各像素具有至少一種顏色 值并且各像素還缺失至少 一種顏色值的彩色圖像。根據(jù)傳感器的操作 模式，所捕獲的原始數(shù)據(jù)包含由各單元中的彩色像素產(chǎn)生的某個數(shù)量 的顏色值。在低分辨率部分顏色塊202中，對于在單元中表示的各顏 色，將這些顏色值減少到單值。作為一個示例，對于單元220(圖16), 產(chǎn)生單個緣顏色值。同樣，對于單元224、 226和228，分別產(chǎn)生單個 紅、藍和綠顏色值。
低分辨率部分顏色塊202以相似方式處理各單元，產(chǎn)生顏色值的 陣列，每個單元一個。由于所得到的圖像陣列基于單元而不是原始傳 感器中的像素，所以它在各維比原始捕獲的原始圖像數(shù)據(jù)陣列小四倍。 由于所得到的陣列基于單元，并且由于各像素具有部分但不是全部顏 色值，所以所得到的圖像是低分辨率部分顏色圖像。在這一點，低分 辨率部分顏色圖像經(jīng)過色平衡。
現(xiàn)在來看高分辨率全色塊204,使用與圖16所示相同的原始圖像 數(shù)據(jù)，但將僅使用全色值(圖17A)。這時的任務(wù)是通過已經(jīng)估計沒有全 色值的那些像素的全色值，對完整的高分辨率全色圖像進行內(nèi)插。在 單元220的情況下(圖16),必須對于像素組222(圖16)中的綠色像素來 估計全色值。估計缺失的全色值的一種簡單方式是進行垂直求平均。 因此，例如，我們可按照以下方式來估計像素22的全色值
P22 = (P12十P32)/2
也可使用自適應(yīng)方法。例如， 一種自適應(yīng)方法是使用如圖17A所
示的全色值計算三個梯度值，并取它們的絕對值
SCLAS = ABS(P31-P13) VCLAS = ABS(P32-P12) BCLAS= ABS(P33-P11)
同樣，計算三個預(yù)測算子值
SPRED = (P31 +P13)/2 WRED = (P32 + P12)/2 BPRED =(P33+Pll)/2
然后，將P22設(shè)置成等于與最小分類符值對應(yīng)的預(yù)測算子。在相 等的情況下，將P22設(shè)置成等于所指示預(yù)測算子的平均值。在整個圖 像上繼續(xù)進行全色內(nèi)插，而不管單元邊界。當(dāng)高分辨率全色塊204的 處理完成時，所得到的數(shù)字全色圖像的大小與原始捕獲的原始圖像相 同，這使它成為高分辨率全色圖像。
低分辨率全色塊206接收塊204所產(chǎn)生的高分辨率全色圖像陣列， 并生成大小與塊202所產(chǎn)生的低分辨率部分顏色圖像相同的低分辨率 全色圖像陣列。對于具有濾色片的那些像素，通過對給定單元中的所 估計全色值求平均，來獲得每個低分辨率全色值。在單元220(圖16) 的情況下，這時對先前對于像素組222(圖16)中的綠色像素所估計的高 分辨率全色值一起求平均，來產(chǎn)生該單元的單個低分辨率全色值。同 樣，使用在具有紅色濾色片的像素所估計的高分辨率全色值，對單元 224計算單個低分辨率全色值。這樣，各單元以單個低分辨率全色值 結(jié)束。
低分辨率色差塊208接收來自塊202的低分辨率部分顏色圖像以 及來自塊206的低分辨率全色陣列。然后，通過用來自低分辨率全色 圖像的指導(dǎo)對低分辨率部分顏色圖像進行顏色內(nèi)插，來形成低分辨率 中間顏色圖像。稍后詳細論述的顏色內(nèi)插算法的準確性質(zhì)取決于像素 光響應(yīng)的哪個圖案用于捕獲初始原始圖像數(shù)據(jù)。
在形成低分辨率中間顏色圖像之后，它經(jīng)過色彩校正。 一旦低分
辨率中間顏色圖像經(jīng)過色彩校正，就通過單獨從每個低分辨率彩色平 面減去低分辨率全色圖像來計算色差的低分辨率圖像。高分辨率色差
塊210接收來自塊208的低分辨率色差圖像，并使用雙線性內(nèi)插，對 低分辨率色差圖像進行上取樣，以便匹配初始原始圖像數(shù)據(jù)的大小。 結(jié)果是高分辨率色差圖像，其大小與塊204所產(chǎn)生的高分辨率全色圖 像相同。
高分辨率最終圖像塊212接收來自塊210的高分辨率色差圖像以 及來自塊204的高分辨率全色圖像。然后，通過將高分辨率全色圖像 加到每個高分辨率色差平面來形成高分辨率最終顏色圖像。然后可進 一步處理所得到的高分辨率最終顏色圖像。例如，它存儲在DSP存儲 器塊32(圖1)中，然后經(jīng)過銳化和壓縮以便存儲在存儲卡塊64(圖l)中。
圖4A-D所示的傳感器濾光片圖案具有最小重復(fù)單位，使得在塊 202產(chǎn)生的所得到的低分辨率部分顏色圖像對于濾色片呈現(xiàn)重復(fù)的 Bayer圖案
G R B G
除了由低分辨率部分顏色圖像所給出的單色值之外，每一個單元還具 有由低分辨率全色圖像所給出的全色值。
考慮Bayer圖案存在于低分辨率部分顏色圖像的情況，現(xiàn)在可更 詳細地描述低分辨率色差塊208(圖18)中的顏色內(nèi)插的任務(wù)。顏色內(nèi)插 開始于對于已經(jīng)沒有綠色值的像素的綠色值進行內(nèi)插，如在圖19A中 示為像素234。示為像素230、 232、 236和238的四個相鄰像素都具 有綠色值，并且它們也都具有全色值。中心像素234具有全色值，但 沒有綠色值，如問號所示的。
第一步驟是計算兩個分類符值，第一個與水平方向相關(guān)，而第二
個與垂直方向相關(guān)
HCLAS = ABS(P4-P2) + ABS(2*P3-P2-P4) VCLAS= ABS(P5-P〗)+ABS(2*P3-P1-P5)
然后，計算兩個預(yù)測算子值，第一個與水平方向相關(guān)，而第二個與垂
直方向相關(guān)
HPRED = ( G4 + G2 )/2 + ( 2*P3 - P2 - P4 )/2 VPRED=( G5 + Gl )/2 + ( 2*P3 - Pl - P5 )/2
最后，設(shè)THRESH為以經(jīng)驗確定的門限值，我們可按照以下方式自適 應(yīng)地計算缺失值G3:
IF MAX( HCLAS, VCLAS ) < THRESH
G3 = ( HPRED + VPRED )/2 ELSEIF VCLAS < HCLAS
G3 = WRED
ELSE
G3 = HPRED
END
這樣，如果兩個分類符都小于門限值，則對于G3計算兩個預(yù)測算子 值的平均值。如果不是，則根據(jù)哪個分類符HCLAS還是VCLAS更小 來使用HPRED或VPRED中的任一個。
一旦估計了所有缺失的綠色值，則可對缺失的紅色和藍色值進行 內(nèi)插。如圖19B所示，像素242缺失紅色值，一f旦它的兩個水平鄰居即 像素240和244分別具有紅色值R2和R4。所有這三個像素都具有綠 色值。在這些條件下，像素242的紅色值(R3)的估計計算如下
R3 - (R4 + R2)/2 + (2*G3-G2-G4)/2
在相似條件下以相似方式來計算缺失的藍色值。在這一點，仍具有缺 失的紅色和藍色值的唯一像素是需要垂直內(nèi)插的那些像素。如圖19C 所示，像素252缺失紅色值，^f旦它的兩個垂直鄰居、即^f象素250和254 分別具有紅色值R1和R5。在這些條件下，按照下式來計算像素252 的紅色值(R3)的估計
R3 = (R5+R1 )/2 + (2*G3-G1-G5)/2
在相似條件下以相似方式來計算缺失的藍色值。這完成了低分辨率部 分顏色圖像的內(nèi)插，并且結(jié)果是低分辨率中間顏色圖像。如前面所述， 這時可通過從各彩色平面，在之前論述的示例中為紅色、綠色和藍色， 減去低分辨率全色值來計算低分辨率色差。
現(xiàn)在來看圖20，傳感器的部分平鋪示為使用圖8A的最小重復(fù)單 位的四個副本。四個相鄰最小重復(fù)單位310、 312、 314和316各包含 紅色、綠色和藍色像素。雖然組合像素的先前論述局限于例如圖16所 示的相同最小重復(fù)單位中的相似有色像素，但是也可通過組合來自附 近最小重復(fù)單位的像素來實施本發(fā)明。如圖20所示，紅色像素R21 和R41構(gòu)成在垂直方向上組合的一對像素318。同樣，綠色^f象素G42 和G45構(gòu)成在水平方向上組合的一對像素320。當(dāng)最小重復(fù)比較小時、 如圖20中使用的圖8A的圖案，組合來自相鄰最小重復(fù)單位的相似有 色像素^^有用的。以上論述了組合像素的過程，并且可將它用于圖20 和圖21所示的圖像傳感器。
現(xiàn)在來看圖21，具有16個像素的最小重復(fù)單位示為具有兩個副 本。將上面的最小重復(fù)單位330再分為兩個單元332和334。單元332 包含四個全色像素Pll、 P12、 P13和P14、兩個藍色像素B21和B23 以及兩個綠色像素G22和G24的水平行。單元334包含四個全色像素 P15、 P16、 P17和P18、兩個紅色像素R25和R27以及兩個綠色像素 G26和G28的水平行。將下面的最小重復(fù)單位336再分為分別包含與 單元332和334相同的像素圖案的兩個單元338和340。如圖21所示， 藍色像素B21和B41構(gòu)成取自相鄰最小重復(fù)單位332和336并在垂直 方向上組合的一對像素342。同樣，綠色像素G42和G44構(gòu)成取自相 同最小重復(fù)單位336并在水平方向上組合的一對像素344。
雖然組合像素對是有用的，但是，本發(fā)明包括組合單個最小重復(fù) 單位內(nèi)以及多個相鄰最小重復(fù)單位之間的任意數(shù)量的像素。如圖21所 示，綠色像素G26、 G28、 G46和G48構(gòu)成像素346的四元組，將它 們?nèi)拷M合以產(chǎn)生單個顏色值。這個四倍組合同時包括水平和垂直組
合像素，以及組合來自單個最小重復(fù)單位中的多個像素和取自多個相 鄰最小重復(fù)單位的像素。
所有示例都示出組合相似的有色像素，但是還可組合全色像素以 產(chǎn)生具有兩倍照相感速率的全色值。此外，彩色像素可與全色像素組 合，以便在極低光條件下提供顏色信息。這類組合的圖案與已經(jīng)示出 的那些示例非常相似。
并非所有傳感器都產(chǎn)生呈現(xiàn)顏色值的重復(fù)Bayer圖案的低分辨率 部分顏色圖像。例如，圖21所示的傳感器圖案確定兩個相鄰最小重復(fù) 單位生成兩對顏色值。在每種情況下，來自相鄰最小重復(fù)單位的一對 單元產(chǎn)生圖像的低分辨率顏色表示的顏色值。通過組合藍色值的像素 B21、 B23、 B41和B43并組合綠色值的像素G22、 G24、 G42和G44， 單元對332和338生成藍和綠顏色值。同樣，通過組合紅色值的i"象素 R25、 R27、 R45和R47并組合綠色值的像素G26、 G28、 G46和G48, 單元對334和340生成紅和綠顏色值。對于整個傳感器重復(fù)組合來自 相鄰最小重復(fù)單位的單元之間的像素的這個圖案。結(jié)果是圖像的低分 辨率表示，其中每個低分辨率像素具有綠顏色值以及或者紅或者藍顏 色值。在這一點，低分辨率色差塊208(圖18)中的顏色內(nèi)插任務(wù)估計各 像素的紅色的缺失值或藍色的缺失值。參照圖19D，像素264示為具 有綠色值(G3)，但沒有紅色值(R3)。四個相鄰像素260、 262、 266和 268具有綠色值和紅色值。用于對像素264(圖19D)的紅色值進行內(nèi)插 的方法與用于對像素234(圖19A)的綠色值進行內(nèi)插的方法相似。
第一步驟是計算兩個分類符值，第一個與水平方向相關(guān)，而第二
個與垂直方向相關(guān)
<formula>formula see original document page 32</formula>
然后，計算兩個預(yù)測算子值，第一個與水平方向相關(guān)，而第二個與垂 直方向相關(guān) <formula>formula see original document page 33</formula>
最后，設(shè)THRESH為按經(jīng)驗確定的門限值，則可按照以下方式自適應(yīng) 地計算缺失值G3:
<formula>formula see original document page 33</formula>
這樣，如果兩個分類符都小于該門限值，則對于R3計算兩個預(yù) 測算子值的平均值。如果不是，則根據(jù)哪個分類符HCLAS還是VCLAS 更小來使用HPRED或VPRED中的任一個。
使用藍色值代替紅色，以完全相同的方式對缺失的藍色值進行內(nèi) 插。 一旦完成了，就產(chǎn)生了低分辨率中間顏色圖像。由此，按照前面 所述的方式來計算低分辨率色差。
零件表
10來自主題場景的光
11成像級
12鏡頭
13中性密度濾光片
14可變光闌
16亮度傳感器
18快門
20圖像傳感器
22模擬信號處理器
24模數(shù)(A/D)轉(zhuǎn)換器
26定時發(fā)生器
28圖像傳感器級
30數(shù)字信號處理器(DSP)總線
32數(shù)字信號處理器(DSP)存儲器
36數(shù)字信號處理器(DSP)
38處理級
40曝光控制器
50系統(tǒng)控制器
52系統(tǒng)控制器總線
54程序存儲器
56系統(tǒng)存儲器
57主機接口
60存儲卡接口
62存儲卡插座
64存儲卡
68用戶控制和狀態(tài)界面
70取景器顯示器
72 曝光顯示器
74 用戶輸入
76 狀態(tài)顯示器
80 視頻編碼器
82 顯示控制器
88 圖像顯示器
100 Bayer圖案的最小重復(fù)單位
102 不是最小的Bayer圖案的重復(fù)單位
110 紅外阻擋濾光片的光譜透射曲線
112 傳感器的未過濾光譜光響應(yīng)曲線
114 傳感器的紅色光響應(yīng)曲線
116 傳感器的綠色光響應(yīng)曲線
118 傳感器的藍色光響應(yīng)曲線
120 第一綠色單元
122 紅色單元
124 藍色單元
126 第二綠色單元
202 低分辨率部分顏色塊
204 高分辨率全色塊
206 低分辨率全色塊
208 低分辨率色差塊
210 高分辨率色差塊
212 高分辨率最終圖像塊
220 第一綠色單元
222 第一綠色單元中的綠色像素
224 紅色單元
226 藍色單元
228 第二綠色單元
230 對缺失綠色值進行內(nèi)插的上像素值
232 對缺失綠色值進行內(nèi)插的左像素值
234具有缺失綠色值的像素
236對缺失綠色值進行內(nèi)插的右像素值
238對缺失綠色值進行內(nèi)插的下像素值
240對缺失紅色值進行內(nèi)插的左像素值
242具有缺失紅色值的像素
244對缺失紅色值進行內(nèi)插的右像素值
250對缺失紅色值進行內(nèi)插的上像素值
252具有缺失紅色值的像素
254對缺失紅色值進行內(nèi)插的下像素值
260對缺失紅色值進行內(nèi)插的上像素值
262對缺失紅色值進行內(nèi)插的左像素值
264具有缺失紅色值的像素
266對缺失紅色值進行內(nèi)插的右像素值
268對缺失紅色值進行內(nèi)插的下像素值
310左上最小重復(fù)單位
312右上最小重復(fù)單位
314左下最小重復(fù)單位
316右下最小重復(fù)單位
318組合來自垂直相鄰最小重復(fù)單位的紅色像素的示例
320組合來自水平相鄰最小重復(fù)單位的綠色像素的示例
330上最小重復(fù)單位
332上最小重復(fù)單位中的左單元
334上最小重復(fù)單位中的右單元
336下最小重復(fù)單位
338下最小重復(fù)單位中的左單元
340下最小重復(fù)單位中的右單元
342組合來自垂直相鄰最小重復(fù)單位的藍色像素的示例
344組合最小重復(fù)單位的單元中的綠色像素的示例
346組合最小重復(fù)單位的單元中以及垂直相鄰最小重復(fù)單位
之間的綠色像素的示例
權(quán)利要求
1.一種用于捕獲彩色圖像的圖像傳感器，包括a)具有以行和列排列的第一和第二組像素的二維陣列，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第一組像素的像素的光譜光響應(yīng)對應(yīng)于至少兩種顏色的集合；以及b)第一和第二組像素的布置定義具有包括至少6個像素的最小重復(fù)單位的圖案，使得所述最小重復(fù)單位的至少一些行或列僅由來自第二組的像素組成，且所述最小重復(fù)單位的一些行或列僅由來自第一組的像素組成，其中僅由來自第一組的像素組成的行或列由來自第一組的最多兩種顏色的像素組成。
2. 如權(quán)利要求1所述的圖像傳感器，具有以下最小重復(fù)單位P PA B P C其中P表示第二組的像素，A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第 一組像素的第三種顏色的像素。
3. 如權(quán)利要求l所述的圖像傳感器，其中最小重復(fù)單位的各行或 列僅由來自第一組或者第二組像素的像素組成。
4. 如權(quán)利要求3所述的圖像傳感器，其中所述圖像傳感器的最小 重復(fù)單位為P P A B B C其中P表示第二組的像素，A表示笫 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第 一組像素的第三種顏色的像素。
5. 如權(quán)利要求3所述的圖像傳感器，其中所述圖像傳感器的最小 重復(fù)單位為P P A B D C其中P表示第二組的像素， A表示第 一組像素的笫 一種顏色的像素， B表示第 一組像素的笫二種顏色的像素， C表示第一組像素的第三種顏色的像素，以及 D表示第 一組像素的第四種顏色的像素。
6. 如權(quán)利要求3所述的圖像傳感器，具有以下最小重復(fù)單位P P A B P P B C其中P表示第二組的像素， A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示笫 一組像素的第三種顏色的像素。
7. 如權(quán)利要求3所述的圖像傳感器，其中所述圖像傳感器的最小 重復(fù)單位為P P A B P P D C其中P表示笫二組的像素，A表示第 一組像素的第 一種顏色的像素，B表示第 一組像素的笫二種顏色的像素，c表示第一組像素的第三種顏色的像素，以及D表示第 一組像素的第四種顏色的像素。
8. 如權(quán)利要求3所述的圖像傳感器，具有以下最小重復(fù)單位P P P P A B P P P P B C其中P表示第二組的像素， A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第一組像素的第三種顏色的像素。
9. 如權(quán)利要求3所述的圖像傳感器，其中所述圖像傳感器的最小 重復(fù)單位為P P P P A B P P P P D C其中P表示第二組的像素，A表示第 一組像素的第 一種顏色的像素， B表示第 一組像素的第二種顏色的像素， C表示第一組像素的第三種顏色的像素，以及 D表示笫 一組像素的第四種顏色的像素。
10. —種用于捕獲彩色圖像的圖像傳感器，包括a)具有以行和列排列的第一和第二組像素的二維陣列，其中來自 第 一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應(yīng)， 并且其中第 一組像素的像素的光譜光響應(yīng)對應(yīng)于至少兩種顏色的集 合；b) 第一和第二組像素的布置定義具有包括至少6個像素的最小重 復(fù)單位的圖案，使得所述最小重復(fù)單位的至少一些行或列僅由來自第 二組的像素組成，以及c) 用于組合來自至少兩個相鄰最小重復(fù)單位的相似顏色的一些像 素的部件。
11. 如權(quán)利要求10所述的圖像傳感器，其中最小重復(fù)單位的至少 一些行或列僅由來自第一組的像素組成。
12. 如權(quán)利要求11所述的圖像傳感器，其中最小重復(fù)單位的各行 或列僅由來自第一組或者第二組像素的像素組成。
13. 如權(quán)利要求12所述的圖像傳感器，其中包含來自第一組的像 素的最小重復(fù)單位的各行或列還包括至少兩種不同顏色的像素。
14. 如權(quán)利要求13所述的圖像傳感器，具有以下最小重復(fù)單位P P A B P P B C其中P表示第二組的像素， A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的笫二種顏色的像素，以及 C表示笫一組像素的第三種顏色的像素。
15. 如權(quán)利要求13所述的圖像傳感器，其中所述圖像傳感器的最 小重復(fù)單位為P P A B P P D C其中P表示第二組的像素，A表示第 一組像素的第 一種顏色的像素， B表示第 一組像素的笫二種顏色的像素， C表示第一組像素的第三種顏色的像素，以及 D表示第 一組像素的第四種顏色的像素。
16. 如權(quán)利要求13所述的圖像傳感器，具有以下最小重復(fù)單位P P P F A B P P P P B C其中P表示第二組的像素， A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第 一組像素的第三種顏色的像素。
17. 如權(quán)利要求13所述的圖像傳感器，其中所述圖像傳感器的最 小重復(fù)單位為P P P P A B P P P F D C其中P表示第二組的像素， A表示第 一組像素的第 一種顏色的像素， B表示第 一組像素的第二種顏色的像素， C表示第一組像素的第三種顏色的像素，以及 D表示第 一組像素的第四種顏色的像素。
18. 如權(quán)利要求13所述的圖像傳感器，具有以下最小重復(fù)單位P P P ABC 其中P表示第二組的像素，A表示笫 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第 一組像素的第三種顏色的像素。
19. 如權(quán)利要求13所述的圖像傳感器，具有以下最小重復(fù)單位P P P P A B C D其中P表示第二組的像素，A表示第 一組像素的第 一種顏色的像素，B表示第一組像素的第二種顏色的像素，以及C表示第 一組像素的第三種顏色的像素。D表示第 一組像素的第四種顏色的像素。
20. 如權(quán)利要求13所述的圖像傳感器，其中所述圖像傳感器的最 小重復(fù)單位為pPPpPFABC其中p表示第二組的像素，A表示第 一組像素的第 一種顏色的像素， B表示第一組像素的第二種顏色的像素，以及 C表示第 一組像素的第三種顏色的像素。
21.如權(quán)利要求13所述的圖像傳感器，其中所述圖像傳感器的最 小重復(fù)單位為PPPpPPPABCD其中p表示第二組的像素，A表示第 一組像素的第 一種顏色的像素， B表示笫 一組像素的第二種顏色的像素， C表示第一組像素的第三種顏色的^f象素，以及 D表示第一組像素的第四種顏色的像素。
22. 如權(quán)利要求IO所述的圖像傳感器，還包括用于組合第二組的 一些像素的部件。
23. 如權(quán)利要求10所述的圖像傳感器，其中第二組像素包括不多 于最小重復(fù)單位中的所述像素的 一半。
24. 如權(quán)利要求IO所述的圖像傳感器，其中第二組像素包括不少 于最小重復(fù)單位中的所述像素的一半。
25. —種用于捕獲彩色圖像的圖像傳感器，包括a) 具有第一和第二組像素的二維陣列，其中來自笫一組像素的像 素具有比來自第二組像素的像素更窄的光譜光響應(yīng)，并且其中第 一組 像素的各個像素的光譜光響應(yīng)對應(yīng)于至少兩種顏色的集合；b) 第一和第二組像素的布置定義具有包括至少12個像素的最小 重復(fù)單位的圖案，所述最小重復(fù)單位具有多個單元，其中每個單元具 有從第 一組像素中選擇的表示特定顏色的至少兩個像素以及從第二組 像素中選擇的多個像素，它們排列成允許在不同的照明條件下再現(xiàn)所 捕獲的彩色圖像；以及c) 用于組合來自至少兩個相鄰最小重復(fù)單位的相似顏色的一些像 素的部件。
26. 如權(quán)利要求25所述的圖像傳感器，還包括用于組合第二組的 一些像素的部件。
全文摘要
公開了一種用于捕獲彩色圖像的圖像傳感器，它具有包括以行和列排列的第一和第二組像素的二維陣列，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應(yīng)；并且第一和第二組像素的布置定義具有包括至少6個像素的最小重復(fù)單位的圖案，使得最小重復(fù)單位的至少一些行或列僅由來自第二組的像素組成，且最小重復(fù)單位的一些行或列僅由來自第一組的像素組成，其中僅由來自第一組的像素組成的行或列由來自第一組的最多兩種顏色的像素組成。
文檔編號H04N9/04GK101371591SQ200780002939
公開日2009年2月18日 申請日期2007年1月12日 優(yōu)先權(quán)日2006年1月27日
發(fā)明者H·納卡穆拉, J·F·小哈米爾頓, J·T·坎普頓, T·基吉馬 申請人:伊斯曼柯達公司