專利名稱：用于彩色圖像插值的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及彩色圖像的插值，并且在一特定示例中涉及來自單傳感器 陣列電子相機(jī)的數(shù)據(jù)的重建或"去馬賽克"。
背景技術(shù)：
現(xiàn)在電子彩色相機(jī)通常具有包括各個像素傳感器的一個矩陣的圖像 傳感器，其中每個像素傳感器在其前部具有一彩色濾光片，從而使不同的 傳感器響應(yīng)不同的色彩分量。通常使用紅色、綠色和藍(lán)色濾光片，盡管也 可使用其它濾光片色彩。綠色像素常常比紅色或藍(lán)色像素多很多，因此對 綠色分量的空間采樣頻率最高。
一種眾所周知的配置是紅綠藍(lán)像素的"貝
爾(Bayer)掩模"模式，其中像素總量的一半具有綠色濾光片，四分之一 具有紅色濾光片，四分之-一具有黃色濾光片。該模式如圖l所示。
盡管色彩分量的空間子采樣在圖像處理中并不罕見，但如果來自相應(yīng) 色彩分量的樣木不被共置(co-site)在一起，則將非常不便；并且，許多 處理都需要圖像中每個像素的每個分量的值。因此，需要使用貝爾掩?；?相似的傳感器模式來空間插值來自相機(jī)的色彩分量圖像，以獲取共置的、 全采樣的像素值。
已提出了該問題的許多解決方案，包括各個色彩分量的簡單、雙線性 插值和復(fù)雜、自適應(yīng)的濾光方案。較簡單的系統(tǒng)會遭受缺乏圖像銳度或混 淆，甚至更復(fù)雜的系統(tǒng)在物體具有與相機(jī)的彩色濾光片模式相似的結(jié)構(gòu)或 紋理時(shí)會遭受"偽色彩"效應(yīng)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種空間插值圖像的像素值的方法， 其中圖像的第一色彩分量像素值通過使用所述圖像的第二色彩分量像素 值來空間插值，這些第二色彩分量像素值不與第一色彩分量像素值共置在 一起，該方法包括以下歩驟空間插值第二色彩分量像素值以便于至少獲
7取與第一色彩分量像素值共置的第二色彩分量像素值；從各個經(jīng)插值的第
二色彩分量像素值和相應(yīng)共置的第一色彩分量像素值推導(dǎo)一中間值；空間 插值中間值以獲取至少第二色彩分量像素值位置處的中間值；以及組合所 述中間值與所述第二色彩分量像素值以獲取第一色彩分量的經(jīng)空間插值 的像素值。
此外，圖像的第三色彩分量像素值也可通過使用所述圖像的第二色彩 分量像素值來空間插值，這些第二色彩分量像素值不與第三色彩分量像素 值共置在一起，其中空間插值第二色彩分量像素值的步驟包括獲取與第三 色彩分量像素值共置的第二色彩分量像素值；還包括以下歩驟從各個經(jīng) 插值的第二色彩分量像素值和相應(yīng)共置的第三色彩分量像素值確定第二 中間值；空間插值第二中間值以獲取至少第二色彩分量像素值位置處的第 二中間值；以及組合所述第二中間值與所述第二色彩分量像素值以獲取第 三色彩分量的經(jīng)空間插值的像素值。
根據(jù)本發(fā)明的第二方面，提供了一種用于空間插值圖像的像素值的裝 置，其中圖像的第一色彩分量像素值通過使用所述圖像的第二色彩分量像 素值來空間插值，這些第二色彩分量像素值不與第一色彩分量像素值共置 在一起，該裝置包括用于空間插值第二色彩分量像素值以便于至少獲取 與第一色彩分量像素值共置的第二色彩分量像素值的裝置；用于從經(jīng)插值 的第二色彩分量像素值和相應(yīng)共置的第一色彩分量像素值構(gòu)成一中間值 的組合裝置；用于空間插值中間值以獲取至少第二色彩分量像素值位置處 的中間值的裝置；以及用于組合所述中間值與所述第二色彩分量像素值以 獲取第一色彩分量的經(jīng)空間插值的像素值的組合裝置。
優(yōu)選地，第二色彩分量像素值比第一色彩分量像素值多很多。
適當(dāng)?shù)兀虚g值和/或第二中間值可以是不同值。
適當(dāng)?shù)兀脕砜臻g插值所述第二色彩分量像素值的濾光片孔徑比用來 插值所述中間值的濾光片孔徑大。
有利地，用來空間插值所述第二色彩分量像素值的濾光片孔徑具有至 少一個負(fù)系數(shù)值。
有利地，用來插值所述中間值的濾光片孔徑具有非負(fù)系數(shù)值。
有利地，用來空間插值所述第二色彩分量像素值的濾光片具有非變量 可分的空間頻率響應(yīng)。
有利地，用來空間插值所述第二色彩分量像素值的濾光片的空間頻率 響應(yīng)的形狀與其輸入像素值的模式相關(guān)，從而所述濾光片的最低空間頻率 響應(yīng)的方向?qū)?yīng)于所述輸入像素值的模式的最低空間頻率的方向。 適當(dāng)?shù)?，第二色彩分量像素值由對角濾光片插值。 適當(dāng)?shù)兀诙史至渴蔷G色，而第一色彩分量是藍(lán)色。 適當(dāng)?shù)?，第二色彩分量是綠色，而第一色彩分量是紅色。 像素口J從貝爾掩模推導(dǎo)。
在又一方面中，本發(fā)明包括一裝置，它包括單色圖像傳感器陣列， 相關(guān)于該傳感器陣列放置以提供色彩分辨的濾光片裝置，以及被構(gòu)建和調(diào) 整成在以上定義的方法中空間插值像素值的處理器。


現(xiàn)在將參照附圖描述本發(fā)明的一個示例。 圖1示出公知的"貝爾掩模"模式。
圖2示出根據(jù)本發(fā)明一實(shí)施例的色彩分量像素插值器。
圖3 a示出兩維空間插值器的濾光片孔徑和系數(shù)。
圖3b、 3c和3d示出三個可選空間插值器的濾光片孔徑和系數(shù)。
圖4圖示地示出傳感器陣列和貝爾掩模的配置。
具體實(shí)施例方式
現(xiàn)在將在來自如圖l所示貝爾掩模模式的像素值的空間插值的環(huán)境中 描述本發(fā)明。顯然，本發(fā)明也可應(yīng)用于色彩分量的空間子采樣的其它模式。 如可很好理解地，貝爾掩模101被置于單色圖像傳感器102之前，且該傳 感器的像素值被取至處理器103，該處理器103生成所需的輸出像素值等。
參看圖2，表示按圖1模式排列的色彩分量像素的值的輸入數(shù)據(jù)(201) 被分解成三組原色分量數(shù)據(jù)綠色像素?cái)?shù)據(jù)(203)、藍(lán)色像素?cái)?shù)據(jù)(204) 和紅色像素?cái)?shù)據(jù)(205)。
綠色像素?cái)?shù)據(jù)(203)被傳遞給兩維空間插值器或?yàn)V光片(206)，該 兩維空間插值器或?yàn)V光片(206)對"缺失"像素一即數(shù)據(jù)(201)中未被
分解到數(shù)據(jù)(203)的紅色和藍(lán)色分量像素一插值綠色分量值(207)。
根據(jù)從輸出像素位置延伸至少兩個像素位置的濾光片孔徑，插值器 (206)從具有綠色分量值的輸入像素的加權(quán)和計(jì)算每個缺失綠色分量值 的像素的所需綠色分量值。重要的是插值器濾光片具有相對平坦的通帶， 因此優(yōu)選地它將包括一些負(fù)系數(shù)。適當(dāng)?shù)臑V光片孔徑及其系數(shù)在圖3a中 示出，并示出濾光片孔徑的范圍(301)。
同樣有利的是利用相應(yīng)色彩分量的采樣模式之間的差異。在圖1的"貝 爾"模式中，綠色像素具有對角模式，而紅色和藍(lán)色像素具有水平和垂直 模式。插值器(206)具有綠色輸入像素，因此優(yōu)選地具有對角空間阻帶， 即水平和垂直空間頻率的截止頻率比對角空間頻率的截止頻率高。如果該 濾光片具有"非變量可分"的空間頻率響應(yīng)，即不能通過水平濾光器和垂 直濾光器的巻積獲得的響應(yīng)，則也是有利的。
返回圖2，原始綠色像素值(203)與經(jīng)插值的綠色像素值(207)在 多路復(fù)用器(208)中組合，以生成掩模所有位置的綠色分量像素值(209)。
在一可選實(shí)施例中，插值器(206)也可輸出其輸入像素的經(jīng)濾光版 本，且不需要多路復(fù)用器(208)，因?yàn)樗邢袼刂?209)都將從插值器 (206)輸出。在該情形中，適當(dāng)?shù)牟逯禐V光片孔徑可通過巻積圖3a的濾 光片與具有相對較高的截止頻率和低截除率的低通濾光片獲得。
該可選實(shí)施例的優(yōu)點(diǎn)在于所有像素(209)都用基本相同的空間頻 率響應(yīng)來濾光。(插值器(206)中)要應(yīng)用于與像素(203)共置的那些 像素(209)的濾光片特性應(yīng)被選擇成具有與應(yīng)用于非共置像素(209)的 特性基本相同的頻率響應(yīng)(特別是在較低頻率)。這避免了因?yàn)檫@兩類像 素之間的差異而對圖像的損壞。
多路復(fù)用器(210)對在掩模的藍(lán)色位置處的那些像素選擇經(jīng)插值的 綠色分量值。這些選定值被從原始藍(lán)色分量像素(204)的藍(lán)色分量中減 去(211)以給出這些位置的藍(lán)色減綠色(B-G)值(212)?？臻g插值器 (213)對其余的像素位置一即原始的綠色分量像素(203)和原始的紅色 分量像素(205) —插值(B-G)值。
根據(jù)比插值器(206)的小、且優(yōu)選地從輸出像素位置延伸不超過一 個像素位置的濾光片孔徑，插值器(213)從原始藍(lán)色分量像素位置處的
(B-G)值(212)的加權(quán)和計(jì)算其余像素位置的所需(B-G)值。典型的 濾光片孔徑如圖3b、 3c和3d所示，且其相應(yīng)范圍分別在(302) 、 (303) 和(304)示出。
圖3b的濾光片適合在掩模的紅色/綠色行中的原始綠色分量像素位置 插值(B-G)值。在該情形中，在離輸出位置不超過一個像素位置處僅有 兩個可用的(B-G)值，且對它們求平均值以獲得輸出值。
圖3c的濾光片適合在掩模的原始紅色分量位置插值(B-G)值；在該 情形中，在離輸出位置不超過一個像素位置處有四個可用的(B-G)值， 且對它們求平均值以獲得輸出值。
圖3d的濾光片適合在掩模的紅色/綠色行中的原始綠色分量位置插值 (B-G)值；在該情形中，在離輸出位置不超過一個像素位置處有兩個可 用的(B-G)值，且對它們求平均值以獲得輸出值。
經(jīng)插值的值(214)被輸入到多路復(fù)用器(215)，該多路復(fù)用器(215) 將它們與原始藍(lán)色分量像素位置處的(B-G)值(212)組合以給出每個像 素位置的(B-G)值(216)。
在一可選實(shí)施例中，插值器(213)也可輸出其輸入像素的經(jīng)濾光版 本，且不需要多路復(fù)用器(215)，因?yàn)樗邢袼刂?216)都將從插值器 (213)輸出。必要的濾光片可從通過與如上所述的低通濾光片巻積所示 的濾光片推導(dǎo)。如上(對插值器(206))所述，目標(biāo)是對所有像素值(216) 應(yīng)用基本相似的空間頻率響應(yīng)。
每個像素位置的(R-G)值以與上述(B-G)值的推導(dǎo)完全類似的方 法推導(dǎo)。多路復(fù)用器(217)對在掩模的紅色位置處的那些像素選擇經(jīng)插 值綠色分量值(207)。這些綠色分量值被從原始紅色分量像素(205)的 紅色分量中減去(218)以給出原始紅色分量像素位置處的R-G值(219)。 (R-G)分量值(219)被插值(220)以在原始的藍(lán)色和綠色分量像素位 置處提供附加的(R-G)分量值(221)。經(jīng)插值的(R-G)分量值(221) 與原始紅色分量像素處的(R-G)值(219)組合(222)以給出每個像素 位置處的(R-G)值(223)。
插值器(220)的操作與插值器(212)的相同，其不同之處在于其 輸入樣本定位于掩模的紅色位置處，而在藍(lán)色和綠色掩模位置處則需要經(jīng)
插值的輸出樣本。所有樣本(223)都在插值器(220)中濾色使得所應(yīng)用
的空間頻率特性沒有實(shí)質(zhì)差異的可選實(shí)施例是同等適合的。
最后，每個像素的(B-G)值(216)被添加(224)到綠色值(209) 以給出每個像素的藍(lán)色值輸出(225);而每個像素的(R-G)值(223) 被添加(226)到綠色值(209)以給出每個像素的紅色值輸出(227)。
在以上示例性實(shí)施例中描述的本發(fā)明因而提供了一種空間插值像素 色彩分量值的簡單并有效的方法。
本發(fā)明已通過示例作了描述，并且發(fā)明概念的其它實(shí)施例也是可能 的。例如，輸出像素(209) 、 (225)和(227)的任一個都不需要與輸 入像素(201)的任一個共置，只要插值器(206) 、 (213)和(220)生 成所需輸出像素位置處的值即可。盡管共置像素可用于減法器(211)和 (217)的輸入是重要的，但進(jìn)行減法的像素位置不需要與輸出像素位置 相對應(yīng)。
綠色像素(203)可被插值成比掩模中像素總量更高的分辨率，且經(jīng) 插值色差值的數(shù)量增加以獲得該更高分辨率的R、 G和B值。
可選地，本發(fā)明可用于提供輸出處于較低分辨率的下采樣輸出。在該 情形中，插值器(206) 、 (213)和(220)的特性優(yōu)選地將需要被選擇 成丟棄否貝l」將導(dǎo)致的混淆分量。
在其它實(shí)施例中，可使用比三原色更多或更少的分量；僅有一種較低 分辨率分量能被插值；且不同于紅綠藍(lán)的色彩可被用作原色。
權(quán)利要求
1、一種空間插值圖像的像素值的方法，其中圖像的第一色彩分量像素值通過使用所述圖像的第二色彩分量像素值來空間插值，這些第二色彩分量像素值不與第一色彩分量像素值共置在一起，所述方法包括以下步驟空間插值第二色彩分量像素值以便于至少獲取與第一色彩分量像素值共置的第二色彩分量像素值；從各個經(jīng)插值的第二色彩分量像素值和相應(yīng)共置的第一色彩分量像素值推導(dǎo)一中間值；空間插值中間值以獲取經(jīng)插值的中間值；以及組合所述經(jīng)插值的中間值與所述第二色彩分量像素值或從中推導(dǎo)的第二色彩分量像素值以獲取第一色彩分量的經(jīng)空間插值的像素值。
2、 如權(quán)利要求1所述的方法，其中圖像的第三色彩分量像素值也可通過 使用所述圖像的第二色彩分量像素值來空間插值，這些第二色彩分量 像素值不與第三色彩分量像素值共置在一起，其中空間插值第二色彩 分量像素值的步驟包括獲取與第三色彩分量像素值共置的第二色彩分量像素值；還包括以下步驟從各個經(jīng)插值的第二色彩分量像素值和相應(yīng)共置的第三色彩分量像素值確定第二中間值；空間插值第二中間值以獲取第二經(jīng)插值的中間值；以及 組合所述第二經(jīng)插值的中間值與所述第二色彩分量像素值以獲取第三色彩分量的經(jīng)空間插值的像素值。
3、 如權(quán)利要求1或2所述的方法，其特征在于，所述中間值的至少一部 分不用空間插值組合。
4、 如權(quán)利要求3所述的方法，其特征在于，所述未經(jīng)插值的中間值在所 述組合之前，用與中間值的所述插值的基本相似的空間頻率特性濾
5、 如任一前面權(quán)利要求所述的方法，其特征在于，所述第二色彩分量值 的至少一部分不用空間插值組合。
6、 如權(quán)利要求5所述的方法，其特征在于，所述未經(jīng)插值的第二色彩分 量值在所述組合之前，用與第二色彩分量值的所述插值的基本相似的 空間頻率特性濾色。
7、 如任一前面權(quán)利要求所述的方法，其特征在于，輸出像素在任一方向上的空間采樣頻率比輸入像素的高。
8、 如任一前面權(quán)利要求所述的方法，其特征在于，輸出像素在任一方向上的空間采樣頻率比輸入像素的低。
9、 如任一前面權(quán)利要求所述的方法，其特征在于，用來空間插值所述第 二色彩分量像素值的濾色片孔徑比用來插值所述中間值的濾色片孔 徑大。
10、 如任一前面權(quán)利要求所述的方法，其特征在于，用來空間插值所述第 二色彩分量像素值的濾色片孔徑具有至少一個負(fù)系數(shù)值。
11、 如任一前面權(quán)利要求所述的方法，其特征在于，用來插值所述中間值 的濾色片孔徑具有非負(fù)系數(shù)值。
12、 如任-- -前面權(quán)利要求所述的方法，其特征在于，用來空間插值所述第二色彩分量像素值的濾色片孔徑具有非變量可分的空間頻率響應(yīng)。
13、 如任一前面權(quán)利要求所述的方法，其特征在于，用來空間插值所述第二色彩分量像素值的濾色片的空間頻率響應(yīng)的形狀與其輸入像素的 模式相關(guān)，從而所述濾光片的最低空間頻率響應(yīng)的方向?qū)?yīng)于所述輸 入像素值的模式的最低空間頻率的方向。
14、如任一前面權(quán)利要求所述的方法，其特征在于，第二色彩分由對角濾光片插值。
15、 如任一前面權(quán)利要求所述的方法，其特征在于，第二色彩分量是綠色， 而第一色彩分量是藍(lán)色。
16、 如任一前面權(quán)利要求所述的方法，其特征在于，第二色彩分量是綠色， 而第一色彩分量是紅色。
17、 如任一前面權(quán)利要求所述的方法，其特征在于，像素從貝爾掩模推導(dǎo)。
18、 如任一前面權(quán)利要求所述的方法，其特征在于，第二色彩分量像素值比第一色彩分量像素值多很多。
19、 一種用于空間插值圖像的像素值的裝置，其中圖像的第一色彩分量 素值通過使用所述圖像的第二色彩分量像素值來空間插值，這些第二 色彩分量像素值不與第一色彩分量像素值共置在一起，所述裝置包 括用于空間插值第二色彩分量像素值以便于至少獲取與第一色彩 分量像素值共置的第二色彩分量像素值的裝置；用于從各個所述經(jīng)插值的第二色彩分量像素值和相應(yīng)共置的第 一色彩分量像素值構(gòu)成一中間值的組合裝置；用于空間插值中間值以獲取至少第二色彩分量像素值位置處的 中間值的裝置；以及用于組合所述中間值與所述第二色彩分量像素值以獲取第一色 彩分量的經(jīng)空間插值的像素值的組合裝置。
20、 如權(quán)利要求19所述的裝置，其中圖像的第三色彩分量像素值也可通 過使用所述圖像的第二色彩分量像素值來空間插值，這些第二色彩分 量像素值不與第三色彩分量像素值共置在一起，其中用于插值第二色 彩分量像素值的裝置還獲取與第三色彩分量像素值共置的第二色彩 分量像素值；還包括用于從各個所述經(jīng)插值的第二色彩分量像素值和相應(yīng)共置的第 三色彩分量像素值構(gòu)成第二中間值的組合裝置；用于空間插值第二中間值以獲取至少第二色彩分量像素值位置 處的第二中間值的裝置；以及用于組合所述第二經(jīng)插值的中間值與所述第二色彩分量像素值 以獲取第三色彩分量的經(jīng)空間插值的像素值的組合裝置。
21、 如權(quán)利要求19或20所述的裝置，其特征在于，用來插值所述第二色 彩分量像素值的裝置具有比用來插值差值的濾光片孔徑大的濾光片 孔徑。
22、 如權(quán)利要求19到21之一所述的裝置，其特征在于，用來插值所述第 二色彩分量像素值的裝置具有有至少一負(fù)系數(shù)值的濾光片孔徑。
23、 如權(quán)利要求19到27之一所述的裝置，其特征在于，用來空間插值所 述中間值的裝置和/或用來空間插值所述第二色彩分量像素值的裝置 具有有非負(fù)系數(shù)值的濾光片孔徑。
24、 如權(quán)利要求19到23的任一個所述的裝置，其特征在于，用來插值所 述第二色彩分量像素值的裝置包括具有非變量可分的空間頻率響應(yīng) 的插值濾光片。
25、 如權(quán)利要求19到24的任一個所述的裝置，其特征在于，用來插值所 述第二色彩分量像素值的裝置包括空間頻率響應(yīng)的形狀與其輸入像 素的模式相關(guān)的一濾光片，從而所述濾光片的最低空間頻率響應(yīng)的方 向?qū)?yīng)于所述輸入像素值的模式的最低空間頻率的方向。
26、 如權(quán)利要求19到25的任一個所述的裝置，其特征在于，用來插值所 述第二色彩分量像素值的裝置包括一對角濾光片。
27、 如權(quán)利要求19到26的任一個所述的裝置，其特征在于，第二色彩分 量是綠色，而第一色彩分量是藍(lán)色。
28、 如權(quán)利要求19到27的任一個所述的裝置，其特征在于，第二色彩分 量是綠色，而第一色彩分量是紅色。
29、 如權(quán)利要求19到28的任一個所述的裝置，其特征在于，像素從貝爾 掩模推導(dǎo)。
30、 如權(quán)利要求19到29的任一個所述的裝置，其特征在于，第二色彩分 量像素值比第一色彩分量像素值多很多。
31、 如權(quán)利要求19到30的任一個所述的裝置，其特征在于，所述中間值 的至少 一 部分不用空間插值組合。
32、 如權(quán)利要求31所述的裝置，其特征在于，所述未經(jīng)插值的中間值在 所述組合之前，用與中間值的所述插值的基本相似的空間頻率特性濾 色。
33、 如權(quán)利要求19到32的任一個所述的裝置，其特征在于，所述第二色 彩分量值的至少 一 部分不用空間插值組合。
34、 如權(quán)利要求33所述的裝置，其特征在于，所述未經(jīng)插值的第二色彩 分量值在所述組合之前，用與第二色彩分量值的所述插值基本相似的 空間頻率特性濾色。
35、 如權(quán)利要求19到34的任一個所述的裝置，其特征在于，輸出像素在 任 一 方向上的空間采樣頻率比輸入像素的高。
36、 如權(quán)利要求19到35的任一個所述的裝置，其特征在于，輸出像素在 任 一 方向上的空間采樣頻率比輸入像素的低。
37、 一種裝置，包括單色圖像傳感器陣列，相關(guān)于該傳感器陣列放置以 提供色彩分辨的濾光片裝置，以及被構(gòu)建和調(diào)整成在如權(quán)利要求1到 1 8的任一個所述的方法中空間插值像素值的處理器。
全文摘要
本發(fā)明涉及彩色圖像的插值，尤其涉及來自單傳感器陣列電子相機(jī)的數(shù)據(jù)的重建或“去馬賽克”。電子相機(jī)通常具有包括各個像素傳感器的一個矩陣的圖像傳感器，每個傳感器響應(yīng)一色彩分量。為了獲得所有像素的色彩分量信息，根據(jù)所公開的實(shí)施例，綠色分量像素值(203)被插值以獲得所有像素的綠色分量像素值(209)。差值(B-G)(212)從綠色分量值(207)和藍(lán)色像素位置處的原始藍(lán)色分量值(204)構(gòu)成，然后差值(B-G)(212)被插值以獲得所有像素的差值(216)。然后可從所有像素的差值(216)和所有像素的綠色分量值(209)獲得所有像素的藍(lán)色分量值(225)。
文檔編號H04N9/04GK101185344SQ200680018817
公開日2008年5月21日 申請日期2006年6月1日 優(yōu)先權(quán)日2005年6月1日
發(fā)明者邁克爾·詹姆斯·尼 申請人:史諾偉思有限公司