專利名稱：信號(hào)處理方法和設(shè)備、計(jì)算機(jī)程序產(chǎn)品、計(jì)算系統(tǒng)和攝影機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信號(hào)處理方法，其中，提供圖像傳感器的傳感器信號(hào)作為輸入，并且該輸入在一個(gè)濾波器中被重構(gòu)，以建立一個(gè)用于進(jìn)一步處理的輸出，其中，所述濾波器包含從由亮度重構(gòu)濾波器、紅-綠-藍(lán)顏色重構(gòu)濾波器和輪廓重構(gòu)濾波器組成的組中選擇的至少一個(gè)重構(gòu)濾波器，其中，該輸入包含多個(gè)像素，一個(gè)像素提供被賦予紅色、綠色或藍(lán)色中至少之一的一個(gè)顏色值。本發(fā)明也涉及一種特別適合于執(zhí)行所述方法的信號(hào)處理設(shè)備，其包含一個(gè)用于提供傳感器信號(hào)作為輸入的圖像傳感器和一個(gè)用于重構(gòu)該輸入以建立用于進(jìn)一步處理的輸出的濾波器，其中，所述濾波器包含從由亮度重構(gòu)濾波器、紅-綠-藍(lán)顏色重構(gòu)濾波器和輪廓重構(gòu)濾波器組成的組中選擇的至少一個(gè)重構(gòu)濾波器，其中，該輸入包含多個(gè)像素，一個(gè)像素提供被賦予紅色、綠色或藍(lán)色中至少之一的一個(gè)顏色值。本發(fā)明進(jìn)一步涉及適于信號(hào)處理的計(jì)算機(jī)程序產(chǎn)品、計(jì)算系統(tǒng)和攝影機(jī)。
基于例如數(shù)字和靜止圖像的數(shù)字信號(hào)圖像傳感的數(shù)字?jǐn)z影機(jī)可有利地配備一個(gè)包含一個(gè)紅-綠-藍(lán)(RGB)拜爾(Bayer)顏色濾波器陣列的圖像傳感器。在這樣一個(gè)RGB拜爾顏色濾波器陣列中，每個(gè)像素檢測(cè)一個(gè)預(yù)先確定的圖案(pattern)中的紅、綠或藍(lán)原色(primarycolor)。這個(gè)圖案是由交錯(cuò)的綠/紅列和綠/藍(lán)列構(gòu)成的。這樣一個(gè)傳感器與對(duì)于每個(gè)原色使用一個(gè)單獨(dú)的圖像傳感器的攝影機(jī)相比，可能具有有限的分辨率。然而，一個(gè)帶有三個(gè)圖像傳感器的攝影機(jī)與單一的RGB拜爾-傳感器相比，具有三倍的對(duì)分辨率有貢獻(xiàn)的像素。由于應(yīng)用的成本和大小要求，使用三個(gè)傳感器對(duì)多數(shù)應(yīng)用來(lái)說(shuō)是不利的。另一方面，當(dāng)使用一個(gè)單一的圖像傳感器在一個(gè)單一的陣列(有利的是RGB拜爾顏色濾波器陣列)中檢測(cè)所有紅、綠、藍(lán)三原色時(shí)，有必要重構(gòu)某些顏色的缺失的(missing)像素，以處理一個(gè)一致的完整畫(huà)面。由于RGB拜爾結(jié)構(gòu)，分別對(duì)應(yīng)于綠、紅和藍(lán)色的不同的奈奎斯特域(Nyquist-domains)產(chǎn)生一個(gè)依賴于顏色的分辨率并且可能產(chǎn)生混疊的(aliasing)圖案。不過(guò)，RGB拜爾結(jié)構(gòu)仍是表現(xiàn)最佳的信號(hào)顏色陣列之一。
可以提供幾種插值(interpolation)方案來(lái)提高信號(hào)質(zhì)量。在WO99/39504中相當(dāng)概括地描述了一種傳統(tǒng)的插值方法，其中，在不存在給定顏色的信號(hào)的位置插值一個(gè)中間顏色信號(hào)，并生成一個(gè)給定顏色的平均。
另一個(gè)信號(hào)處理方法使用一個(gè)如在WO99/04555中和在尚未公開(kāi)的申請(qǐng)?zhí)枮镋P 01 200 422.2的歐洲專利申請(qǐng)中描述的更有利的插值方案。然而，這樣的方法仍然遭受例如自由亮度信號(hào)混疊或進(jìn)一步的信號(hào)失真。這樣的信號(hào)失真尤其導(dǎo)致虛假顏色(false colors)在圖像中的錯(cuò)誤生成。
在WO 99/04555中已經(jīng)描述了一種用于RGB拜爾圖像傳感器的綠色重構(gòu)方法，該方法只涉及綠顏色的重構(gòu)，紅色和藍(lán)色依然被以傳統(tǒng)方式重構(gòu)。僅僅是缺失的綠色像素被重構(gòu)。缺失的綠色像素的重構(gòu)，是通過(guò)一個(gè)分類(sorting)三個(gè)特定變量的中值(median)濾波器執(zhí)行的其中兩個(gè)變量得自綠色，第三個(gè)變量得自紅色或藍(lán)色。這個(gè)方法的一個(gè)缺點(diǎn)是，對(duì)于高度飽和的彩色邊緣來(lái)說(shuō)，引入了看起來(lái)像郵票邊沿的假象(artifacts)。在WO 99/04555中公開(kāi)的算法將被稱作smartgreen1算法。該算法所根據(jù)的概念是，在靠近白色場(chǎng)景部分時(shí)，分辨率損失在高頻下被最好地觀察到，而在靠近彩色部分不太好觀察。記住這一點(diǎn)，紅色和藍(lán)色像素的貢獻(xiàn)被用來(lái)幫助確定缺失的綠色像素的重構(gòu)值。Smartgreen1重構(gòu)的目的是最大化綠色的分辨率。為此，按照以下述方式應(yīng)用中值濾波器算法自然地，由一個(gè)紅色(R)或藍(lán)色(B)像素占據(jù)的位置是一個(gè)缺失的綠色像素的位置。在smartgreen1重構(gòu)算法中，一個(gè)3×3像素陣列的中心值(也稱中值)，被應(yīng)用于缺失的綠色像素的重構(gòu)。因此，用于綠色的簡(jiǎn)單的中值濾波器僅僅代替?zhèn)鹘y(tǒng)的綠色重構(gòu)插值概念，而傳統(tǒng)的紅色和藍(lán)色重構(gòu)方法繼續(xù)是簡(jiǎn)單的插值。亮度濾波、顏色濾波和輪廓(contour)濾波也被限于對(duì)綠色的濾波。虛假顏色的檢測(cè)僅僅根據(jù)傳統(tǒng)的綠色重構(gòu)插值概念，同樣，傳統(tǒng)的紅色和藍(lán)色重構(gòu)方法繼續(xù)是簡(jiǎn)單的插值。
這樣的smartgreen1重構(gòu)方法借助一個(gè)紅色和/或藍(lán)色像素信息提高水平方向和垂直方向上的綠色像素的分辨率。這個(gè)傳統(tǒng)的方法依賴于插值顏色樣本，該顏色樣本要依賴于相同顏色的相鄰顏色樣本和僅僅來(lái)自相同位置的不同顏色的樣本被插值。因此，所重構(gòu)的信號(hào)遭受紅色和/或藍(lán)色的混疊。垂直和水平的彩色邊緣在相應(yīng)的方向上遭受像郵票的邊沿一樣的綠色強(qiáng)度調(diào)制。
在EP 01200422.2中概述的進(jìn)一步的改進(jìn)(這里稱作smartgreen2重構(gòu)算法)能顯著改善分辨率，但是不能除去所提到的信號(hào)失真和信號(hào)混疊的缺點(diǎn)。特別地，在邊緣和高頻率下，仍然可見(jiàn)一些信號(hào)失真，諸如與鄰近像素交替的顏色。假象的黑點(diǎn)和白點(diǎn)被錯(cuò)誤地生成。
這是本發(fā)明的切入點(diǎn)，本發(fā)明的目的是規(guī)定一種信號(hào)處理方法和設(shè)備、用于信號(hào)處理的計(jì)算機(jī)程序產(chǎn)品、計(jì)算系統(tǒng)和適于信號(hào)處理以改善信號(hào)質(zhì)量的攝影機(jī)。特別地，應(yīng)當(dāng)針對(duì)信號(hào)失真和混疊來(lái)改善信號(hào)，但是該信號(hào)仍然提供足夠的分辨率。
所述方法的目的是通過(guò)在介紹部分提及的方法實(shí)現(xiàn)的，其中，按照本發(fā)明，該方法進(jìn)一步包含以下步驟-把重構(gòu)濾波器應(yīng)用于一個(gè)預(yù)定陣列大小的、包含多個(gè)像素的像素陣列，其中，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予紅色的紅色像素構(gòu)成的，所述多個(gè)像素的至少一個(gè)是由一個(gè)被賦予藍(lán)色的藍(lán)色像素構(gòu)成的，并且所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予綠色的綠色像素構(gòu)成的；以及-在亮度重構(gòu)濾波器后，應(yīng)用包含一個(gè)用來(lái)消除輸入中的虛假顏色的虛假顏色濾波器的顏色重構(gòu)濾波器。
在一個(gè)優(yōu)選的配置中，進(jìn)一步包含用一個(gè)綠色參數(shù)加權(quán)(weightening)該陣列的紅色和/或藍(lán)色像素的步驟。
在另一個(gè)優(yōu)選配設(shè)置中，進(jìn)一步包含把該陣列的像素總合成一個(gè)輸出像素和/或把該輸出像素在該陣列中居中(centering)的步驟。
所述設(shè)備的目的是通過(guò)在介紹部分提及的設(shè)備實(shí)現(xiàn)的，其中，按照本發(fā)明提出-重構(gòu)濾波器適于被應(yīng)用于一個(gè)預(yù)定陣列大小的、包含多個(gè)像素的像素陣列，其中，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予紅色的紅色像素構(gòu)成的，-所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予藍(lán)色的藍(lán)色像素構(gòu)成的，并且所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予綠色的綠色像素構(gòu)成的；以及-在亮度重構(gòu)濾波器后，應(yīng)用一個(gè)顏色重構(gòu)濾波器，該顏色重構(gòu)濾波器包含一個(gè)用來(lái)消除輸入中的虛假顏色的虛假顏色濾波器。
一個(gè)優(yōu)選的配置也包含用于用一個(gè)綠色參數(shù)加權(quán)紅色和/或藍(lán)色像素的裝置。
另一個(gè)優(yōu)選實(shí)施例包含用于把該陣列的像素總合成一個(gè)輸出像素的裝置，并且/或者可以提供用于把該輸出像素在該陣列中居中的裝置。
這里使用的術(shù)語(yǔ)“像素”特別是指信號(hào)中的顏色樣本值。
本發(fā)明來(lái)自為圖像重構(gòu)提供一種靈活設(shè)計(jì)的概念的構(gòu)思。主要的構(gòu)思是應(yīng)用一個(gè)在一個(gè)顏色重構(gòu)濾波器中實(shí)現(xiàn)的虛假顏色濾波器。從根本上說(shuō)，該構(gòu)思是通過(guò)在亮度濾波器后應(yīng)用顏色重構(gòu)濾波器實(shí)現(xiàn)的，其中，顏色重構(gòu)濾波器中包含一個(gè)被合并在其中的虛假顏色濾波器以用來(lái)消除輸入中的虛假顏色。
取決于光傳輸(optical transfer)和矩陣，按照奈奎斯特法則，所重構(gòu)的RGB信號(hào)仍然可能遭受彩色混疊。為了再減少在亮度重構(gòu)濾波器后的剩余的混疊量，應(yīng)用顏色重構(gòu)濾波器。按照本發(fā)明，顏色重構(gòu)濾波器包含一個(gè)用來(lái)消除輸入中的虛假顏色的虛假顏色濾波器。虛假顏色濾波器原則上是從WO 99/04555中獲知的，但是這個(gè)已知的傳統(tǒng)類型的虛假顏色濾波器是被單獨(dú)地應(yīng)用的，因此不是在顏色重構(gòu)濾波器中實(shí)現(xiàn)的。提供包含虛假顏色濾波器的顏色重構(gòu)濾波器的本發(fā)明構(gòu)思具有一些重要優(yōu)點(diǎn)。特別是所提出的本發(fā)明概念允許以優(yōu)選的方式用綠色參數(shù)加權(quán)所有的像素。
優(yōu)選地，把虛假顏色濾波器應(yīng)用于一個(gè)最小可能的綠色像素陣列。特別地，虛假顏色濾波器包含下列步驟，其中用綠色參數(shù)加權(quán)該最小可能的綠色像素陣列中的紅色和藍(lán)色像素，以及由一個(gè)中值濾波器連同該陣列中的一個(gè)或多個(gè)綠色像素的平均一起總合所加權(quán)的紅色和藍(lán)色像素?？赏ㄟ^(guò)一個(gè)平均濾波器取得該陣列中的一個(gè)或多個(gè)綠色像素的平均。特別地，可取得垂直方向上的綠色像素的平均和水平方向上的綠色像素的平均。將被中值濾波的像素與最小可能的綠色像素陣列的被低頻濾波的像素比較，由此消除輸入中的虛假顏色。
這種方案有利地允許可調(diào)整的虛假顏色濾波器，特別地，顏色重構(gòu)濾波器和/或虛假顏色濾波器被應(yīng)用于一個(gè)優(yōu)選陣列大小為2×2或最優(yōu)選是3×3的最小可能的綠色像素陣列。如果需要的話，這樣的預(yù)定的小陣列甚至還可以是5×5大小或者更大的。這樣的調(diào)整獨(dú)立于光學(xué)低通濾波器(optical low pass filter)。然而這樣的陣列應(yīng)當(dāng)包含至少四個(gè)像素，其中包含兩個(gè)綠色像素、一個(gè)紅色像素和一個(gè)藍(lán)色像素。
優(yōu)選地，被應(yīng)用的顏色重構(gòu)濾波器有3×3或5×5的陣列大小。特別地，在有一個(gè)重(heavy)傳感器矩陣的情況下，優(yōu)選的是5×5的陣列大小?？梢园褜?duì)應(yīng)的濾波器函數(shù)(filter function)的系數(shù)選擇為光傳輸和矩陣的一個(gè)函數(shù)，所述這種濾波器函數(shù)的系數(shù)特別在國(guó)際文檔號(hào)ID 606638-I的專利申請(qǐng)的詳細(xì)說(shuō)明部分的第4章中有概述，該申請(qǐng)與本申請(qǐng)同日提交，特此引用作為參考。這樣的方法最大化對(duì)于普通場(chǎng)景來(lái)說(shuō)似乎是最重要的引人注目的部分的接近白色的顏色的分辨率。特別是在最小化信號(hào)失真量的同時(shí)提供足夠的分辨率。特別在詳細(xì)說(shuō)明部分的3.3章關(guān)于一個(gè)優(yōu)選實(shí)施例概述了定義3×3和5×5RGB顏色重構(gòu)濾波器的濾波系數(shù)的規(guī)則。虛假顏色濾波器的進(jìn)一步的優(yōu)點(diǎn)在詳細(xì)說(shuō)明部分的3.1章中作了概述。
所提出的方法以及所概述的的該方法的進(jìn)一步發(fā)展的配置的一個(gè)特別的優(yōu)點(diǎn)是，綠色重構(gòu)以及紅色和藍(lán)色重構(gòu)(即RGB-重構(gòu))完全獨(dú)立于3×3綠色虛假顏色陣列。RGB重構(gòu)濾波器的大小可以是3×3或5×5。所提出的方法的一個(gè)特別的優(yōu)點(diǎn)是，虛假顏色函數(shù)(functions)獨(dú)立于顏色重構(gòu)函數(shù)。
特別地，在顏色重構(gòu)濾波器中只在虛假顏色濾波器內(nèi)可以使用一個(gè)、兩個(gè)或其它數(shù)量的綠色參數(shù)。
在另一個(gè)優(yōu)選的配置中，應(yīng)用一個(gè)后置濾波器(post-filter)，以便在其輸出中維持相對(duì)先前已經(jīng)應(yīng)用了的重構(gòu)濾波器的輸出的一個(gè)相位。有利地在虛假顏色濾波器之后應(yīng)用該后置濾波器，即把該后置濾波器應(yīng)用到在RGB重構(gòu)濾波器后面的虛假顏色濾波器的輸出。重構(gòu)濾波器也可以是個(gè)亮度濾波器。特別地，通過(guò)在虛假顏色濾波器之后應(yīng)用2×2陣列大小的后置濾波器固定了所述相位，通過(guò)所述后置濾波器把最小可能的綠色像素陣列的中央輸出像素定位成與一個(gè)白色像素同相。該白色像素本身被相對(duì)于已對(duì)其應(yīng)用了亮度重構(gòu)濾波器的同一陣列居中。特別地，信號(hào)被基于3×3或5×5陣列大小RGB重構(gòu)，并將由于所述2×2的后置濾波器而得到與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)相同的相位。在這個(gè)配置中，虛假顏色濾波器不影響相位是個(gè)特別的優(yōu)點(diǎn)。后置濾波器還有利地消除圖像傳感器的綠色不均勻性。紅色和藍(lán)色像素將有與綠色像素相同的相位。在對(duì)優(yōu)選實(shí)施例的詳細(xì)說(shuō)明中，專門(mén)關(guān)于附圖中的圖5和3.4和3.5章對(duì)此作了概述。
另外，作為一種選擇，在一個(gè)被稱作smartgreen4重構(gòu)方法的另一個(gè)優(yōu)選實(shí)施例中，為了3×3或5×5RGB顏色重構(gòu)濾波器的使用，可以省略后置濾波器。這允許簡(jiǎn)單和高效的處理，因此對(duì)于低成本應(yīng)用來(lái)說(shuō)是有益的。
作為所提出的概念的另一個(gè)構(gòu)思，信號(hào)重構(gòu)根據(jù)的是經(jīng)白補(bǔ)償?shù)牧炼戎貥?gòu)。最優(yōu)選的配置是通過(guò)用綠色參數(shù)加權(quán)紅色和/或藍(lán)色像素而實(shí)現(xiàn)的，而現(xiàn)有技術(shù)的概念僅僅依賴缺失的綠色像素的重構(gòu)。所提出的重構(gòu)濾波器被設(shè)計(jì)成要被應(yīng)用于一個(gè)預(yù)定的陣列大小的像素陣列。因此以有利的方式對(duì)這個(gè)陣列進(jìn)行濾波。傳統(tǒng)的方法依賴根據(jù)相鄰樣本或相同位置的樣本的簡(jiǎn)單插值，而所提出的概念提供經(jīng)特別適配的考慮了陣列的所有像素的重構(gòu)濾波器。即使在沒(méi)有光學(xué)低通濾波器的攝影機(jī)的情況中，在樣本頻率的多倍頻率下，所提出的白補(bǔ)償?shù)母拍钜灿幸娴禺a(chǎn)生一個(gè)無(wú)混疊的亮度信號(hào)。此外，這個(gè)經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)沒(méi)有信號(hào)失真。所提出的基本方法和設(shè)備適合于提供一個(gè)寬而靈活的擴(kuò)展。有可能提供例如可根據(jù)光學(xué)系統(tǒng)的光傳輸和/或圖像傳感器的傳感器矩陣選擇和調(diào)整的若干個(gè)不同的重構(gòu)濾波器。所提出的方法和設(shè)備能夠保持對(duì)于光學(xué)低通濾波器的相當(dāng)?shù)莫?dú)立性。這是特別有益的，因?yàn)闈撛诳蛻舻臄z影機(jī)設(shè)計(jì)可能不同。所提出的方法和設(shè)備能夠如下文所概述的那樣以各種方式簡(jiǎn)單地實(shí)現(xiàn)可調(diào)整的虛假顏色濾波器。用綠色參數(shù)加權(quán)紅色和/或藍(lán)色像素，對(duì)于由虛假顏色濾波器處理的像素特別有益。在一個(gè)具體實(shí)施例中，綠色參數(shù)可以只在虛假顏色濾波器中被使用。
在從屬權(quán)利要求中描述了該方法的繼續(xù)發(fā)展的配置。所提出的設(shè)備可以通過(guò)執(zhí)行該方法的對(duì)應(yīng)裝置得到改善。
特別地，優(yōu)選地將一個(gè)在一個(gè)第一濾波器之后的第二濾波器的中央輸出像素定位成與輸出像素同相，特別是將該中央輸出像素居中放在與輸出像素相同的陣列中央位置。這最好可以通過(guò)一個(gè)附加的后置濾波器進(jìn)行，特別是通過(guò)一個(gè)如下文進(jìn)一步描述的后置濾波器進(jìn)行。
在一個(gè)優(yōu)選配置中，重構(gòu)濾波器由一個(gè)亮度重構(gòu)濾波器構(gòu)成，并且陣列的像素一同被相加在作為輸出像素的白色像素中。最優(yōu)選地根據(jù)圖像傳感器的傳感器矩陣選擇所述綠色參數(shù)或多個(gè)綠色參數(shù)。最優(yōu)選地提供兩個(gè)綠色參數(shù)。此外，所述綠色參數(shù)或多個(gè)綠色參數(shù)可根據(jù)向圖像傳感器提供圖像信號(hào)的光學(xué)系統(tǒng)的光傳輸被選擇。由此，用可作為攝影機(jī)的光傳輸與傳感器矩陣重量(heaviness)的組合的函數(shù)而被選擇的濾波器權(quán)重(weights)有益地重構(gòu)RGB顏色信號(hào)。由此實(shí)現(xiàn)圖像質(zhì)量的應(yīng)用特定的改善。
以上用一個(gè)或多個(gè)優(yōu)選配置描述的亮度重構(gòu)的基本概念在下文被稱作RGB拜爾圖像傳感器的“經(jīng)白補(bǔ)償?shù)牧炼戎貥?gòu)”，或簡(jiǎn)稱“RGB重構(gòu)”。綠色參數(shù)也被稱作″smartgreen參數(shù)″。如所提出的方法及其進(jìn)一步發(fā)展的配置所定義的也與紅色和/或藍(lán)色像素一起使用smartgreen參數(shù)，將被稱作″smartgreen3″重構(gòu)方法。確定綠色參數(shù)的特定方式也在WO 99/04555和EP 01200422.2中描述，并且可在smartgreen3內(nèi)被應(yīng)用和使用。
所提出的方法的對(duì)濾波器和濾波器大小的特定種類的安排導(dǎo)致無(wú)混疊的信號(hào)，特別是也導(dǎo)致沒(méi)有綠-綠差異(green-greendifferences)。在詳細(xì)說(shuō)明的第2章中將結(jié)合一個(gè)優(yōu)選實(shí)施例并參照附圖對(duì)細(xì)節(jié)作進(jìn)一步概述。
具體來(lái)說(shuō)，將一個(gè)亮度重構(gòu)濾波器應(yīng)用于一個(gè)具有2×2或4×4或6×6或更大的陣列大小的陣列的像素。在一個(gè)特定的優(yōu)選配置中，將亮度重構(gòu)濾波器應(yīng)用于一個(gè)2×2或4×4大小的陣列。濾波器大小可以被選擇成光傳輸?shù)囊粋€(gè)函數(shù)。相應(yīng)濾波器的權(quán)重也可以被不同地選擇。此外，可以由被應(yīng)用于分別是2×2或4×4大小的陣列的光學(xué)低通濾波器有益地生成一個(gè)低通亮度信號(hào)。在一個(gè)有益的配置中，分別將4×4或6×6光學(xué)低通濾波器分別與2×2或4×4亮度重構(gòu)濾波器組合，以建立一個(gè)單一的濾波器。所生成的信號(hào)都不遭受由傳感器引起的綠色不均勻性假象。
提供另外的各種顏色重構(gòu)濾波器用于應(yīng)用。特別地，對(duì)于2×2亮度重構(gòu)濾波器應(yīng)用3×3顏色重構(gòu)濾波器，或者對(duì)于4×4亮度重構(gòu)濾波器應(yīng)用5×5顏色重構(gòu)濾波器。
在上述的整個(gè)處理鏈(即RGB重構(gòu))中，特別包含-用于相位匹配的后置濾波器的實(shí)現(xiàn)；
-亮度信號(hào)處理；-顏色重構(gòu)信號(hào)處理，包含一個(gè)虛假彩色濾波器以及特別是一個(gè)另外的后置濾波器的實(shí)現(xiàn)；以及-輪廓信號(hào)處理，信號(hào)失真量被限定到極低的水平。
這對(duì)最終的JPEG轉(zhuǎn)換也成立。在一個(gè)優(yōu)選的配置中，也可以進(jìn)行按列或按行的處理，以按照所提出的方法執(zhí)行smartgreen3重構(gòu)算法。這在詳細(xì)說(shuō)明部分的3.2章中針對(duì)一個(gè)優(yōu)選實(shí)施例作概述。這樣的處理有益地減少內(nèi)部存儲(chǔ)器的存儲(chǔ)量和與外部存儲(chǔ)器交換的數(shù)據(jù)量。這將支持處理效率和速度。如果所有數(shù)據(jù)傳輸都被旋轉(zhuǎn)90°，這樣的措施也成立。
所提出的方法有益地在上文所提出的設(shè)備上執(zhí)行，特別是在計(jì)算系統(tǒng)和/或半導(dǎo)體器件上執(zhí)行。這樣的系統(tǒng)可有益地包含一個(gè)位于圖像傳感器和處理芯片之間的中間存儲(chǔ)器接口。由此有利地不再限制要被濾波的像素陣列的長(zhǎng)度和行數(shù)，與外部存儲(chǔ)器交換的數(shù)據(jù)量當(dāng)然也不應(yīng)過(guò)多地延遲處理時(shí)間。因此沒(méi)有任何作為中間接口的存儲(chǔ)器的實(shí)時(shí)處理仍然是可能的。所述計(jì)算系統(tǒng)可以是任何種類的處理器單元或系統(tǒng)或計(jì)算機(jī)。
優(yōu)選地在沒(méi)有任何作為中間接口的存儲(chǔ)器時(shí)也可以進(jìn)行實(shí)時(shí)處理。然而，在這種情況中，出于成本的原因，可以限制可用的行延遲的總量，特別地限制到兩個(gè)。這可導(dǎo)致只有三個(gè)垂直抽頭(taps)可用于RGB重構(gòu)以及用于輪廓信號(hào)的實(shí)現(xiàn)。
本發(fā)明進(jìn)一步導(dǎo)致一個(gè)可存儲(chǔ)在一個(gè)可由計(jì)算系統(tǒng)讀取的介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，其包含一個(gè)軟件代碼段，當(dāng)所述程序產(chǎn)品在計(jì)算系統(tǒng)上、特別是在攝影機(jī)的計(jì)算系統(tǒng)上被執(zhí)行時(shí)，所述軟件代碼段執(zhí)行所提出的方法。
詳細(xì)說(shuō)明部分將參照附圖進(jìn)行例示和描述。盡管將展示和說(shuō)明的被認(rèn)為是本發(fā)明的優(yōu)選實(shí)施例，當(dāng)然應(yīng)當(dāng)明白，在不偏離本發(fā)明的精神的情況下可以在形式上或細(xì)節(jié)上作出各種修改和改變。因此不應(yīng)把本發(fā)明限定于這里所展示和說(shuō)明的精確形式和細(xì)節(jié)，也不應(yīng)將其限定于少于如本文這里所公開(kāi)的和此后所要求保護(hù)的本發(fā)明的整體。另外，無(wú)論單獨(dú)地還是組合地考慮，在說(shuō)明書(shū)和附圖以及公開(kāi)本發(fā)明的權(quán)利要求書(shū)中所描述的特征，對(duì)本發(fā)明來(lái)說(shuō)都是十分重要的。
伴隨附圖的詳細(xì)說(shuō)明提供以下章節(jié)1.白補(bǔ)償?shù)牧炼戎貥?gòu)方法的處理流程2.經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)3.RGB顏色重構(gòu)3.1 用于3×3和5×5RGB顏色重構(gòu)的虛假顏色消除器3.2 對(duì)列包(column packages)的處理3.3 RGB顏色重構(gòu)的起點(diǎn)3.4 3×3顏色重構(gòu)濾波器3.5 5×5顏色重構(gòu)濾波器4.結(jié)論附錄1傳感器矩陣對(duì)OLPF的傳輸?shù)挠绊懜戒?沒(méi)有內(nèi)部行存儲(chǔ)器的2×2后置濾波器附錄3傳統(tǒng)重構(gòu)的傳輸特性附錄44×4和6×6顏色重構(gòu)4.1 4×4 RGB顏色重構(gòu)4.2 6×6 RGB顏色重構(gòu)4.3 對(duì)4×4和6×6相位重構(gòu)濾波器的評(píng)估附圖表示本發(fā)明的優(yōu)選實(shí)施例，列舉如下

圖1RGB重構(gòu)和輪廓重構(gòu)在基于存儲(chǔ)器的體系結(jié)構(gòu)中的位置；圖2smartgreen3重構(gòu)的基本框圖；(關(guān)于用smartgreen參數(shù)與紅色和藍(lán)色的相乘的方框的特定信息可從WO 99/04555中獲得。)圖3經(jīng)白補(bǔ)償?shù)牧炼认袼豗n的實(shí)現(xiàn)；圖4幾個(gè)白補(bǔ)償?shù)牧炼戎貥?gòu)濾波器；(圖3和4表示一個(gè)有益地沒(méi)有綠-綠差異的優(yōu)選實(shí)施例的經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)。綠-綠差異可以通過(guò)恢復(fù)拜爾圖像的綠色均勻性而被去除，其允許在維持拉普拉斯(即smartgreen)RGB重構(gòu)方法并且沒(méi)有可見(jiàn)的分辨率損失的情況下消除綠色信號(hào)中的綠-綠差異。綠-綠差異也可以通過(guò)防止RGB拜爾圖像傳感器的并行輪廓信號(hào)中的綠色不均勻性而去除，這是可以通過(guò)開(kāi)發(fā)一種用來(lái)消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進(jìn)行的。)
圖5smartgreen1/2(加虛假顏色消除器)與Yn之間的相位差；圖6在3×3或5×5低頻RGB信號(hào)和2×2后置濾波器中的虛假顏色消除；(關(guān)于帶有虛假顏色檢測(cè)器和虛假顏色消除器的方框的具體信息也可以從WO99/04555中取得。圖6中的虛假顏色濾波器在顏色濾波器和2×2后置濾波器中的實(shí)現(xiàn)表示一個(gè)優(yōu)選實(shí)施例。)圖7如例如WO99/04555中所述的那樣通過(guò)使用三個(gè)垂直行中的smartgreen1信號(hào)的虛假顏色檢測(cè)；圖8通過(guò)2×2后置濾波器的顏色信號(hào)相位恢復(fù)的參考實(shí)施例；圖9通過(guò)2×2后置濾波器消除綠色不均勻性；(綠-綠差異可以通過(guò)恢復(fù)拜爾圖像的綠色均勻性而被去除，其允許在維持拉普拉斯(或smartgreen)RGB重構(gòu)方法并且沒(méi)有可見(jiàn)的分辨率損失的情況下消除綠色信號(hào)中的綠-綠差異。綠-綠差異也可以通過(guò)防止RGB拜爾圖像傳感器的并行輪廓信號(hào)中的綠色不均勻性而去除，這是可以通過(guò)開(kāi)發(fā)一種用來(lái)消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器而進(jìn)行的。)圖10表示在一個(gè)行方向(左)和一個(gè)列方向上(右)的數(shù)據(jù)包傳輸?shù)膱D；圖11采用從外部存儲(chǔ)器的按列的包傳輸?shù)?×2后置濾波器的基本框圖；圖12采用按列的數(shù)據(jù)傳輸?shù)?×2后置濾波器的內(nèi)部存儲(chǔ)器；圖13帶有傳感器數(shù)據(jù)和帶有垂直傳輸選項(xiàng)的內(nèi)部包存儲(chǔ)器；(圖10至13表示一個(gè)優(yōu)選實(shí)施例。當(dāng)所有數(shù)據(jù)傳輸被旋轉(zhuǎn)90°時(shí)按列處理的概念也適用，產(chǎn)生具有相同的好處的按行的處理。)圖14當(dāng)存在一個(gè)中央綠色時(shí)一個(gè)3×3綠色重構(gòu)的值；圖15當(dāng)不存在一個(gè)中央綠色時(shí)一個(gè)3×3綠色重構(gòu)傳輸?shù)闹担粓D16在一個(gè)2×2后置濾波器之后的一個(gè)3×3綠色重構(gòu)的值；圖17對(duì)于傳統(tǒng)的重構(gòu)(左)的和對(duì)于更好的匹配的綠色重構(gòu)(右)的呈綠色的對(duì)角線干涉；圖18利用傳統(tǒng)的綠色重構(gòu)(頂)的和利用更好的匹配的綠色重構(gòu)(底)的虛假顏色消除器假象；(圖14至18表示一個(gè)優(yōu)選實(shí)施例。)
圖19對(duì)于存在綠色的拉普拉斯5×5綠色重構(gòu)；圖20對(duì)于不存在綠色的拉普拉斯5×5綠色重構(gòu)；圖21對(duì)于存在紅色/藍(lán)色的拉普拉斯5×5紅色/藍(lán)色重構(gòu)；圖22對(duì)于空的紅色/藍(lán)色中央行和列的拉普拉斯5×5紅色/藍(lán)色重構(gòu)；圖23對(duì)于不存在紅色/藍(lán)色中央像素和空的紅色/藍(lán)色中央列的拉普拉斯5×5紅色/藍(lán)色重構(gòu)；圖24對(duì)于不存在紅色/藍(lán)色中央像素和空的紅色/藍(lán)色中央行的被旋轉(zhuǎn)的紅色/藍(lán)色濾波器的值；圖25總的綠色(左)和總的紅色/藍(lán)色(右)濾波器的權(quán)重；圖26總的綠色(左)和總的(但是修改了的)紅色/藍(lán)色(右)濾波器的權(quán)重；圖27在左側(cè)顯示綠色與紅色/藍(lán)色傳輸之間的失配和在右側(cè)顯示確實(shí)匹配的傳輸?shù)睦樱?圖19至27表示一個(gè)優(yōu)選實(shí)施例。)圖28三個(gè)輪廓濾波器的傳輸特性；(圖28表示一個(gè)優(yōu)選實(shí)施例，即無(wú)混疊的并行輪廓信號(hào)。這或者可以通過(guò)對(duì)拜爾圖像傳感器的并行輪廓處理實(shí)現(xiàn)，該處理允許使用來(lái)自圖像傳感器中的綠色信號(hào)來(lái)與RGB顏色重構(gòu)并行地生成二維的輪廓信號(hào)。其優(yōu)點(diǎn)是不需要額外的行延遲，而在串行輪廓處理的情況中或者對(duì)于RGB拜爾圖像傳感器的無(wú)混疊的輪廓?jiǎng)t需要額外的行延遲，該RGB拜爾圖像傳感器基于一個(gè)獨(dú)有的5×5并行輪廓濾波器，它在無(wú)需光學(xué)低通濾波器的情況下在第一RGB樣本頻率下有一個(gè)零通過(guò)量。它的信號(hào)失真幾乎是零，導(dǎo)致一個(gè)沒(méi)有可見(jiàn)的假象的輪廓信號(hào)。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的(backfolded)和不希望有的頻率。這將導(dǎo)致失真并因此導(dǎo)致多余的混疊分量在畫(huà)面中更好的能見(jiàn)度。這個(gè)獨(dú)有的5×5濾波器防止那些混疊假象，此外還消除在圖像傳感器的綠色通道中產(chǎn)生的綠-綠差異。)圖29表示在RGB樣本頻率周?chē)?、作為傳感器矩陣的一個(gè)函數(shù)的混疊量的例子；圖30在帶有一個(gè)統(tǒng)一矩陣(unity matrix)(頂部)和沒(méi)有統(tǒng)一矩陣(底部)的波帶片(zone plate)場(chǎng)景的中間行的水平的彩色混疊；
圖31通過(guò)同時(shí)處理兩行數(shù)據(jù)避免2×2后置濾波器行存儲(chǔ)器的方案；圖32通過(guò)向外部存儲(chǔ)器交換行數(shù)據(jù)避免2×2后置濾波器行存儲(chǔ)器的方案；圖33傳統(tǒng)RGB重構(gòu)的基本要素；圖34傳統(tǒng)3×3綠色重構(gòu)濾波器的值；圖352×2后置濾波器之后的綠色傳輸?shù)闹?；圖36對(duì)應(yīng)空的紅色/藍(lán)色中央行和列的紅色/藍(lán)色的傳統(tǒng)重構(gòu)的值；圖37對(duì)應(yīng)只有紅色/藍(lán)色行數(shù)據(jù)不存在的紅色/藍(lán)色的傳統(tǒng)重構(gòu)的值；圖38對(duì)應(yīng)只有中央紅色/藍(lán)色列數(shù)據(jù)不存在的紅色/藍(lán)色的傳統(tǒng)重構(gòu)；圖392×2后置濾波器之后的四個(gè)不同的紅色/藍(lán)色重構(gòu)傳輸?shù)闹?；圖40表示作為一個(gè)4×4統(tǒng)一陣列的開(kāi)始位置的函數(shù)的重構(gòu)的紅色像素的相位的圖；圖41表示作為一個(gè)紅色和一個(gè)藍(lán)色的函數(shù)的不同中央像素的圖；圖42表示維持作為開(kāi)始位置的函數(shù)的4×4重構(gòu)的紅色相位的圖；圖43圖42的開(kāi)始位置1的4×4紅色傳輸特性；圖44三個(gè)4×4綠色重構(gòu)濾波器；圖45分別應(yīng)用了圖44的第一(頂部)、第二(中間)或第三(底部)綠色濾波器的例子；圖46彩色瞬變(transients)；-頂部利用4×4統(tǒng)一RGB濾波器的綠色-品紅和紅色-藍(lán)色瞬變，-底部利用R/B相位校正和第三G濾波器的相同瞬變；圖47表示維持作為開(kāi)始位置的函數(shù)的6×6重構(gòu)的紅色相位的圖；圖48圖42的開(kāi)始位置1的6×6紅色傳輸特性；圖49一個(gè)適當(dāng)?shù)?×6綠色濾波器的權(quán)重；
圖50表示一個(gè)6×6相位校正濾波器的對(duì)角線瞬變改善的例子；圖51表示利用4×4(左)和3×3(右)彩色濾波器的虛假顏色消除的例子；圖52表示一個(gè)人工波帶片的帶寬的例子；-左上最佳的3×3，右上最佳的5×5顏色濾波器(包括一個(gè)2×2后置濾波器，-左下最佳的4×4，右下最佳的6×6相位校正顏色濾波器；圖53彩色對(duì)角線邊沿的例子；-左上最佳的3×3，右上最佳的5×5濾波器(包括一個(gè)2×2后置濾波器，-左下最佳的4×4，右下最佳的6×6相位校正濾波器；(圖29至53表示一個(gè)優(yōu)選實(shí)施例，特別是關(guān)于后濾波的。)1.白補(bǔ)償?shù)牧炼戎貥?gòu)方法的處理流程在圖1中，表示了一個(gè)帶有中央總線和外部存儲(chǔ)器接口的集成電路的總體體系結(jié)構(gòu)的一部分。通過(guò)中央總線向外部存儲(chǔ)器提供一個(gè)傳感器信號(hào)。為了RGB顏色重構(gòu)和并行輪廓重構(gòu)的實(shí)現(xiàn)，通過(guò)中央總線從外部存儲(chǔ)器檢索傳感器數(shù)據(jù)用于重構(gòu)。在重構(gòu)之后，數(shù)據(jù)被直接發(fā)送到處理塊或發(fā)送回外部存儲(chǔ)器。
處理塊或多或少含有一些標(biāo)準(zhǔn)化的如矩陣、白平衡(whitebalance)、拐點(diǎn)調(diào)整(knee)和伽馬(gamma)之類的攝影機(jī)功能。向所述處理直接發(fā)送重構(gòu)的數(shù)據(jù)是一個(gè)重要的問(wèn)題，因?yàn)闉榱双@得對(duì)靜止畫(huà)面或視頻數(shù)據(jù)快速的執(zhí)行時(shí)間，應(yīng)當(dāng)限制向存儲(chǔ)器或從存儲(chǔ)器的耗時(shí)的數(shù)據(jù)交換量。
在圖2中，表示了所提出的方法的一個(gè)優(yōu)選實(shí)施例的更詳細(xì)的框圖，以下稱該方法為″smartgreen3″信號(hào)重構(gòu)。通過(guò)中央總線，傳感器數(shù)據(jù)被以小包(packets)的形式從外部存儲(chǔ)器發(fā)送到重構(gòu)塊中的小內(nèi)部存儲(chǔ)器陣列。從圖2中的這個(gè)[1S×64H×6V]陣列(例如含有1個(gè)信號(hào)(16位)和64水平×6垂直像素(768字節(jié)))，原始傳感器數(shù)據(jù)能被隨機(jī)地檢索以供重構(gòu)。特別地，一行傳感器數(shù)據(jù)能按(64-2*ho)的倍數(shù)的像素被處理，其中，ho是濾波器陣列的水平偏移(horizontaloffset)。對(duì)于一個(gè)n×m重構(gòu)陣列(其中″n″是水平的像素、″m″是垂直的像素)，偏移是ho＝n div 2，″div″的意思是向零取整到最接近的整數(shù)。因此，成立以下關(guān)系n＝3則ho＝1，n＝4或n＝5則ho＝2，n＝6則ho＝3。第一個(gè)能被重構(gòu)的像素位于位置1+ho，最后一個(gè)位于位置N-ho，其中N是一個(gè)傳感器行中的像素的總數(shù)。重構(gòu)一個(gè)完整的傳感器行需要把N/(64-2*ho)個(gè)包發(fā)送到重構(gòu)塊。在圖2的下部，RGB顏色信號(hào)被用原始傳感器數(shù)據(jù)重構(gòu)。通過(guò)選擇濾波器權(quán)重，(低)頻率傳輸取決于攝影機(jī)的光傳輸。是否使用虛假顏色消除器和2×2后置濾波器也取決于光傳輸。在圖2的上部將R和B像素與smartgreen參數(shù)相乘。Smartgreen參數(shù)例如可按照在WO 99/04555或EP 01 200 422.2中公開(kāi)的方法檢索。利用這個(gè)特定的信號(hào)，三個(gè)無(wú)混疊的亮度信號(hào)被重構(gòu)輪廓信號(hào)、經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn和低頻亮度信號(hào)Ylf。后一個(gè)具有與所重構(gòu)的RGB信號(hào)大約相同的傳輸特性。通過(guò)從經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn中減去低頻信號(hào)Ylf，生成一個(gè)高頻亮度分量(Yn-Ylf)。認(rèn)識(shí)這樣的事實(shí)是重要的，即在此優(yōu)選實(shí)施例中，為了防止更高頻率下的不想要的虛假顏色，如果可能的話，不應(yīng)當(dāng)比在處理塊中的矩陣和白平衡功能以后更早地將(Yn-Ylf)信號(hào)加到每個(gè)顏色信號(hào)。對(duì)輪廓信號(hào)來(lái)說(shuō)這也完全一樣。防止所提及的不想要的虛假顏色，是重構(gòu)塊的總輸出由四個(gè)或分別地三個(gè)信號(hào)組成的原因。除了盡可能最快的執(zhí)行時(shí)間之外，這是為什么優(yōu)選地直接向處理塊發(fā)送所有信號(hào)的第二個(gè)原因。第三個(gè)原因可能是這讓兩倍的[4S×64H×1V]內(nèi)部存儲(chǔ)器成為多余，其中一個(gè)在重構(gòu)塊中用于向外部存儲(chǔ)器發(fā)送四個(gè)信號(hào)，一個(gè)在處理塊中用于再次檢索所述信號(hào)。[4S×64H×1V]內(nèi)部存儲(chǔ)器代表一個(gè)垂直行的(64-2*ho)個(gè)水平像素的四個(gè)(16位)信號(hào)的存儲(chǔ)，其在湊整到64個(gè)像素時(shí)含有總共640個(gè)字節(jié)。
如果例如對(duì)于通過(guò)CPU借助特定的軟件進(jìn)行的耗時(shí)的重構(gòu)和/或處理需要設(shè)計(jì)的最大靈活性，則應(yīng)當(dāng)應(yīng)用兩個(gè)[4S×64H×1V]內(nèi)部存儲(chǔ)器，一個(gè)用于重構(gòu)，一個(gè)用于處理。
在圖2的上部，實(shí)現(xiàn)無(wú)混疊的輪廓，緊接著是過(guò)沖(overshoot)控制處理器，其防止在低頻下的過(guò)沖和下沖(undrshoot)。使用二維分步瞬時(shí)信號(hào)(step transient signal)的二維清晰度改善，是通過(guò)實(shí)現(xiàn)一個(gè)適于控制過(guò)沖的二維檢測(cè)信號(hào)而達(dá)成的。這個(gè)所謂的分步瞬時(shí)信號(hào)能被用于若干過(guò)沖(和下沖)控制方法，產(chǎn)生非常吸引人的清晰度改善，而沒(méi)有夸大的、看起來(lái)不自然的過(guò)沖。允許把輪廓信號(hào)和(Yn-Ylf)信號(hào)相加成一個(gè)單一的信號(hào)，并向內(nèi)部[4S×64H×1V]存儲(chǔ)器發(fā)送。
可以對(duì)以下章節(jié)概括如下。
在第2章中，描述利用2×2和4×4濾波器實(shí)現(xiàn)無(wú)混疊和零失真的亮度信號(hào)Yn。在第3章中接著利用虛假顏色消除器實(shí)現(xiàn)低頻RGB重構(gòu)。也可以應(yīng)用利用了4×4和6×6光學(xué)低通濾波器陣列的低頻亮度信號(hào)。在內(nèi)部文檔號(hào)為ID606638-I的專利申請(qǐng)的詳細(xì)說(shuō)明的第3章特別對(duì)細(xì)節(jié)作了解釋，該申請(qǐng)與本申請(qǐng)同日提交，在此引用作為參考。也可以實(shí)現(xiàn)4×4和6×6無(wú)混疊輪廓信號(hào)，作為對(duì)5×5無(wú)混疊輪廓重構(gòu)濾波器的替代或附加。輪廓重構(gòu)濾波器的細(xì)節(jié)在內(nèi)部文檔號(hào)為ID606638-III的專利申請(qǐng)中公開(kāi)，該申請(qǐng)與本申請(qǐng)同日提交，在此引用作為參考。所提出概念可靈活地被適配為光傳輸和傳感器矩陣的一個(gè)函數(shù)。在內(nèi)部文檔號(hào)為ID606638-I的專利申請(qǐng)的詳細(xì)說(shuō)明的第4章特別對(duì)細(xì)節(jié)作了解釋，該申請(qǐng)與本申請(qǐng)同日提交，在此引用作為參考。
2.經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)是基于smartgreen參數(shù)的計(jì)算。在WO99/04555和EP 01 200 422.2中示出了例子。SmartGcntrlR和SmartGcntrlB參數(shù)被分別稱作wbr和wbb。圖3顯示，紅色和藍(lán)色像素被乘以smartgreen參數(shù)。然后，四個(gè)像素被相加在一起，產(chǎn)生一個(gè)經(jīng)白補(bǔ)償?shù)牧炼认袼豗n。考慮作為第一個(gè)像素的R像素，Yn像素的中央被向右和向底移位半個(gè)像素。結(jié)果是，所有其它必須被重構(gòu)的信號(hào)(即紅-綠-藍(lán)和輪廓)都應(yīng)當(dāng)獲得與這個(gè)Yn信號(hào)相同的中央位置。
經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn的優(yōu)點(diǎn)與5×5無(wú)混疊輪廓信號(hào)的完全相同。RGB拜爾圖像傳感器的一個(gè)無(wú)混疊的輪廓是基于一個(gè)獨(dú)有的5×5并行輪廓濾波器，其在不需要光學(xué)低通濾波器的情況下，在第一RGB樣本頻率有一個(gè)零通過(guò)量。它的信號(hào)失真幾乎是零，導(dǎo)致一個(gè)沒(méi)有可見(jiàn)的假象的輪廓信號(hào)。迄今已知的輪廓濾波器也放大傳感器的奈奎斯特域以外的反折的和不希望有的頻率。這將導(dǎo)致失真并因此導(dǎo)致多余的混疊分量在畫(huà)面中更好的能見(jiàn)度。這個(gè)獨(dú)有的5×5輪廓濾波器防止那些混疊的假象，此外還消除在圖像傳感器的綠色通道中產(chǎn)生的綠-綠差異。具體優(yōu)點(diǎn)是1.在不需要OLPF(光學(xué)低通濾濾器)的情況下，Yn信號(hào)在第一RGB樣本頻率有一個(gè)零通過(guò)量，因此它在這些點(diǎn)將不產(chǎn)生混疊。在樣本頻率的第二和更高的倍數(shù)下通過(guò)量低，但是透鏡的低通和傳感器的調(diào)制傳輸功能(MTF)在這里也將是有效的。
2.信號(hào)失真幾乎是零，導(dǎo)致一個(gè)沒(méi)有可見(jiàn)的假象的亮度信號(hào)Yn。
以下將解釋為什么2×2白補(bǔ)償?shù)牧炼葹V波器特別有益。
1.對(duì)于消除圖像傳感器的順序RGB拜爾顏色信號(hào)中的調(diào)制顏色信息和消除由圖像傳感器引起的綠色不均勻性，需要2×2的統(tǒng)一矩陣(unity)。避免RGB拜爾圖像傳感器的并行輪廓信號(hào)中的綠色不均勻性，是通過(guò)一個(gè)開(kāi)發(fā)用來(lái)消除由由圖像傳感器引起的綠-綠差異的二維并行輪廓濾波器的方法實(shí)現(xiàn)的。用于拜爾圖像傳感器的并行輪廓處理允許利用來(lái)自圖像傳感器中的綠色信號(hào)以便與RGB顏色重構(gòu)并行地生成二維輪廓信號(hào)。
優(yōu)點(diǎn)是不像在串行輪廓處理中那樣需要額外的行延遲。應(yīng)當(dāng)注意的是，無(wú)論使用了什么OLPF類型，它既不影響大的飽和顏色區(qū)域中的這個(gè)顏色調(diào)制，也不影響綠色不均勻性。
2.為了消除矩陣和/或環(huán)境色溫的影響，需要乘以smartgreen參數(shù)，其中，矩陣的系數(shù)的總和不等于統(tǒng)一值。
這是為什么計(jì)算smartgreen參數(shù)的兩個(gè)原因。如果這些參數(shù)不統(tǒng)一，顏色傳感器將不起黑白傳感器的作用。
經(jīng)2×2白補(bǔ)償?shù)牧炼刃盘?hào)Yn的微小缺點(diǎn)可能是，當(dāng)應(yīng)用光學(xué)低通濾波器(OLPF)時(shí)，分辨率將降低。然而，這可通過(guò)應(yīng)用4×4濾波器重構(gòu)Yn而得到補(bǔ)償。根據(jù)OLPF的低通傳輸?shù)牧?，可選擇具有更重權(quán)重的Yn濾波器。在圖4的左側(cè)，表示了已經(jīng)描述過(guò)的2×2 Yn濾波器。在中間和右側(cè)，表示了兩個(gè)4×4 Yn濾波器。右邊的是“最重的”濾波器。除了用于補(bǔ)償OLPF的傳輸損失，它們也能被應(yīng)用于透鏡的傳輸損失的補(bǔ)償。
3.RGB顏色重構(gòu)在這個(gè)優(yōu)選實(shí)施例中描述的重構(gòu)方法應(yīng)當(dāng)適合帶有任意的光學(xué)低通濾波器(OLPF)的或者根本不帶有OLPF的攝影機(jī)。選擇一個(gè)適當(dāng)?shù)腛LPF不是一個(gè)簡(jiǎn)單的事情。在多數(shù)情況中，這是在清晰度的損失與接受一定量的混疊或優(yōu)選地沒(méi)有混疊之間的一個(gè)折衷。相關(guān)的參數(shù)是1.透鏡的光傳輸；
2.包括一個(gè)可能的像素微透鏡的、確定光敏感的參數(shù)的傳感器的調(diào)制傳輸函數(shù)(MTF)；3.由傳感器的顏色陣列確定的傳感器矩陣。如附錄1中所解釋的那樣，由矩陣的重量引起的額外的混疊量，影響OLPF傳輸?shù)囊?guī)定；4.一個(gè)給定的重構(gòu)算法(它當(dāng)然也導(dǎo)致一定的傳輸特性)，導(dǎo)致需要通過(guò)OLPF或多或少地減少混疊。
如果在攝影機(jī)中這四個(gè)參數(shù)的一個(gè)已經(jīng)被修改，應(yīng)當(dāng)考慮對(duì)OLPF的適配。這里產(chǎn)生的一個(gè)問(wèn)題是，OLPF一般是在不考慮所提及的全部四個(gè)參數(shù)的情況下規(guī)定的。因此在此優(yōu)選實(shí)施例中，試圖根據(jù)現(xiàn)有的或優(yōu)選的攝影機(jī)設(shè)計(jì)(即光學(xué)器件(pt.1)和傳感器(pt.2和3))預(yù)期一個(gè)提供某種靈活性的重構(gòu)方法(pt.4)。重構(gòu)濾波器的傳輸可通過(guò)選擇某些濾波器權(quán)重而被改變，但是最重要的是應(yīng)用一個(gè)虛假顏色消除器的可能性。
這一章中解釋RGB顏色重構(gòu)濾波器一個(gè)使用3×3陣列，一個(gè)具有5×5陣列。這兩個(gè)都可以與虛假顏色消除器一起被應(yīng)用。首先解釋如何實(shí)現(xiàn)重要的虛假顏色消除器，以及為什么與如分別在WO 99/04555和EP 01 200 422.2中概述的那樣和smartgreen1/2一起應(yīng)用的虛假顏色消除器相比，它幾乎不產(chǎn)生或不產(chǎn)生可見(jiàn)的假象(黑和白點(diǎn))。
3.1用于3×3和5×5 RGB顏色重構(gòu)的虛假顏色消除器如果已經(jīng)應(yīng)用了一個(gè)弱的光學(xué)低通濾波器或沒(méi)有應(yīng)用光學(xué)低通濾波器，則使用虛假顏色消除器應(yīng)當(dāng)是可能的。在這個(gè)實(shí)施例中，虛假顏色消除器的檢測(cè)器的一個(gè)必然要求是，為了獲得最高可能的綠色分辨率，它應(yīng)當(dāng)基于最小可能的綠色重構(gòu)陣列。直到現(xiàn)在，所發(fā)現(xiàn)的最佳陣列特別是按照smartgreen1/2方法的3×3中值濾波器。然而當(dāng)與smartgreen3的6×6陣列結(jié)合地使用3×3陣列時(shí)，這意味著在smartgreen1的重構(gòu)的綠色中央像素與smartgreen3的經(jīng)白補(bǔ)償?shù)牧炼认袼刂g將有一個(gè)相位差。
圖5表示這個(gè)相位差smartgreen1的中央綠色已經(jīng)被向右和向下(因此向東南方向)移位半個(gè)像素。當(dāng)然，其它三個(gè)方向也是有可能的，但是以后將會(huì)變得清楚，東南方向是故意選擇的。
為了保持smartgreen1或smartgreen2信號(hào)的相位及其虛假顏色消除器，必須應(yīng)用3×3或5×5顏色重構(gòu)濾波器。在這樣的情況下，所產(chǎn)生的RGB信號(hào)與smartgreen3的經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn的相位差將和smartgreen1/2信號(hào)相同。這個(gè)相位差問(wèn)題，可通過(guò)在重構(gòu)的顏色信號(hào)和它們的虛假顏色消除器之后應(yīng)用一個(gè)2×2后置濾波器而得到解決，如圖6中所示的那樣。低頻輸出顏色信號(hào)Ro、Go和Bo于是將與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn匹配。
在圖6的上部，表示了虛假顏色檢測(cè)器的路徑。這里可選擇兩類虛假顏色檢測(cè)器。第一類是使用方法1的，第二類是使用方法2的，分別用于綠色的存在和不存在。這里已經(jīng)選擇了只使用方法2的稍好的第二類檢測(cè)器。如圖7中所示，這個(gè)檢測(cè)器在同時(shí)需要三個(gè)相鄰行，每個(gè)行內(nèi)有一個(gè)smartgreen信號(hào)。圖7的行2到6中的紅色和藍(lán)色像素首先被乘以smartgreen參數(shù)。然后，用一個(gè)中值濾波器在行3中以行2至4中的數(shù)據(jù)重構(gòu)一個(gè)smartgreen1/2信號(hào)，在行4中以行3至5中的數(shù)據(jù)重構(gòu)一個(gè)smartgreen1/2信號(hào)，最后在行5中以行4至6中的數(shù)據(jù)重構(gòu)一個(gè)smartgreen1/2信號(hào)。這三個(gè)smartgreen1/2信號(hào)和FCsigmaG信號(hào)被提供到虛假顏色檢測(cè)器。FCsigmaG是圍繞中央綠色像素的四個(gè)綠色像素的值的和除以4。
例水平像素延遲水平方向上的smartgreen1/2信號(hào)的重構(gòu)需要四個(gè)水平像素延遲。以中央像素為參照(有兩個(gè)像素的延遲)，這意味著所重構(gòu)的RGB信號(hào)也應(yīng)當(dāng)有兩個(gè)像素的延遲。同樣，圖2中所示的三個(gè)亮度信號(hào)Yn、Ylf和輪廓，應(yīng)當(dāng)在維持適當(dāng)相位的情況下獲得兩像素的延遲。這例如可通過(guò)以兩個(gè)像素的延遲開(kāi)始它們的重構(gòu)而實(shí)現(xiàn)。對(duì)水平延遲方面將不詳述，因?yàn)樗麄兡芡ㄟ^(guò)在正確位置開(kāi)始的像素延遲而解決。
圖6的下部中表示RGB顏色重構(gòu)，其細(xì)節(jié)將在下一章作進(jìn)一步討論。向虛假顏色消除器提供三個(gè)低頻顏色信號(hào)Rlf、Glf和Blf。借助三個(gè)行存儲(chǔ)器，這三個(gè)顏色信號(hào)被一個(gè)2×2后置濾波器濾波，然后，恢復(fù)與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位關(guān)系。在圖8中顯示了為什么在圖5中故意選擇將在行4和列4中生成中央smartgreen1/2像素(或Rlf、Glf和Blf像素)。通過(guò)一個(gè)單一行和一個(gè)單一像素延遲，可以把以前生成的顏色信號(hào)相加，以被2×2后濾波。
盡管尚未解釋RGB顏色重構(gòu)的細(xì)節(jié)，在這里仍將提到為什么smartgreen3的虛假顏色消除器(已經(jīng)在上文被稱作虛假顏色濾波器)比smartgreen1/2的更好的理由1.優(yōu)選地，在低頻重構(gòu)的RGB信號(hào)上進(jìn)行虛假顏色消除，導(dǎo)致較少的假象。
2.萬(wàn)一發(fā)生虛假顏色消除器的假象，它們將被2×2后置濾波器減少。綠色不均勻性也被后置濾波器消除，例如如圖9中所示的那樣。
3.經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的高頻貢獻(xiàn)將屏蔽可能的虛假顏色消除器假象。
4.如圖7中所示的那樣，類似于方法2使用周?chē)膕martgreen像素的虛假顏色檢測(cè)器，在性能上比方法1的稍微更好。
當(dāng)應(yīng)用傳統(tǒng)的RGB顏色重構(gòu)時(shí)，第1項(xiàng)不再有效，然而這最好不被smartgreen3應(yīng)用排除?？梢暈閟martgreen3的一個(gè)優(yōu)點(diǎn)的是，即使沒(méi)有真實(shí)的低通顏色信號(hào)，在基于smartgreen1或2的虛假顏色檢測(cè)器之間也沒(méi)有多少差別。在最后的smartgreen3重構(gòu)后，使用傳統(tǒng)重構(gòu)濾波器的結(jié)果可能是完全可以接受的，因?yàn)樗鼛缀鯖](méi)有假象。
關(guān)于虛假顏色檢測(cè)器所應(yīng)該說(shuō)的是，它使用某個(gè)水平，超過(guò)這個(gè)水平虛假顏色就被消除。低于該水平的虛假顏色(例如由于光學(xué)低通傳輸?shù)男》鹊奶摷兕伾?將不被消除。對(duì)于smartgreen3而言，虛假顏色檢測(cè)器的調(diào)整遠(yuǎn)沒(méi)有對(duì)于smartgreen1/2那樣重要。
關(guān)于顏色和亮度假象，smartgreen3的一個(gè)主要優(yōu)點(diǎn)是，現(xiàn)有技術(shù)的方法的看起來(lái)像郵票的邊沿消失了。其原因是smartgreen1/2信號(hào)完全未被應(yīng)用在顏色和亮度信號(hào)中。取代混疊的smartgreen1/2信號(hào)，應(yīng)用無(wú)失真的經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)Yn。
圖9的左手邊表示使用傳統(tǒng)重構(gòu)方法的綠色不均勻性。在右手邊一個(gè)2×2后置濾波器顯示該不均勻性的消除。
3.2利用列包的處理在解釋了為了匹配RGB顏色信號(hào)與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位而需要2×2后置濾波器后，很明顯最好不應(yīng)在硬件中實(shí)現(xiàn)行存儲(chǔ)器。將描述三個(gè)實(shí)現(xiàn)這一點(diǎn)的解決方案。其中有兩個(gè)在附錄2中解釋，最有意思的一個(gè)在這里解釋。
到現(xiàn)在為止一直假設(shè)在行方向上從外部存儲(chǔ)器向重構(gòu)塊傳輸傳感器數(shù)據(jù)的64像素寬的包。在圖10的左手端，顯示了這個(gè)按行的包傳輸。到達(dá)第一行的末尾時(shí)，包傳輸在第2行的開(kāi)頭開(kāi)始，如此等等。然而這個(gè)水平傳輸需要能用用于2×2后置濾波器的完整的行存儲(chǔ)器。
然而在給定完整畫(huà)面的傳感器數(shù)據(jù)已經(jīng)被存儲(chǔ)在外部存儲(chǔ)器的條件下，也有可能在列方向上應(yīng)用一個(gè)包傳輸。在圖10的右手端顯示這個(gè)按列的包傳輸。在發(fā)送第一行的第一個(gè)包后，第二行的第一個(gè)包被發(fā)送。這個(gè)程序一直持續(xù)到最后一行。然后，發(fā)送向右移位(64-2*ho)個(gè)像素的第一行的第二個(gè)包，然后該程序再次開(kāi)始，一直到最后一行中的所有水平像素最后都被重構(gòu)為止。
對(duì)于按行和按列這兩種方式的包傳輸來(lái)說(shuō)，信號(hào)重構(gòu)在每個(gè)包內(nèi)是在水平方向上執(zhí)行的。通過(guò)在具有所述包寬度的內(nèi)部存儲(chǔ)器中存儲(chǔ)RGB顏色信號(hào)，以及然后轉(zhuǎn)移到下一行，它的數(shù)據(jù)能被用于2×2后置濾波器。按列包傳輸?shù)膬?yōu)點(diǎn)是它不需要一個(gè)完整的行存儲(chǔ)器。具有一個(gè)包的寬度的內(nèi)部存儲(chǔ)器寬得足以獨(dú)立于傳感器的水平像素的個(gè)數(shù)。
在圖11中表示的是按列的包傳輸?shù)幕究驁D，它包括2×2后置濾波器所需要的、只有64像素寬的內(nèi)部存儲(chǔ)器。注意到圖11幾乎與圖32(附錄2)相同，只是不需要[3S×64H×1V]后置濾波器存儲(chǔ)器與中央總線和外部存儲(chǔ)器的互聯(lián)。如將要在附錄2中所要解釋的那樣，這將有益地防止66％的向外部存儲(chǔ)器的數(shù)據(jù)交換。
圖12顯示，內(nèi)部的后置濾波器存儲(chǔ)器是一個(gè)只有64像素寬的FIFO(先進(jìn)先出)存儲(chǔ)器。如果前一行的一個(gè)像素已經(jīng)被發(fā)送到后置濾波器，它的存儲(chǔ)地點(diǎn)的空間變得可用。實(shí)際被重構(gòu)的RGB數(shù)據(jù)于是能被存儲(chǔ)在該初始的空閑空間上。因此對(duì)于此優(yōu)選實(shí)施例中的這個(gè)目的來(lái)說(shuō)，[3S×64H×1V]內(nèi)部存儲(chǔ)器是足夠的。16位RGB數(shù)據(jù)存儲(chǔ)的字節(jié)總數(shù)多達(dá)384。
3.2.1減少來(lái)自外部存儲(chǔ)器的傳感器數(shù)據(jù)傳輸量如果傳感器數(shù)據(jù)的內(nèi)部[1S×64H×6V]輸入存儲(chǔ)器能如圖13中所示的那樣在垂直方向上向下移位，則來(lái)自外部存儲(chǔ)器的包僅需要有高度為單一行的64像素的寬度[1S×64H×1V]。每次需要重構(gòu)下一行的數(shù)據(jù)時(shí)，內(nèi)部存儲(chǔ)器中的數(shù)據(jù)被向下移位一行。之后，只有上一行被來(lái)自外部存儲(chǔ)器的數(shù)據(jù)填充。
后面緊接著被使用按列包傳輸?shù)?、不要求在?nèi)部存儲(chǔ)器中的垂直傳輸選項(xiàng)的處理的重構(gòu)所需要的單元(units)的數(shù)量為●從外部到內(nèi)部存儲(chǔ)器的傳感器數(shù)據(jù)[1S×64H×6V]或6個(gè)傳輸單元●從處理塊到外部存儲(chǔ)器的RGB數(shù)據(jù)[3S×64H×1V]，是3個(gè)傳輸單元總共 9個(gè)傳輸單元●如果包括垂直傳輸選項(xiàng)，這變成[1S×64H×1V]，或1個(gè)傳輸單元●保留到外部存儲(chǔ)器的三個(gè)RGB數(shù)據(jù)單元3個(gè)傳輸單元總共 4個(gè)傳輸單元因此用于重構(gòu)和處理的數(shù)據(jù)交換量已經(jīng)被減少56％以上。
一個(gè)傳輸單元被認(rèn)為相當(dāng)于1S×64H×1V，即1個(gè)64水平像素的信號(hào)。
3.3RGB顏色重構(gòu)的起點(diǎn)對(duì)于此優(yōu)選實(shí)施例中的smartgreen3的RGB顏色重構(gòu)來(lái)說(shuō)，一般必須考慮到三個(gè)特定的起點(diǎn)。
1.如果利用具有更大的帶寬的濾波器(像傳統(tǒng)的RGB重構(gòu)一樣)，則各單一顏色的傳輸特性之間的差別將引起在更高的黑白場(chǎng)景(scene)頻率下的彩色干涉(interferences)。這是由在它們的樣本頻率的每個(gè)倍數(shù)下的不同傳輸特性的反折引起的。因?yàn)樵诎轄杺鞲衅魃嫌袛?shù)量是紅色或藍(lán)色像素的兩倍的綠色像素，綠色傳輸?shù)母闷ヅ渚哂械谝粌?yōu)先權(quán)。將要表明的是，最佳匹配的綠色特性由于假象而不在邊緣處呈現(xiàn)最佳性能。對(duì)這個(gè)現(xiàn)象上還沒(méi)有真正的解釋。在下面各章中提及的系數(shù)，已經(jīng)在大量試驗(yàn)和錯(cuò)誤中被發(fā)現(xiàn)并已經(jīng)被實(shí)驗(yàn)所證明。
2.如果利用像5×5濾波器那樣具有低于奈奎斯特頻率的帶寬的濾波器，當(dāng)然在樣本頻率的倍數(shù)周?chē)鷮⒂谢殳B。只有適當(dāng)?shù)腛LPF能防止這種混疊。如果那些低頻RGB濾波器不是足夠地匹配，則將發(fā)生黑白低場(chǎng)景頻率的彩色再現(xiàn)。將要表明的是，矩陣系數(shù)的重量(heaviness)在這里起著非常重要的作用。
3.應(yīng)當(dāng)選擇也防止由RGB拜爾圖像傳感器引起的綠色不均勻性問(wèn)題的綠色系數(shù)。圖9表明，就3×3或5×5 RGB濾波器而言，2×2后置濾波器已經(jīng)消除綠色不均勻性。然而如果3×3和5×5濾波器也消除綠-綠差異，則是有益的。
3.43×3顏色重構(gòu)濾波器附錄3中表示了傳統(tǒng)RGB顏色重構(gòu)濾波器的傳輸特性。圖14和15中表示一個(gè)3×3綠色重構(gòu)濾波器的更好的匹配特性。左上角顯示濾波器權(quán)重。
盡管2×2后置濾波器也將消除綠-綠差異，圖14和15的綠色重構(gòu)濾波器將已經(jīng)消除綠-綠差異。也可以應(yīng)用一個(gè)用于開(kāi)發(fā)一個(gè)消除由圖像傳感器引起的綠-綠差異的二維并行輪廓濾器的方法。
有這樣一條規(guī)則成立“相鄰對(duì)角線濾波系數(shù)的相減應(yīng)產(chǎn)生一個(gè)零貢獻(xiàn)。這將平均并因此消除綠色像素的綠-綠差異”。
這個(gè)規(guī)則也適用于如在第2章中對(duì)經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的描述中所解釋的亮度重構(gòu)濾波器。然而，如果濾波器不能解決綠色不均勻性，這將被明確地提及。
圖16展現(xiàn)在2×2后置濾波器之后的fa綠色傳輸。在左手端所顯示的傳輸對(duì)應(yīng)于“綠色存在”，在右手端所顯示的傳輸對(duì)應(yīng)于“綠色不存在”。要注意的是，低頻混疊的量是由第一濾波器(即重構(gòu)濾波器)決定的。后置濾波器僅僅減少高頻分量。更好匹配的綠色濾波器的優(yōu)點(diǎn)是●它們?cè)诟邔?duì)角線頻率下將引起更少的呈綠色的干涉，這從圖17中可見(jiàn)，●將產(chǎn)生更少的虛假顏色消除器假象，這從圖18中可見(jiàn)，●在邊緣處沒(méi)有假象，這也從圖18中可見(jiàn)。
在圖17中，一個(gè)經(jīng)低通濾波的波帶片場(chǎng)景(zone plate scene)已經(jīng)被與一個(gè)統(tǒng)一傳感器矩陣一起應(yīng)用，即沒(méi)有應(yīng)用smartgreen3處理，沒(méi)有虛假顏色消除器，沒(méi)有2×2后置濾波器。圖17展示3×3重構(gòu)濾波器之后的顏色信號(hào)。除了在右手端的呈綠色的對(duì)角線干涉的降低外，也可以看到分辨率的損失。后來(lái)在這個(gè)處理中這個(gè)損失也可以通過(guò)對(duì)Yn信號(hào)的適當(dāng)選擇而得到補(bǔ)償。
在圖18中，顯示一個(gè)方塊的MacBeth顏色方格圖(color checkerchart)的虛假顏色消除器假象，該圖在這里被放大四倍。盡管沒(méi)有顯示，該方塊是黃色的。圖中表示了3×3傳統(tǒng)(頂部)和smartgreen3(底部)重構(gòu)的顏色信號(hào)。對(duì)于后者來(lái)說(shuō)，既沒(méi)有應(yīng)用smartgreen3高頻處理，也沒(méi)有應(yīng)用2×2后置濾波器。用于二者的虛假顏色檢測(cè)器只按照檢測(cè)方法2使用傳統(tǒng)的smartgreen1信號(hào)。
要注意的是，與martgreen1/2重構(gòu)方法的一個(gè)差別是，smartgreen3不把smartgreen信號(hào)當(dāng)作顏色信號(hào)應(yīng)用。它僅被用于虛假顏色檢測(cè)器。下部的假象的缺少，主要是由綠色傳輸特性引起的。盡管它們比傳統(tǒng)的重構(gòu)方法更好地匹配，它們?nèi)匀皇遣煌摹Ｈ欢?，它們?cè)诓噬秃诎走吘壧峁┝钊梭@訝地完美的重構(gòu)。這使圖14和15的綠色濾波器組合非常獨(dú)特和優(yōu)越。
這種濾波器也可被應(yīng)用于被稱作smartgreen4的重構(gòu)概念。在內(nèi)部文檔號(hào)為ID606638-III的專利申請(qǐng)的詳細(xì)說(shuō)明的第5章特別對(duì)細(xì)節(jié)作了解釋，該申請(qǐng)與本申請(qǐng)同日提交，在此引用作為參考。
3.5.5×5顏色重構(gòu)濾波器圖19和20中表示一個(gè)5×5綠色重構(gòu)濾波器的傳輸特性。左上角中顯示濾波器的權(quán)重。要注意的是，圖19中的濾波器單獨(dú)地并不消除綠-綠差異。在圖21、22、23和24中，表示5×5紅色和藍(lán)色濾波器的傳輸特性。
為了有可能進(jìn)行拉普拉斯濾波，對(duì)于總的綠色濾波器，有必要將每個(gè)濾波器的權(quán)重乘以這樣一個(gè)整數(shù)因子，使得兩個(gè)濾波器的總權(quán)重變得相等。對(duì)應(yīng)于綠色的存在的權(quán)重被乘以因子3，對(duì)應(yīng)于綠色的不存在的權(quán)重被乘以因子5，這從圖25的左手端可見(jiàn)。對(duì)于總部的紅色/藍(lán)色濾波器來(lái)說(shuō)，通過(guò)對(duì)于圖22乘以因子6和對(duì)于圖22和23乘以因子2，權(quán)重已經(jīng)被匹配，如在圖25的右手端可見(jiàn)的那樣。
為了實(shí)現(xiàn)3.3章中的第2點(diǎn)(低頻下的RGB傳輸匹配)，應(yīng)當(dāng)非常仔細(xì)地選擇權(quán)重。圖27在右手端表示使用上述濾波器權(quán)重的波帶片的結(jié)果，在左手端表示利用如以下在圖26中所示的經(jīng)修改的紅色/藍(lán)色權(quán)重的結(jié)果。呈綠色的低頻顏色的原因是綠色和紅色/藍(lán)色傳輸之間的失配以及使用像FT19(3000×2000像素)類型的傳感器所具有的那樣的相當(dāng)重的矩陣。這將在附錄1中詳細(xì)表示。要注意的是，原始的波帶片場(chǎng)景在被傳輸?shù)紽T19傳感器信號(hào)之前已經(jīng)被低通濾波，以便模擬特定的光傳輸，以及防止由于重的矩陣而引起的被擴(kuò)大的混疊量。原始的波帶片已經(jīng)獨(dú)立于頻率地被以100％的幅度實(shí)現(xiàn)。盡管“綠色存在”和“不存在”之間的更好匹配的傳輸特性是可能的，圖19和20的濾波器在彩色以及黑白邊緣幾乎沒(méi)有假象，而更好的匹配則有。與前面提及的3×3綠色濾波器有一個(gè)相似之處它并不是理想匹配的，但是它在邊緣幾乎沒(méi)有假象。盡管有這些小的假象以及此5×5綠色濾波器的綠色不均勻性，2×2后置濾波器將減少和分別消除它們。
為了最好地看到差別，最好先蓋住圖27的左手端，然后蓋住右手端。
附錄4中對(duì)于4×4或6×6陣列解釋RGB顏色重構(gòu)。
●已經(jīng)描述了兩個(gè)有趣的重構(gòu)濾波器，一個(gè)有3×3陣列，一個(gè)有5×5陣列。當(dāng)應(yīng)用按列的處理時(shí)，為了與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)有適當(dāng)相位關(guān)系而必須的2×2后置濾波器不是真的問(wèn)題。此外，這些濾波器原則上可與虛假顏色消除器一起應(yīng)用或者不用虛假顏色消除器。
●4×4和6×6濾波器較不適合與虛假顏色檢測(cè)器一起應(yīng)用，這是由于它們之間較不合宜的相位關(guān)系，但是應(yīng)用是可能的。
4.結(jié)論與smartgreen1和smartgreen2相比，用smartgreen3實(shí)現(xiàn)以下特定優(yōu)點(diǎn)●它是一個(gè)靈活的設(shè)計(jì)。根據(jù)傳感器矩陣的重量，可以在兩個(gè)顏色重構(gòu)濾波器之間作出一個(gè)選擇。因此，能夠特定于應(yīng)用地定義(低通)亮度濾波器。能選擇幾個(gè)高頻亮度濾波器，并作為攝影機(jī)的光傳輸?shù)暮瘮?shù)調(diào)整所述高頻亮度濾波器。
●由于取決于所選擇的顏色重構(gòu)的虛假顏色消除器，它幾乎沒(méi)有或者根本沒(méi)有可見(jiàn)的假象(黑白點(diǎn))。其原因是使用了比smartgreen1和smartgreen2更強(qiáng)的經(jīng)低通濾波的顏色重構(gòu)。
●根本沒(méi)有由smartgreen重構(gòu)引起的假象，其簡(jiǎn)單的原因是，smartgreen概念只被用于虛假顏色檢測(cè)，而不被用作顏色信號(hào)。為了補(bǔ)償分辨率的損失，生成一個(gè)高頻亮度信號(hào)。
●取決于所選擇的顏色重構(gòu)，反折的彩色混疊的帶寬比smartgreen1和smartgreen2的小。
●紅色、綠色和藍(lán)色重構(gòu)濾波器的傳輸以這樣的方式被匹配，即比起傳統(tǒng)的smartgreen1和smartgreen2濾波器，在更高的對(duì)角線頻率下將發(fā)生較少的或者不發(fā)生呈綠色的干涉。
●顏色重構(gòu)濾波器在顏色和亮度邊緣沒(méi)有看起來(lái)像郵票邊沿一樣的假象。
●通過(guò)與濾波器權(quán)重結(jié)合的所謂亮度白補(bǔ)償，所有生成的亮度信號(hào)都沒(méi)有混疊和失真。
●這里所提出的smartgreen3設(shè)計(jì)的所有濾波器消除由傳感器引起的綠色不均勻性。特別地，5×5綠色重構(gòu)濾波器借助2×2后置濾波器最終構(gòu)成這一點(diǎn)。
總之，由于其靈活性、沒(méi)有信號(hào)失真以及其虛假顏色消除器，smartgreen3很適合對(duì)數(shù)字靜止圖像和帶有拜爾顏色濾波器陣列的傳感器的鄰近視頻像素的重構(gòu)和處理。
附錄1傳感器矩陣對(duì)OLPF的傳輸?shù)挠绊懭缫陨细攀龅哪菢?，傳感器矩陣在光學(xué)低通濾波器(OLPF)的傳輸特性的規(guī)定中起作用。對(duì)于以單一的代表參數(shù)表達(dá)混疊的量，將不作詳細(xì)的概述。但是上述陳述將借助表示人工生成的波帶片的結(jié)果的圖29和30而表明。
圖29的左上部分被假設(shè)為在給定一個(gè)具有一定的傳輸?shù)?模擬的)OLPF的條件下在清晰度的損失與可接受的混疊量之間的一個(gè)折衷。其中使用傳統(tǒng)的重構(gòu)方法和統(tǒng)一傳感器矩陣。
右下部分表示完全相同的OLPF和重構(gòu)方法，，唯一的區(qū)別是應(yīng)用了一個(gè)Philips FT19傳感器矩陣。現(xiàn)在通過(guò)適配OLPF的傳輸能最佳地達(dá)到作為首要目標(biāo)的折衷。
圖30的上部表示當(dāng)使用一個(gè)統(tǒng)一矩陣時(shí)波帶片場(chǎng)景的中間行的RGB信號(hào)。其中使用了與圖29的相同的OLPF和重構(gòu)方法。圖30的下部表示當(dāng)使用Philips FT19傳感器的矩陣時(shí)的相同行的結(jié)果。
在為了找到在清晰度的損失與可接受的混疊量之間的一個(gè)折衷而定義一個(gè)OLPF時(shí)，對(duì)傳感器矩陣加以考慮是明智的。如已經(jīng)表明的那樣，對(duì)于重構(gòu)方法同樣如此。
判斷傳感器矩陣的重量的經(jīng)驗(yàn)法則在給定矩陣參數(shù)的情況下，幾乎不可能判斷它是否是一個(gè)重矩陣。因此，已經(jīng)發(fā)展了以下的經(jīng)驗(yàn)法則“對(duì)于一個(gè)或多個(gè)顏色來(lái)說(shuō)，如果除原色值以外的所增加的顏色的一個(gè)或兩個(gè)的逆矩陣值大于該原色值的一半，則該矩陣可被視為引起許多額外的混疊和額外的彩色噪聲的(相當(dāng))重的矩陣?！币?yàn)閳?chǎng)景的色溫影響逆矩陣值，優(yōu)選地應(yīng)當(dāng)在白平衡范圍的中間一點(diǎn)的色溫處定義傳感器矩陣。對(duì)于3000至7000K(開(kāi)爾文)的范圍來(lái)說(shuō)，5000K左右的色溫將是合適的。
FT19矩陣的參數(shù)紅色 2.1610 -1.7720 0.6120綠色 -0.15802.0830-0.9240藍(lán)色 -0.0190-0.6910 1.7090FT19矩陣的逆參數(shù)紅色 0.4858 0.4420 0.0815綠色 0.0486 0.6285 0.3223藍(lán)色 0.0252 0.2590 0.7162察看逆紅色矩陣值，向紅原色(0.4858)增加的綠色的量(0.4420)幾乎超出經(jīng)驗(yàn)法則的兩倍。對(duì)于逆綠色矩陣來(lái)說(shuō)，向綠原色增加的藍(lán)色的量也不滿足經(jīng)驗(yàn)法則，但是可以認(rèn)為是可以接受的。逆藍(lán)色矩陣是唯一的清楚地增加了遠(yuǎn)遠(yuǎn)低于藍(lán)原色值(0.7162)的一半的紅色和綠色值的量的矩陣。特別是基于紅色參數(shù)，F(xiàn)T19矩陣可被視為是一個(gè)重矩陣。
就獨(dú)立于光傳輸?shù)闹鼐仃嚩裕瑧?yīng)當(dāng)總是應(yīng)用一個(gè)5×5顏色重構(gòu)濾波器。在本附錄中已經(jīng)解釋過(guò)使用逆矩陣值的2倍因子標(biāo)準(zhǔn)。作為一個(gè)合乎邏輯的結(jié)果，應(yīng)用一個(gè)5×5顏色濾波器和圖28的6×6Ylf濾波器是明智的。
附錄2沒(méi)有內(nèi)部行存儲(chǔ)器的2×2后置濾波器參看3.1章，在這個(gè)附錄中解釋兩個(gè)避免非想望的用于2×2顏色后置濾波器的行存儲(chǔ)器的方法。
第一個(gè)方法使用以行3和行4兩個(gè)行作為中央行的同時(shí)顏色處理。圖31顯示，上部使用來(lái)自行1至5的數(shù)據(jù)作為輸入，在中央行3產(chǎn)生RGB顏色數(shù)據(jù)。在下部，使用來(lái)自行2至6的輸入數(shù)據(jù)。在中央行4產(chǎn)生RGB數(shù)據(jù)。信號(hào)R3-G3-B3和R4-G4-B4被提供到2×2后置濾波器，后者為了能夠執(zhí)行2×2后濾波而使用一個(gè)用于6個(gè)顏色信號(hào)的內(nèi)部像素延遲用于這個(gè)同時(shí)顏色處理的額外電路的量，可通過(guò)可用信號(hào)的智能組合而最小化。這樣，只需要一個(gè)額外的smartgreen1中值濾波器(導(dǎo)致它們的總數(shù)是4個(gè)而不是3個(gè))、一個(gè)額外的虛假顏色消除器和一個(gè)額外的RGB重構(gòu)濾波器。該額外的中值濾波器和虛假顏色消除器所需的芯片面積極小。這3個(gè)顏色重構(gòu)濾波器將消耗額外面積的最大部分。
第二個(gè)方法用外部存儲(chǔ)器存儲(chǔ)所述三個(gè)重構(gòu)的低頻RGB顏色信號(hào)的行數(shù)據(jù)。因此，如圖32中所示，使用一個(gè)內(nèi)部存儲(chǔ)器作為與中央總線的接口，用于存儲(chǔ)和檢索重構(gòu)的顏色行數(shù)據(jù)。其大小是[3S×64×1](即3個(gè)64水平像素的信號(hào))，對(duì)于16位信號(hào)是384個(gè)字節(jié)。這個(gè)方法的一個(gè)微小缺點(diǎn)是耗費(fèi)時(shí)間的顏色數(shù)據(jù)的交換，它將增加一個(gè)傳感器畫(huà)面的總執(zhí)行時(shí)間。
為了2×2后濾波，與內(nèi)部存儲(chǔ)器中位于位置(x，y-1)的數(shù)據(jù)一起使用位于位置(x，y)的實(shí)際被重構(gòu)的顏色像素的數(shù)據(jù)。水平位置是x，行號(hào)是y，因此y-1是前一行。第一印象可能是內(nèi)部存儲(chǔ)器應(yīng)當(dāng)含有用于兩行的兩個(gè)64像素包RGB顏色數(shù)據(jù)一個(gè)用于前一行，一個(gè)用于正在被重構(gòu)并要被發(fā)送到外部存儲(chǔ)器的行。因此是[6S×64H×1V]，它比圖32中所示的大兩倍。然而，如果前一行的一個(gè)像素已經(jīng)被發(fā)送到后置濾波器，它在內(nèi)部存儲(chǔ)器中的空間就變得空閑。實(shí)際被重構(gòu)的RGB數(shù)據(jù)于是能被存儲(chǔ)在該特定空間中。這意味著一個(gè)[3S×64H×1V]的內(nèi)部存儲(chǔ)器就足夠。
關(guān)于數(shù)據(jù)交換的數(shù)量，適用不同的規(guī)則。首先，必須把前一行的顏色數(shù)據(jù)的包發(fā)送到內(nèi)部存儲(chǔ)器。在該包被后置濾波器使用后，必須把帶有實(shí)際行的顏色數(shù)據(jù)的包發(fā)送到外部存儲(chǔ)器。所以，為了后濾波一個(gè)數(shù)據(jù)包，必須交換兩個(gè)包。假設(shè)重構(gòu)的輸出直接連接到處理，對(duì)于增加數(shù)據(jù)交換量并從而增加執(zhí)行時(shí)間，這意味著以下●從外部到內(nèi)部存儲(chǔ)器的傳感器數(shù)據(jù)[1S×64H×6V]或6個(gè)傳輸單元●從處理塊到外部存儲(chǔ)器的RGB數(shù)據(jù)[3S×64H×1V]或3個(gè)傳輸單元沒(méi)有后濾波，相對(duì)的總交換量是9個(gè)傳輸單元●有后濾波，需要2×[3S×64H×1V]的額外包，因此6個(gè)傳輸單元結(jié)果，總的交換量是15個(gè)傳輸單元由于基于存儲(chǔ)器的后濾波，交換量的增加是(15/9)*100％-100％＝66％一個(gè)傳輸單元被視為1S×64H×1V，即1個(gè)64水平像素的信號(hào)。
附錄3傳統(tǒng)重構(gòu)的傳輸特性圖33與smartgreen1相比有各種新特性。所增加的特別是傳統(tǒng)的RGB顏色重構(gòu)的每個(gè)可能的起始位置的對(duì)應(yīng)的3D傳輸(3Dtransfer)。對(duì)于綠色，有兩個(gè)不同的傳輸特性，對(duì)于紅色和藍(lán)色，甚至有四個(gè)。
對(duì)于傳統(tǒng)的綠色重構(gòu)來(lái)說(shuō)，如果中央綠色存在，則綠色傳輸是統(tǒng)一的，如果中央綠色不存在，則綠色傳輸是按照?qǐng)D34下面的3D圖。
綠色重構(gòu)傳輸中的差異，將引起由在綠色樣本頻率的每個(gè)倍數(shù)下的不同的綠色傳輸?shù)姆凑垡鸬脑诟叩膶?duì)角線頻率下的呈綠色的調(diào)制。
這個(gè)綠色重構(gòu)濾波器的另一個(gè)微小缺點(diǎn)是，它遭受由RGB拜爾圖像傳感器引起的綠色不均勻性。然而2×2后置濾波器將解決這個(gè)問(wèn)題。它允許消除傳感器的綠色信號(hào)中的綠-綠差異，同時(shí)維持拉普拉斯或smartgreen RGB重構(gòu)方法并沒(méi)有可見(jiàn)的分辨率損失。
圖35中顯示，在2×2后濾波后綠色傳輸特性變得更為等同。在左手端表示對(duì)應(yīng)綠色的存在的傳輸，在右手端表示對(duì)應(yīng)綠色的不存在的傳輸。
要注意的是，低頻混疊的量主要是由第一重構(gòu)濾波器決定的。后置濾波器僅僅減少高頻分量。不過(guò)在更高對(duì)角線頻率下的呈綠色的調(diào)制將被減少。
對(duì)于傳統(tǒng)的紅色/藍(lán)色重構(gòu)來(lái)說(shuō)，四個(gè)不同的傳輸特性發(fā)揮作用1.如果存在中央紅色/藍(lán)色，則傳輸是統(tǒng)一(unity)的。
2.如果沒(méi)有紅色/藍(lán)色中央像素并且中央行以及中央列不含紅色/藍(lán)色像素，則圖36的傳輸是結(jié)果。
3.如果沒(méi)有紅色/藍(lán)色中央像素并且中央列不含紅色/藍(lán)色像素，則圖37的傳輸成立。
如果沒(méi)有紅色/藍(lán)色中央像素并且中央行不含有紅色/藍(lán)色像素，則圖38的傳輸成立，其等于圖37的傳輸，但是被旋轉(zhuǎn)90°。
在圖39中，表示了在2×2后濾波之后的4個(gè)不同的紅色/藍(lán)色傳輸。要注意的是，低頻混疊的量主要由第一重構(gòu)濾波器確定。后置濾波器僅僅減少高頻分量。
附錄44×4和6×6顏色重構(gòu)乍一看，優(yōu)選地，如果不需要虛假顏色消除器，應(yīng)用一個(gè)4×4或6×6 RGB顏色重構(gòu)濾波器是吸引人的，因?yàn)轭A(yù)期重構(gòu)的像素的相位將是與如圖3中所示的經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位相同的。在此情況中，不需要后置濾波器。在本附錄的下兩章中將要解釋，對(duì)于4×4顏色重構(gòu)陣列以及對(duì)于6×6顏色重構(gòu)陣列來(lái)說(shuō)，在四個(gè)起始位置上平均的紅色和藍(lán)色相位將對(duì)應(yīng)于經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位，但是對(duì)于每個(gè)起始位置來(lái)說(shuō)，相位將是不同的。
4×4 RGB顏色重構(gòu)為了簡(jiǎn)要，假設(shè)一個(gè)具有統(tǒng)一權(quán)重的4×4紅色(和藍(lán)色)重構(gòu)濾波器，如圖40的左手端所示的那樣。在圖40中，連同重構(gòu)所涉及的紅色像素和被重構(gòu)的紅色像素一起表示了不同的紅色起始位置。沒(méi)有對(duì)應(yīng)于哪個(gè)起始位置的重構(gòu)的紅色像素與經(jīng)白補(bǔ)償?shù)牧炼认袼氐南辔灰恢?。只有作為重?gòu)的紅色像素的起始位置的函數(shù)的四個(gè)位置的平均值，將有所期望的像素匹配。因?yàn)橹貥?gòu)涉及對(duì)假象非常敏感的靜止攝影畫(huà)面，所以所平均的相位幾乎沒(méi)有任何意義。除了所提及的一個(gè)單一紅色或藍(lán)色的相位失配外，在三個(gè)重構(gòu)的RGB像素之間也有一個(gè)相對(duì)相位差，如圖41中所示的那樣。對(duì)于綠色來(lái)說(shuō)，假設(shè)一個(gè)4×4統(tǒng)一濾波器，它的重構(gòu)的像素與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)有一個(gè)適當(dāng)?shù)南辔黄ヅ洹?br> 圖42中表明，利用特定的濾波器系數(shù)，可以把重構(gòu)的紅色(或藍(lán)色)像素的位置保持得與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位一致。這個(gè)濾波器將被稱作紅色/藍(lán)色相位校正濾波器。如在圖42中可見(jiàn)的那樣，紅色/藍(lán)色重構(gòu)只涉及三個(gè)有關(guān)的像素。
圖43中表示圖42的起始位置1的傳輸特性。
按照在第3.3章中提及的顏色重構(gòu)濾波器的起始點(diǎn)，應(yīng)當(dāng)小心地定義綠色系數(shù)。兩個(gè)綠色傳輸特性都應(yīng)當(dāng)有一定的匹配，并且它們應(yīng)當(dāng)與紅色/藍(lán)色濾波器足夠地匹配。此外，優(yōu)選地消除綠色不均勻性。
圖44中表示了三個(gè)4×4綠色重構(gòu)濾波器，其中，獨(dú)立于起始位置，重構(gòu)的綠色像素與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)有一個(gè)適當(dāng)?shù)南辔黄ヅ?。它們進(jìn)一步消除由圖像傳感器引起的綠色不均勻性。如在第2章中概述的那樣，省略對(duì)這三個(gè)濾波器的綠色不均勻性恢復(fù)的解釋。進(jìn)一步，一個(gè)二維并行輪廓濾波器可消除由圖像傳感器引起的綠-綠差異。
確定重構(gòu)的綠色的位置有幾種方式。例如，圖44中的虛線的黑色印刷的濾波器系數(shù)代表第一綠色起始位置，無(wú)虛線的綠色濾波器系數(shù)代表第二綠色起始位置。當(dāng)在圖44的左邊部分中的列a和c中增加虛線的黑色系數(shù)時(shí)，它們的重構(gòu)的像素被定位在列b和行p中。當(dāng)在列b和d中增加虛線的黑色系數(shù)時(shí)，結(jié)果被定位在列c和行q中。組合位于位置(b，p)和(c，q)的像素，得到最終被重構(gòu)的綠色像素的位置。對(duì)于無(wú)虛線的綠色印刷的濾波系數(shù)來(lái)說(shuō)，類似的解釋得到完全相同的重構(gòu)的綠色位置。
假設(shè)所有的權(quán)重統(tǒng)一，首先要確定圖44中的第二個(gè)綠色濾波器的重構(gòu)的綠色的位置。該位置于是將與第一個(gè)綠色濾波器的相同。為了包括因數(shù)為2的權(quán)重，對(duì)于位于位置(b，p)和(c，q)的虛線黑色權(quán)重，像素值必須被再次增加。這再次得到一個(gè)具有與重構(gòu)的綠色完全相同的位置的像素?？梢砸灶愃频姆绞酱_定無(wú)虛線的綠色系數(shù)的位置。
對(duì)于第三個(gè)綠色濾波器來(lái)說(shuō)，增加虛線的黑色系數(shù)將得到想要的重構(gòu)綠色位置。
首先將通過(guò)使用一個(gè)人工波帶片和FT19的傳感器矩陣，檢查這三個(gè)綠色濾波器中的哪個(gè)具有與圖42(和43)的紅色/藍(lán)色相位校正濾波器的最佳匹配。因?yàn)椴幌胍獮檫@個(gè)檢查應(yīng)用一個(gè)虛假顏色消除器，應(yīng)當(dāng)選擇與最佳灰色信息組合的濾波器。在圖45的頂部應(yīng)用一個(gè)統(tǒng)一綠色濾波器，在中間應(yīng)用第二個(gè)。上述兩個(gè)都有一個(gè)朝向中間頻率的紫色偏移。顯然，使用第三個(gè)綠色濾波器的底部畫(huà)面是最佳的畫(huà)面。如在附錄1中已經(jīng)解釋過(guò)的那樣，在中間的干涉是由矩陣系數(shù)引起的。由于利用統(tǒng)一矩陣，它們完全消失。在波帶片的第7個(gè)“白”環(huán)上，顏色偏移(color shift)被挑出來(lái)，并在圖45的右邊部分中的方塊中放大顯示。要注意的是，沒(méi)有應(yīng)用過(guò)高頻亮度處理。這個(gè)結(jié)果僅僅是因?yàn)轭伾貥?gòu)。
可以用統(tǒng)一RB濾波器和三個(gè)綠色濾波器進(jìn)行類似的測(cè)試，但是都有不可接受的低頻假象，并且用第三個(gè)綠色濾波器的測(cè)試有強(qiáng)的呈綠色的顏色偏移。因此，為了顯示4×4紅色/藍(lán)色相位校正濾波器的改善，替代波帶片場(chǎng)景，對(duì)角線和垂直的彩色邊緣將被顯示。
最難的邊緣是綠色-品紅和紅色-藍(lán)色瞬變，它們?cè)谶@里來(lái)自這種情況中的一個(gè)理想的分步函數(shù)。在圖46中明顯可以看到經(jīng)相位校正的紅色和藍(lán)色重構(gòu)的改善。所述瞬變已經(jīng)被放大6倍，另外已經(jīng)應(yīng)用了統(tǒng)一傳感器矩陣。在圖46的下部，明顯可以看到經(jīng)相位校正的紅色和藍(lán)色重構(gòu)的改善。
6×6 RGB顏色重構(gòu)與4×4陣列的類似的措施可以應(yīng)用于6×6 RGB重構(gòu)濾波器，同樣為了簡(jiǎn)要，該6×6重構(gòu)濾波器具有統(tǒng)一權(quán)重。被重構(gòu)的紅色(或藍(lán)色)的位置與紅色(或藍(lán)色)的起始位置有關(guān)。與前一章中的說(shuō)法不同的是，重構(gòu)的紅色像素的位置變得與最靠近經(jīng)白補(bǔ)償?shù)牧炼认袼氐奈恢玫募t色像素的位置相等，但是然后被沿對(duì)角線在白補(bǔ)償?shù)牧炼认袼氐奈恢蒙媳灰莆灰粋€(gè)像素，這在圖40中同樣明顯。紅色和藍(lán)色重構(gòu)像素的最后位置也將互相相對(duì)，就像已經(jīng)在圖41中所示的那樣。
利用如圖47中所示的濾波器系數(shù)可以把重構(gòu)的紅色(或藍(lán)色)像素的位置保持得與經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)的相位一致。
圖48中表示對(duì)應(yīng)圖42的起始位置1的6×6傳輸特性。
低的紅色/藍(lán)色帶寬使得不太難找到一個(gè)適當(dāng)?shù)木G色重構(gòu)濾波器。圖49中表示這些綠色濾波器中的一個(gè)的權(quán)重。
圖50中表示對(duì)角線傳輸改善，在左手端是一個(gè)統(tǒng)一濾波器，在右手端是經(jīng)相位校正的重構(gòu)。
對(duì)4×4和6×6相位重構(gòu)濾波器的評(píng)估將把本附錄的前一章的最好的4×4和最好的6×6相位重構(gòu)濾波器分別與3.4和3.5章中的最好的3×3和5×5濾波器做比較。后兩個(gè)濾波器后面緊隨統(tǒng)一2×2后置濾波器。
首先檢查4×4(或6×6)濾波器是否能與虛假顏色消除器一起應(yīng)用，而忽略二者之間的相位差。在圖51的左手端，表示利用4×4顏色濾波器的消色，在右手端，表示利用后面緊隨一個(gè)2×2后置濾波器的3×3濾波器的消色。兩個(gè)人工波帶片場(chǎng)景都被用FT19矩陣處理?？梢钥吹絻蓚€(gè)重要的方面。當(dāng)察看中間和更高頻率區(qū)域中的差別時(shí)，在左手端的消色假象與右手端相比是相當(dāng)嚴(yán)重的。進(jìn)一步，這說(shuō)明對(duì)于兩個(gè)方法來(lái)說(shuō)，顏色消除器對(duì)接近紅色/藍(lán)色樣本頻率的虛假顏色不起作用。這是因?yàn)閷?duì)于虛假顏色檢測(cè)器來(lái)說(shuō)傳感器信號(hào)太小。后來(lái)，這個(gè)信號(hào)被顏色矩陣強(qiáng)烈地放大。
圖52中用一個(gè)人工黑白(即無(wú)色的)波帶片表示四個(gè)利用FT19矩陣的顏色重構(gòu)方法的帶寬。顯然，3×3濾波器提供最佳分辨率。盡管5×5和4×4看起來(lái)相當(dāng)?shù)韧?×5濾波器在中間頻率下顯示較少的假象?？梢哉J(rèn)為6×6顏色濾波器的帶寬是相當(dāng)?shù)偷摹?br> 在圖53中對(duì)于4個(gè)使用統(tǒng)一矩陣的重構(gòu)方法顯示放大6倍的對(duì)角線綠色-品紅邊緣。仔細(xì)檢查表明，在6×6濾波器(右下)中顏色分辨率損失太高。3×3濾波器有最清晰的顏色邊緣，隨后的是5×5和4×4濾波器。
關(guān)于4×4和6×6重構(gòu)濾波器的結(jié)論●只有利用非常特定的濾波系數(shù)才有可能保持具有經(jīng)白補(bǔ)償?shù)牧炼认袼氐闹貥?gòu)的紅色或藍(lán)色的位置。
●6×6濾波器的分辨率太低。對(duì)于4×4濾波器來(lái)說(shuō)，這可能是可以接受的。即使是隨后有2×2后置濾波器的5×5濾波器比4×4濾波器有更好的分辨率。
●4×4和6×6濾波器不太適合與虛假顏色檢測(cè)器一起應(yīng)用。
作為附錄4的結(jié)論，6×6濾波器的顏色帶寬更不可接受。因此，利用一個(gè)3×3和5×5重構(gòu)濾波器的重構(gòu)塊是足夠的，因?yàn)?×4濾波器也不提供實(shí)際的好處。當(dāng)應(yīng)用按列的處理時(shí)，3×3和5×5濾波器所需的2×2后置濾波器不是一個(gè)實(shí)際問(wèn)題。此外，這些濾波器原則上能與虛假顏色消除器一起應(yīng)用，或者無(wú)需虛假顏色消除器。
權(quán)利要求
1.一種信號(hào)處理方法，其中，提供圖像傳感器的傳感器信號(hào)作為輸入，并且該輸入在一個(gè)濾波器中被重構(gòu)，以建立一個(gè)用于進(jìn)一步處理的輸出，其中，所述濾波器包含至少一個(gè)從由亮度重構(gòu)濾波器、紅-綠-藍(lán)顏色重構(gòu)濾波器和輪廓重構(gòu)濾波器組成的組中選擇的重構(gòu)濾波器，其中，—該輸入包含多個(gè)像素，一個(gè)像素提供被賦予紅色、綠色或藍(lán)色中至少之一的一個(gè)顏色值，其特征在于—把亮度重構(gòu)濾波器應(yīng)用于一個(gè)具有預(yù)定陣列大小的、包含多個(gè)像素的像素陣列，其中，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予紅色的紅色像素構(gòu)成的，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予藍(lán)色的藍(lán)色像素構(gòu)成的，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予綠色的綠色像素構(gòu)成的，以及—在亮度重構(gòu)濾波器之后，應(yīng)用包含一個(gè)用來(lái)消除輸入中的虛假顏色的虛假顏色濾波器的顏色重構(gòu)濾波器。
2.如權(quán)利要求1中所要求的方法，其特征在于，用一個(gè)綠色參數(shù)來(lái)加權(quán)紅色和/或藍(lán)色像素。
3.如權(quán)利要求1中所要求的方法，其特征在于，把所述陣列的像素總合成一個(gè)輸出像素，并把該輸出像素在該陣列中居中，特別是與輸出像素同相位地定位第一濾波器之后的第二濾波器的中央輸出像素，特別是通過(guò)把中央輸出像素居中而把它居中在陣列的與所述輸出像素相同的中央位置。
4.如權(quán)利要求1中所要求的方法，其特征在于，把所述虛假顏色濾波器應(yīng)用到一個(gè)預(yù)定大小的綠色像素陣列，特別是應(yīng)用到一個(gè)預(yù)定的小的綠色像素陣列，該陣列具有四個(gè)像素的大小，包含至少兩個(gè)綠色像素、一個(gè)紅色像素和一個(gè)藍(lán)色像素。
5.如權(quán)利要求1或4中所要求的方法，其特征在于，所述虛假顏色濾波器包含以下步驟—用一個(gè)或多個(gè)另外的綠色參數(shù)分別加權(quán)一個(gè)預(yù)定的小的綠色像素陣列中的紅色和/或藍(lán)色像素；—向陣列中的一個(gè)或多個(gè)綠色像素應(yīng)用一個(gè)平均濾波器；—通過(guò)一個(gè)中值濾波器來(lái)總合被加權(quán)的紅色和藍(lán)色像素以及陣列中的一個(gè)或多個(gè)綠色像素的平均；—比較被中值濾波的像素與預(yù)定的小的綠色像素陣列的被低頻濾波的像素，由此從輸入中消除虛假顏色。
6.如權(quán)利要求4或5中的任一條所要求的方法，其特征在于， 所述預(yù)定的小的綠色像素陣列具有3×3的陣列大小。
7.如前述權(quán)利要求的任何一項(xiàng)中所要求的方法，其特征在于，所應(yīng)用的顏色重構(gòu)濾波器具有3×3或5×5的陣列大小，特別是在重傳感器矩陣的情況中具有5×5的陣列大小。
8.如前述權(quán)利要求的任何一項(xiàng)中所要求的方法，其特征在于，在一個(gè)虛假顏色濾波器之后應(yīng)用一個(gè)后置濾波器，以保持相對(duì)于一個(gè)以前應(yīng)用的亮度重構(gòu)濾波器的一個(gè)相位。
9.如權(quán)利要求8中所要求的方法，其特征在于，在一個(gè)虛假顏色濾波器之后應(yīng)用一個(gè)2×2陣列大小的后置濾波器，以把一個(gè)預(yù)定的綠色像素陣列的中央輸出像素定位成與一個(gè)白色像素同相位，該白色像素相對(duì)于與一個(gè)亮度重構(gòu)濾波器已經(jīng)被應(yīng)用到的矩陣相同的矩陣作為輸出-像素而被居中。
10.如前述權(quán)利要求的任何一項(xiàng)中所要求的方法，其特征在于，對(duì)于矩陣或者按列或者按行處理。
11.一種信號(hào)處理設(shè)備，特別適于執(zhí)行如權(quán)利要求1至10中所要求的方法，該設(shè)備包含一個(gè)用于提供傳感器信號(hào)作為輸入的圖像傳感器和一個(gè)用于重構(gòu)該輸入以建立用于進(jìn)一步處理的輸出的濾波器，其中，該濾波器包含至少一個(gè)從由亮度重構(gòu)濾波器、紅-綠-藍(lán)顏色重構(gòu)濾波器和輪廓重構(gòu)濾波器組成的組中選擇的重構(gòu)濾波器，其中，—該輸入包含多個(gè)像素，一個(gè)像素提供一個(gè)被賦予紅色、綠色或藍(lán)色中的至少一個(gè)的顏色值，其特征在于—亮度重構(gòu)濾波器適于被應(yīng)用于一個(gè)具有預(yù)定陣列大小的、包含多個(gè)像素的像素陣列，其中，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予紅色的紅色像素構(gòu)成的，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予藍(lán)色的藍(lán)色像素構(gòu)成的，所述多個(gè)像素中的至少一個(gè)是由一個(gè)被賦予綠色的綠色像素構(gòu)成的；并且其中—顏色重構(gòu)濾波器在亮度重構(gòu)濾波器之后被應(yīng)用，并且顏色重構(gòu)濾波器包含一個(gè)用來(lái)消除輸入中的虛假顏色的虛假顏色濾波器。
12.如權(quán)利要求11中所要求的設(shè)備，其特征在于，一用具有一個(gè)綠色參數(shù)的陣列來(lái)加權(quán)紅色和/或藍(lán)色像素的裝置，和/或—用于把該陣列的像素總合成一個(gè)輸出像素的裝置，和/或—用于把該輸出像素在該陣列中居中的裝置。
13.一個(gè)可存儲(chǔ)在可由計(jì)算系統(tǒng)、特別是攝影機(jī)的計(jì)算系統(tǒng)讀取的介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，其包含一個(gè)軟件代碼段，當(dāng)所述產(chǎn)品在計(jì)算系統(tǒng)上、特別是在攝影機(jī)的計(jì)算系統(tǒng)上被執(zhí)行時(shí)，該軟件代碼段使該計(jì)算系統(tǒng)執(zhí)行如權(quán)利要求1至11的任何一項(xiàng)中所要求的方法。
14.一種計(jì)算系統(tǒng)和/或半導(dǎo)體器件、特別是攝影機(jī)的計(jì)算系統(tǒng)，用于執(zhí)行和/或存儲(chǔ)如權(quán)利要求13中所要求的計(jì)算機(jī)程序產(chǎn)品。
15.一種包含一個(gè)光學(xué)系統(tǒng)、一個(gè)圖像傳感器和一個(gè)如權(quán)利要求11或12中所要求的設(shè)備或一個(gè)如權(quán)利要求14中所要求的計(jì)算系統(tǒng)的攝影機(jī)。
全文摘要
提出一種基于白補(bǔ)償?shù)牧炼攘繕?gòu)并使用被稱作smartgreen參數(shù)的濾波器權(quán)重的重構(gòu)方法。即使在樣本頻率的倍數(shù)下以及在攝影機(jī)沒(méi)有光學(xué)低通濾波器的情況下也能實(shí)現(xiàn)無(wú)混疊的亮度信號(hào)。此外，這個(gè)經(jīng)白補(bǔ)償?shù)牧炼刃盘?hào)還沒(méi)有信號(hào)失真。所提出的方法允許增加或者組合一個(gè)適當(dāng)?shù)墓鈱W(xué)低通濾波器，并特別適于實(shí)現(xiàn)各種無(wú)混疊的顏色和輪廓濾波器。利用可作為傳感器矩陣的重量以及攝影機(jī)的光傳輸?shù)暮瘮?shù)而選擇的濾波器權(quán)重而重構(gòu)RGB顏色信號(hào)。重構(gòu)的RGB信號(hào)可進(jìn)一步按照奈奎斯特法則在彩色混疊方面進(jìn)一步被改善。虛假顏色濾波器在顏色量構(gòu)濾波器中實(shí)現(xiàn)，并被應(yīng)用來(lái)消除虛假顏色以及從而減少顏色混疊的量。也提出了用于低成本應(yīng)用的發(fā)展。
文檔編號(hào)H04N1/48GK1666228SQ03815775
公開(kāi)日2005年9月7日 申請(qǐng)日期2003年6月24日 優(yōu)先權(quán)日2002年7月4日
發(fā)明者C·A·M·賈斯佩斯 申請(qǐng)人:皇家飛利浦電子股份有限公司