專利名稱：用于檢測和校正圖像傳感器中的缺陷像素的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本公開一般涉及數(shù)字成像設(shè)備，具體而言，涉及用于處理使用數(shù)字成像設(shè)備的圖像傳感器而獲得的圖像數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
該部分用于向閱讀者介紹涉及以下所描述和/或請求保護的本技術(shù)的多個方面的領(lǐng)域的多個方面。相信該討論有助于向閱讀者提供背景信息以使其更好地理解本公開的多個方面。因此，需要理解的是就此而論這些陳述是用來閱讀的，而非承認是它們是現(xiàn)有技術(shù)。在近些年，數(shù)字成像設(shè)備已經(jīng)變得更加普及，這至少得益于這些設(shè)備對于一般消 費者來說變得越來越消費得起。此外，除了一些剛上市的獨立數(shù)碼相機之外，數(shù)字成像設(shè)備整合為另一個電子設(shè)備(例如膝上或筆記本電腦、蜂窩電話或便攜媒體播放器)的一部分也很常見。為了獲取圖像數(shù)據(jù)，大多數(shù)數(shù)字成像設(shè)備包括圖像傳感器，其提供多個被配置為將圖像傳感器檢測到的光轉(zhuǎn)換為電信號的光檢測元件(例如光電檢測器)。圖像傳感器還可包括濾色器陣列，其對由圖像傳感器捕捉的光進行濾波以獲得顏色信息。接著通過圖像處理流水線來處理由圖像傳感器捕捉的圖像數(shù)據(jù)，該圖像處理流水線可以對圖像數(shù)據(jù)應(yīng)用多種圖像處理操作以生成可被顯示在顯示設(shè)備(例如監(jiān)視器)上以供觀看的全彩圖像。傳統(tǒng)圖像處理技術(shù)一般致力于產(chǎn)生在主觀上和客觀上都使觀看者愉悅的可觀看圖像，這樣的傳統(tǒng)技術(shù)可能無法充分地解決圖像數(shù)據(jù)中由成像設(shè)備和/或圖像傳感器引入的錯誤和/或失真。例如，可能因制造缺陷或操作錯誤而導(dǎo)致的圖像傳感器中的缺陷像素可能無法準(zhǔn)確地感測光線水平，并且如果不加校正，可能會在得到的經(jīng)處理圖像中產(chǎn)生偽影(artifact)。此外，可能因鏡頭制造的不完美而導(dǎo)致的在圖像傳感器的邊緣處的光強度下降，可能對特性測量有不利影響，并且可能導(dǎo)致一張圖像內(nèi)的整體光強度不均勻。圖像處理流水線還可執(zhí)行一個或多個處理以銳化圖像。然而傳統(tǒng)銳化技術(shù)可能未充分地計及圖像信號中存在的噪聲，或者可能無法將噪聲與圖像中的邊緣和紋理區(qū)域區(qū)分開。在這些情況下，傳統(tǒng)銳化技術(shù)可能實際上增加了圖像中噪聲的顯現(xiàn)，而這通常是不期望發(fā)生的?？杀粦?yīng)用于由圖像傳感器獲得的圖像數(shù)據(jù)的另一個圖像處理操作是去馬賽克(demosaicing)操作。因為濾色器陣列一般為每個傳感器像素提供一個波長的顏色數(shù)據(jù)，所以一般針對每個顏色通道進行內(nèi)插得到顏色數(shù)據(jù)的完整集合，以再現(xiàn)全彩圖像(例如RGB圖像)。通常，傳統(tǒng)去馬賽克技術(shù)一般依據(jù)某種類型的固定閾值，在水平或垂直方向上內(nèi)插缺失的顏色數(shù)據(jù)的值。然而，這些傳統(tǒng)去馬賽克技術(shù)可能未充分計及圖像內(nèi)各邊緣的位置和方向，這可能導(dǎo)致引入到全彩圖像中的特別是沿著圖像內(nèi)的對角邊緣的邊緣偽影，例如混疊(aliasing)、棋盤格偽影或彩虹偽影。因此，當(dāng)處理由數(shù)碼相機或其他成像設(shè)備獲得的數(shù)字圖像時，應(yīng)當(dāng)注意多種考慮以提高結(jié)果圖像的外觀。具體而言，以下公開的特定方面可以解決以上簡要提及的一個或多個缺點。

發(fā)明內(nèi)容
以下將闡述此處公開的特定實施例的概述?？梢岳斫獾氖沁@里僅僅呈現(xiàn)這些方面以向閱讀者提供這些特定實施例的簡要概述，并且這些方面并不限制本公開的范圍。實際上，本公開可以涵蓋以下沒有闡述的多個方面。本公開提供了用于處理利用數(shù)字圖像傳感器獲取的圖像數(shù)據(jù)的各種技術(shù)。根據(jù)本公開的一些方面，一種這樣的技術(shù)可涉及圖像傳感器的缺陷像素的檢測和校正。根據(jù)一個實施例，提供了存儲有已知靜態(tài)缺陷的位置的靜態(tài)缺陷表。在這樣的實施例中，缺陷像素校正和檢測可以在兩個階段中進行。在第一階段，將圖像處理幀內(nèi)的當(dāng)前像素的位置與存儲在靜態(tài)缺陷表中的信息進行比較。如果發(fā)現(xiàn)當(dāng)前像素的位置位于靜態(tài)缺陷表中，則將當(dāng)前像素識別為靜態(tài)缺陷并且使用替代值來校正，該替代值可以被選擇為相同顏色的前一像素的值。如果當(dāng)前像素未被識別為靜態(tài)缺陷，則第二階段可以通過將當(dāng)前像素和鄰近像素集合之間的像素至像素梯度與動態(tài)缺陷閾值進行比較，來確定當(dāng)前像素是否為動態(tài)缺陷。用于校正動態(tài)缺陷的替代值可以通過對在表現(xiàn)出最小梯度的方向上位于當(dāng)前像素相對兩側(cè)的兩個鄰近像素的值進行內(nèi)插來確定。根據(jù)本公開的一些方面，另一種圖像處理技術(shù)可涉及應(yīng)用多尺度虛光蒙版(multi-scale unsharp mask)來提供圖像銳化。根據(jù)一個實施例,首先獲得數(shù)字圖像傳感器所獲取的圖像數(shù)據(jù)的亮度圖像。多尺度虛光蒙版可包括具有不同半徑的至少兩個高斯濾波器，并且可應(yīng)用于亮度圖像以確定多個虛光(unsharp)值。每個虛光值可以與相對應(yīng)的閾值進行比較，并且，對于超過其相應(yīng)閾值的虛光值，可以應(yīng)用相應(yīng)的增益，并且經(jīng)過增益的虛光值可被加到基本圖像上，該基本圖像可被選擇為所述亮度圖像或高斯濾波器之一的輸出。每個經(jīng)過增益的虛光值可以與基本圖像相加以產(chǎn)生最終的銳化輸出。在另一個實施例中，衰減增益可被應(yīng)用到不超過其相應(yīng)閾值的虛光值。進一步的實施例還可提供對銳化圖像的附加處理以增強邊緣和抑制色度。根據(jù)本公開的另一個方面，另一種圖像處理技術(shù)可涉及對數(shù)字圖像傳感器所獲取的圖像數(shù)據(jù)進行去馬賽克以產(chǎn)生全彩圖像。在一個實施例中，圖像傳感器可包括拜耳濾色器陣列，并且去馬賽克可被應(yīng)用于所得到的拜耳圖像模式。在這樣的實施例中，可以通過利用自適應(yīng)邊緣檢測濾波器確定垂直和水平能量，來為每個非綠色像素內(nèi)插缺失的綠色值。根據(jù)所公開的實施例，綠色、紅色和藍色分量可對確定垂直和水平能量時的邊緣檢測作出貢獻。利用垂直和水平能量對用于當(dāng)前非綠色像素的內(nèi)插綠色值的垂直和水平分量加權(quán)，并且對加權(quán)后的值求和以確定該內(nèi)插的綠色值。根據(jù)這樣的實施例,該內(nèi)插的綠色值可用于內(nèi)插缺失的紅色和藍色樣本。根據(jù)本公開的再一個方面，提供了一種用于校正鏡頭明暗不規(guī)則的技術(shù)。在一個實施例中，確定當(dāng)前像素相對于具有分布在水平和垂直方向上的多個柵格點的增益柵格的位置。如果當(dāng)前像素的位置對應(yīng)于柵格點，那么與該柵格點相關(guān)聯(lián)的鏡頭明暗增益被應(yīng)用到該當(dāng)前像素。如果當(dāng)前像素的位置位于四個柵格點之間，那么雙線性內(nèi)插被應(yīng)用于這四個柵格點，以確定內(nèi)插的鏡頭明暗增益。在另一個實施例中，通過確定圖像中心到當(dāng)前像素的徑向距離并將該徑向距離乘以基于當(dāng)前像素顏色的全局增益參數(shù)，來確定徑向鏡頭明暗、增益。徑向鏡頭明暗增益然后與所確定的鏡頭明暗柵格增益或鏡頭明暗內(nèi)插增益一起被應(yīng)用到該當(dāng)前像素。以上所示特征的多種細化存在于本公開涉及的多個方面。其他特征也可并入到這些方面。這些細化和附加特征可獨立存在或組合地存在。例如，以下討論的涉及一個或多個示例實施例的多種特征可被單獨或任意組合地并入到本公開的上述方面中。再次，以上呈現(xiàn)的簡要概述僅旨在使閱讀者熟悉本公開的實施例的特定方面和內(nèi)容，而非對要求保護的主題的限制。


閱讀以下詳細描述以及參考附 圖可以更好的理解本公開的多個方面，在附圖中圖I是描述包括被配置為實現(xiàn)本公開中闡述的一個或多個圖像處理技術(shù)的成像設(shè)備和圖像處理電路的電子設(shè)備的一個例子的部件的簡單方框圖；圖2示出了在圖I的成像設(shè)備中實現(xiàn)的拜耳濾色器陣列的2X2像素塊的示意圖；圖3是依照本公開的一些方面的膝上型計算設(shè)備形式的圖I的電子設(shè)備的透視圖；圖4是依照本公開的一些方面的桌上型計算設(shè)備形式的圖I的電子設(shè)備的前視圖；圖5是依照本公開的一些方面的手持便攜型電子設(shè)備形式的圖I的電子設(shè)備的前視圖；圖6是圖5所示的電子設(shè)備的后視圖；圖7是例示了依照本公開的一些方面的可以在圖I的圖像處理電路中實現(xiàn)的前端圖像信號處理(ISP)邏輯和ISP流水處理邏輯的方框圖；圖8是示出了依照本公開的一些方面的圖7的ISP前端邏輯的實施例的更詳細的方框圖；圖9是依照本公開的一些方面的可在由圖像傳感器捕捉的源圖像幀中定義的各種成像區(qū)域的圖解說明；圖10是依照本公開的一些方面的提供對如圖8的ISP前端邏輯中所示的ISP前端像素處理單元的一個實施例的更詳細視圖的方框圖；圖11是依照一個實施例的例示了如何將時域濾波應(yīng)用到由圖10所示的ISP前端像素處理單元接收到的圖像像素數(shù)據(jù)的處理框圖；圖12例示了可被用于確定圖11所示的時域濾波處理的一個或多個參數(shù)的一組參考圖像像素和一組對應(yīng)的當(dāng)前圖像像素；圖13是示出了依照本公開一些方面的可在圖10的ISP前端像素處理單元中實現(xiàn)的像素合并補償濾波器的一個實施例的更詳細視圖；圖14示出依照一個實施例的使用圖13的像素合并補償濾波器來縮放圖像數(shù)據(jù)的處理；圖15是示出了依照本公開一些方面的可在圖8所示的ISP前端處理邏輯中實現(xiàn)的統(tǒng)計處理單元的實施例的更詳細方框圖；圖16示出了依照本公開一些方面的當(dāng)應(yīng)用用于在圖15的統(tǒng)計處理單元進行統(tǒng)計處理時檢測和校正缺陷像素的技術(shù)時可能要考慮的各種圖像幀邊界情況；圖17是例示了依照一個實施例的用于在統(tǒng)計處理過程中執(zhí)行缺陷像素檢測和校正的處理的流程圖18示出了描繪成像設(shè)備的傳統(tǒng)鏡頭的光強度相對于像素位置的三維分布；圖19是表現(xiàn)圖像中不均勻光強度的照片，這可能是鏡頭明暗(lens shading)不規(guī)則的結(jié)果；圖20是依照本公開一些方面的包括鏡頭明暗糾正區(qū)域和增益柵格(gain grid)的原始成像幀的圖解例示；圖21例示了依照本公開一些方面的用于被周圍四個柵格增益點包圍的圖像像素的增益值的內(nèi)插；圖22是例示了依照本技術(shù)一個實施例的用于確定在鏡頭明暗校正操作期間可被應(yīng)用到成像像素的內(nèi)插增益值的處理的流程圖；圖23是描繪了依照本公開一些方面的當(dāng)執(zhí)行鏡頭明暗校正時，可被應(yīng)用到表現(xiàn)出圖18所示的光強度特性的圖像的內(nèi)插增益值的三維分布；圖24示出了依照本公開一些方面的來自圖19的照片在應(yīng)用了鏡頭明暗校正操作之后表現(xiàn)出改進的光強度均勻性的有色圖；圖25圖解例示了依照一個實施例的可以如何計算和使用當(dāng)前像素和圖像的中心之間的徑向距離來確定用于鏡頭明暗校正的徑向增益分量；圖26是例示了依照本技術(shù)一個實施例的使用來自增益柵格的徑向增益和內(nèi)插增益來確定總增益的處理的流程圖，在鏡頭明暗校正操作期間可將該總增益應(yīng)用到成像像素；圖27是示出了依照本公開一些方面的圖7的ISP流水處理邏輯的一個實施例的方框圖；圖28是示出了依照本公開一些方面的可在圖27的ISP流水處理邏輯中實現(xiàn)的原始像素處理塊的一個實施例的更詳細視圖；圖29示出了依照本公開一些方面的當(dāng)在圖28所示的原始像素處理塊執(zhí)行處理期間應(yīng)用用于檢測和校正缺陷像素的技術(shù)時要考慮的各種圖像幀邊界情況；圖30-32是依照一個實施例的描繪可由圖28的原始像素處理塊執(zhí)行的用于檢測和校正缺陷像素的多種處理的流程圖；圖33示出了依照本公開一些方面的在圖28的原始像素處理邏輯執(zhí)行處理期間應(yīng)用綠色非均勻性校正技術(shù)時可進行內(nèi)插的拜耳圖像傳感器的2X2像素塊內(nèi)的兩個綠色像素的位置；圖34例示了依照本公開一些方面的包括中心像素和關(guān)聯(lián)的水平鄰近像素在內(nèi)的可被用作用于降噪的水平濾波處理的一部分的像素集合；圖35例示了依照本公開一些方面的包括中心像素和關(guān)聯(lián)的垂直鄰近像素在內(nèi)的可被用作用于降噪的垂直濾波處理的一部分的像素集合；圖36是描繪了如何將去馬賽克應(yīng)用到原始拜耳圖像模式(pattern)以產(chǎn)生全彩RGB圖像的簡化流程圖；圖37表示依照一個實施例的拜耳圖像模式的像素集合，在該拜耳圖像模式的去馬賽克期間，可以從其中導(dǎo)出用于內(nèi)插綠色值的水平和垂直能量分量；
圖38示出了依照本技術(shù)一些方面的水平像素集合，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的綠色值的水平分量；圖39示出了依照本技術(shù)一些方面的垂直像素集合，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的綠色值的垂直分量；圖40示出了依照本技術(shù)一些方面的多種3x3像素塊，在拜耳圖像模式的去馬賽克期間，可對其應(yīng)用濾波以確定內(nèi)插的紅色和藍色值；圖41-44提供依照一個實施例的描繪在拜耳圖像模式的去馬賽克期間用于內(nèi)插綠色、紅色和藍色值的各種處理的流程圖；圖45示出了可由圖像傳感器捕捉的并依照此處公開的去馬賽克技術(shù)的一些方面而處理的初始圖像場景；圖46示出了如圖45所示的圖像場景的拜耳圖像模式；圖47不出了使用傳統(tǒng)去馬賽克技術(shù)基于圖46的拜耳圖像模式而重構(gòu)的RGB圖像；圖48示出了依照此處公開的去馬賽克技術(shù)的一些方面從圖46的拜耳圖像模式重構(gòu)的RGB圖像；圖49是示出了依照本公開一些方面的可在圖27的ISP流水處理邏輯中實現(xiàn)的RGB處理塊的一個實施例的更詳細視圖；圖50是示出了依照本公開一些方面的可在圖27的ISP流水處理邏輯中實現(xiàn)的YCbCr處理塊的一個實施例的更詳細視圖；圖51是依照本公開一些方面的在使用I平面格式的源緩沖器內(nèi)定義的用于亮度(Iuma)和色度(chroma)的活動源區(qū)域的圖解描繪；圖52是依照本公開一些方面的在使用2平面格式的源緩沖器內(nèi)定義的用于亮度和色度的活動源區(qū)域的圖解描繪；圖53是例示了依照一個實施例的可在如圖50所示的YCbCr處理塊中實現(xiàn)的圖像銳化邏輯的方框圖；圖54是例示了依照一個實施例的可在如圖50所示的YCbCr處理塊中實現(xiàn)的邊緣增強邏輯的方框圖；圖55是示出了依照本公開一些方面的色度衰減因子與銳化的亮度值之間的關(guān)系的圖；圖56是例示了依照一個實施例的可在如圖50所示的YCbCr處理塊中實現(xiàn)的圖像明亮度(brightness)、對比度(contrast)和顏色(BCC)調(diào)整邏輯的方框圖；以及圖57示出了在如圖56所示的BCC調(diào)整邏輯執(zhí)行顏色調(diào)整期間可以在定義各種色相(hue)角和飽和度(saturation)值的YCbCr顏色空間中應(yīng)用的色相和飽和度顏色輪(color wheel)。
具體實施例方式以下將描述本公開的一個或多個特定實施例。這些描述的實施例都僅是當(dāng)前公開的技術(shù)的示例。此外，為了提供這些實施例的簡明描述，可能不會在說明書中描述實際實現(xiàn)的全部特征。應(yīng)當(dāng)明了的是在任意這些實際實現(xiàn)的開發(fā)中，如同在任何工程或設(shè)計項目中一樣，都必須做出眾多特定于實現(xiàn)的決定以達到開發(fā)者的特定目的，例如順從因?qū)崿F(xiàn)的不同而變化的涉及系統(tǒng)的和涉及商業(yè)的限制。此外，應(yīng)當(dāng)明了的是這樣的開發(fā)努力可能是復(fù)雜且很耗時間的，但仍然是從本公開獲益的本領(lǐng)域技術(shù)人員的日常設(shè)計、生產(chǎn)和制造任務(wù)。當(dāng)介紹本公開的多個實施例的要素時，冠詞“a”、“an”和“the”旨在表示一個或多個要素。術(shù)語“包含”、“包括”和“具有”旨在是開放的，并且表示除了所列的要素之外還可能有額外的要素。此外，應(yīng)當(dāng)理解的是，對于本公開“一個實施例”或“一實施例”的提及并不旨在將其解釋為排除同樣具有所列舉的特征的其他實施例的存在。如以下將要描述的，本公開一般涉及用于處理經(jīng)由一個或多個圖像感測 設(shè)備獲取的圖像數(shù)據(jù)的技術(shù)。具體而言，本公開的特定方面可以涉及用于檢測和校正缺陷像素的技術(shù)，用于對原始圖像模式進行去馬賽克的技術(shù)，用于使用多尺度虛光蒙版來銳化亮度圖像的技術(shù)，以及用于應(yīng)用鏡頭明暗增益以校正鏡頭明暗不規(guī)則的技術(shù)。此外，應(yīng)當(dāng)理解的是這里公開的技術(shù)可被應(yīng)用到靜態(tài)圖像和運動圖像(例如視頻)這兩者，并且可被用于任何合適類型的成像應(yīng)用，例如數(shù)碼相機、具有集成數(shù)碼相機的電子設(shè)備、安全或視頻監(jiān)視系統(tǒng)、醫(yī)療成像系統(tǒng)等等。留意以上要點，圖I是例示電子設(shè)備10的一個示例的方框圖，所述電子設(shè)備10可以提供使用以上簡單提及的一個或多個圖像處理技術(shù)對圖像數(shù)據(jù)進行的處理。電子設(shè)備10可以是任何類型的電子設(shè)備，例如膝上或桌上型計算機、移動電話、數(shù)字媒體播放器等等，其被配置為接收和處理圖像數(shù)據(jù)，例如使用一個或多個圖像感測部件獲取的數(shù)據(jù)。僅作為示例，電子設(shè)備10可以是便攜式電子設(shè)備，例如可從加利福尼亞州庫比蒂諾的蘋果公司獲得的iPod .或iPhone 的模型。此外，電子設(shè)備io可以是桌上或膝上型計算機，例如可從蘋果公司獲得的MacBook 、MacBook Pro、MacBook Air > iMac %Mac Mini或Mac Pro 的模型。在另外的實施例中，電子設(shè)備io還可以是來自其他制造商的能夠獲取并處理圖像數(shù)據(jù)的電子設(shè)備的模型。 無關(guān)其形式(例如便攜式或非便攜式)，應(yīng)當(dāng)理解的是電子設(shè)備10可以提供使用以上簡要討論的一個或多個圖像處理技術(shù)對圖像數(shù)據(jù)進行的處理，這些技術(shù)可包括缺陷像素校正和/或檢測技術(shù)、鏡頭明暗校正技術(shù)、去馬賽克技術(shù)、或圖像銳化技術(shù)，等等。在某些實施例中，電子設(shè)備10可將這樣的圖像處理技術(shù)應(yīng)用到存儲在電子設(shè)備10的存儲器中的圖像數(shù)據(jù)。在其他實施例中，電子設(shè)備10可包括一個或多個被配置為獲得圖像數(shù)據(jù)的成像設(shè)備，例如集成的或外置的數(shù)碼相機，于是電子設(shè)備10可使用一個或多個以上提及的圖像處理技術(shù)來處理這些圖像數(shù)據(jù)。以下將在圖3-6中進一步討論示出電子設(shè)備10的便攜式和非便攜式實施例的實施例。如圖I所示，電子設(shè)備10可包括各種用于實現(xiàn)設(shè)備10的功能的內(nèi)置和/或外置部件。本領(lǐng)域技術(shù)人員可以理解如圖I所示的各種功能塊可包括硬件要素(包括電路)、軟件要素(包括存儲在計算機可讀介質(zhì)上的計算機代碼)或硬件和軟件要素這兩者的組合。例如，在當(dāng)前所不的實施例中，電子設(shè)備10可包括輸入/輸出(1/0)端口 12、輸入結(jié)構(gòu)14、一個或多個處理器16、存儲器設(shè)備18、非易失性存儲器20、(一個或多個)擴展卡22、聯(lián)網(wǎng)設(shè)備24、電源26和顯示器28。此外，電子設(shè)備10可包括一個或多個成像設(shè)備30 (例如數(shù)碼相機)以及圖像處理電路32。如下所要進一步討論的，圖像處理電路32可被配置為在處理圖像數(shù)據(jù)時執(zhí)行一個或多個以上討論的圖像處理技術(shù)。可以明了的是，可以從存儲器18和/或非易失性存儲設(shè)備20檢索或者可以使用成像設(shè)備30獲得供圖像處理電路32處理的圖像數(shù)據(jù)。在繼續(xù)之前，應(yīng)當(dāng)理解的是如圖I所示的設(shè)備10的系統(tǒng)方框圖旨在表示描述可能包括在該設(shè)備10中的各部件的高級控制框圖。也就是說，在如圖I所示的每個獨立元件之間的連接線并不是一定表示在設(shè)備10的各部件之間的數(shù)據(jù)流動或傳輸?shù)穆窂交蚍较颉嶋H上，如下所討論的，在某些實施例中，描繪的(一個或多個)處理器16可以包括多個處理器，例如主處理器(例如CPU)和專用圖像和/或視頻處理器。在這樣的實施例中，可主要由這些專用處理器來執(zhí)行對圖像數(shù)據(jù)的處理，有效地使得主處理器(CPU)免于裝載這樣的任務(wù)。關(guān)于圖I所示的每個元件，I/O端口 12可包括被配置為連接多種外置設(shè)備的端口，這些外置設(shè)備例如是電源、音頻輸出設(shè)備(例如耳機或頭戴受話器)、或其他電子設(shè)備(例如手持設(shè)備和/或計算機、打印機、投影儀、外置顯示器、調(diào)制解調(diào)器、塢站(dockingstation) 等等)。在一個實施例中，I/O端口 12可被配置為連接到外置成像設(shè)備，例如數(shù)碼相機，用以獲取可使用圖像處理電路32處理的圖像數(shù)據(jù)。I/O端口 12可以支持任何適合類型的接口，例如通用串行總線(USB)端口、串行連接端口、IEEE-1394 (FireWire)端口、以太網(wǎng)或調(diào)制解調(diào)器端口、和/或AC/DC電源連接端口。在某些實施例中，特定的I/O端口 12可被配置為提供多于一種功能。例如，在一個實施例中，I/O端口 12可包括蘋果公司專有的端口，其功能不僅在于方便在電子設(shè)備10和外部源之間進行數(shù)據(jù)傳輸，還將設(shè)備10耦合到電源充電接口，例如被設(shè)計為從墻壁插座提供電力的電源適配器，或者耦合到被配置為從諸如桌上或膝上型計算機的另一個電子設(shè)備吸取電力以用于對電源26 (其可包括一個或多個可充電電池)進行充電的接口電纜。以此方式，例如，取決于通過I/O端口 12被耦合到設(shè)備10的外置元件，I/O端口 12可被配置為具有數(shù)據(jù)傳輸端口和AC/DC電源連接端口的雙重功能。輸入結(jié)構(gòu)14可向(一個或多個)處理器16提供用戶輸入或反饋。例如，輸入結(jié)構(gòu)14可被配置為控制電子設(shè)備10的一個或多個功能，例如在電子設(shè)備10中運行的應(yīng)用。僅作為示例，輸入結(jié)構(gòu)14可包括按鈕、滑塊、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等，或以上這些的某些組合。在一個實施例中，輸入結(jié)構(gòu)14可以允許用戶導(dǎo)航在設(shè)備10上顯示的圖形用戶界面(⑶I)。此外，輸入結(jié)構(gòu)14可包括與顯示器28—起提供的觸摸敏感機構(gòu)。在這些實施例中，用戶可通過觸摸敏感機構(gòu)來選擇所顯示的界面元素或與之交互。輸入結(jié)構(gòu)14可包括多種設(shè)備、電路和路徑，通過這些將用戶的輸入或反饋提供給一個或多個處理器16。這樣的輸入結(jié)構(gòu)14可被配置為控制設(shè)備10的功能、在設(shè)備10上運行的應(yīng)用和/或連接到電子設(shè)備10或被電子設(shè)備10使用的任何接口或設(shè)備。例如，輸入結(jié)構(gòu)14可允許用戶導(dǎo)航顯示的用戶界面或應(yīng)用界面。輸入結(jié)構(gòu)14的示例可包括按鈕、滑塊、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等。在特定實施例中，輸入結(jié)構(gòu)14和顯示器28可被一并提供，例如“觸摸屏”的情況，籍此與顯示器28 —并提供觸摸敏感機構(gòu)。在這樣的實施例中，用戶可通過觸摸敏感機構(gòu)來選擇所顯示的界面元素或與之交互。以此方式，顯示的界面可提供交互功能，允許用戶通過觸摸顯示器28來導(dǎo)航顯示的界面。例如，利用輸入結(jié)構(gòu)14進行的用戶交互，例如與用戶交互或與顯示在顯示器28上的應(yīng)用界面交互，可生成指示用戶輸入的電信號。這些輸入信號可以通過合適的路徑(例如輸入集線器或數(shù)據(jù)總線)被路由到一個或多個處理器16以做進
一步處理。除了處理通過(一個或多個)輸入結(jié)構(gòu)14接收到的各種輸入信號之外，(一個或多個)處理器16還控制設(shè)備10的一般操作。例如，處理器16可提供處理能力以運行操作系統(tǒng)、程序、用戶和應(yīng)用界面、以及電子設(shè)備10的任何其他功能。(一個或多個)處理器16可包括一個或多個微處理器，例如一個或多個“通用”微處理器、一個或多個專用微處理器和/或特定于應(yīng)用的微處理器(ASIC)、或這些處理部件的組合。例如，(一個或多個)處理器16可包括一個或多個指令集(例如RISC)處理器，以及圖形處理器(GPU)、視頻處理器、音頻處理器和/或相關(guān)芯片組。將明了的是，(一個或多個)處理器16可耦合到一個或多個用于在設(shè)備10的各個部件之間傳輸數(shù)據(jù)和指令的數(shù)據(jù)總線。在特定實施例中，(一個或多個)處理器16可提供處理能力以在電子設(shè)備10中運行成像應(yīng)用，例如可從蘋果公司獲得的 Photo BoothW、 Apertu reW、 i丨*huto(K)成 Preview^ ,或由蘋果公司提供的“相機”和/或“照片”應(yīng)用，這些都是iPhone 的模型上可用的。將由(一個或多個)處理器16處理的指令或數(shù)據(jù)可被存儲在計算機可讀介質(zhì)中，例如存儲器設(shè)備18中。存儲器設(shè)備18可以被提供為易失性存儲器，例如隨機存取存儲器(RAM)，或非易失性存儲器，例如只讀存儲器(R0M)，或一個或多個RAM和ROM設(shè)備的組合。存儲器18可存儲多種信息并被用于各種用途。例如，存儲器18可存儲用于電子設(shè)備10的固件，例如基本輸入/輸出系統(tǒng)(BIOS)、操作系統(tǒng)、各種程序、應(yīng)用或可在電子設(shè)備10中上運行的任何其他例程，包括用戶界面功能、處理器功能等等。此外，在電子設(shè)備10的操作期間，存儲器18可被用來緩沖或高速緩存。例如，在一個實施例中，存儲器18包括一個或多個幀緩沖器，用以緩沖要被輸出到顯示器28的視頻數(shù)據(jù)。除了存儲器設(shè)備18，電子設(shè)備10還可包括非易失性存儲器20以用于持久存儲數(shù)據(jù)和/或指令。非易失性存儲器20可以包括閃存、硬盤驅(qū)動器或任何其他光學(xué)、磁和/或固態(tài)存儲介質(zhì)，或以上這些的組合。因此，盡管為了清楚的目的只在圖I中描繪了單個設(shè)備，但是應(yīng)當(dāng)理解的是(一個或多個)非易失性存儲器20可以包括一個或多個以上列出的與(一個或多個)處理器16 —起操作的存儲設(shè)備的組合。非易失性存儲器20可被用來存儲固件、數(shù)據(jù)文件、圖像數(shù)據(jù)、軟件程序和應(yīng)用、無線連接信息、個人信息、用戶偏好和任何其他合適的數(shù)據(jù)。依照本公開一些方面，在輸出到顯示器之前，可通過圖像處理電路32來處理存儲在非易失性存儲器20和/或存儲器設(shè)備18中的圖像數(shù)據(jù)。如圖I所示的實施例還可包括一個或多個卡槽或擴展槽。卡槽可被配置為接收擴展卡22，其可被用于增加電子設(shè)備10的功能，例如額外的存儲器、1/0功能或聯(lián)網(wǎng)能力。這樣的擴展卡22可通過任何類型的合適連接器被連接到設(shè)備上，并且可以相對于電子設(shè)備10的殼體而被內(nèi)部地或外部地訪問。例如，在一個實施例中，擴展卡22可以是閃存卡，例如安全數(shù)字(SD)卡、迷你或微SD、緊湊閃存卡等，或者可以是PCMCIA設(shè)備。此外，對于提供移動電話能力的電子設(shè)備10的實施例，擴展卡22可以是訂戶標(biāo)識模塊(SIM)卡。電子設(shè)備10還包括網(wǎng)絡(luò)設(shè)備24，其可以是通過無線802. 11標(biāo)準(zhǔn)或任何其他合適的聯(lián)網(wǎng)標(biāo)準(zhǔn)(例如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)，例如GSM演進的增強數(shù)據(jù)率(EDGE)網(wǎng)絡(luò)、3G數(shù)據(jù)網(wǎng)絡(luò)或因特網(wǎng))而提供網(wǎng)絡(luò)連接的網(wǎng)絡(luò)控制器或網(wǎng)絡(luò)接口卡(NIC)。在特定實施例中，、網(wǎng)絡(luò)設(shè)備24可以提供至在線數(shù)字媒體內(nèi)容提供商(例如可從蘋果公司獲得的imines 音樂服務(wù))的連接。
設(shè)備10的電源26可包括在非便攜和便攜設(shè)置下向設(shè)備10供電的能力。例如，在便攜設(shè)置下，設(shè)備10可包括一個或多個用于向設(shè)備10供電的電池，例如鋰離子電池?？梢酝ㄟ^將設(shè)備10連接到外部電源(例如墻壁插座)來對電池重新充電。在非便攜設(shè)置下，電源26可包括供電單元(PSU)，其被配置為從墻壁插座取得電力，并將所述電力分配給非便攜電子設(shè)備(例如桌上型計算系統(tǒng))的各個部件。顯示器28可被用于顯示由設(shè)備10生成的各種圖像，例如用于操作系統(tǒng)的⑶I，或由圖像處理電路32處理的圖像數(shù)據(jù)(包括靜止圖像和視頻數(shù)據(jù))，以下將對其進行進一步討論。如上所述，圖像數(shù)據(jù)可包括使用成像設(shè)備30獲取的圖像數(shù)據(jù)或從存儲器18和/或非易失性存儲器20檢索出的圖像數(shù)據(jù)。顯示器28可以是任何合適類型的顯示器，例如液晶顯示器(IXD)、等離子顯示器或有機發(fā)光二極管(OLED)顯示器。此外，如上所討論的，顯示器28可以具有可作為電子設(shè)備10的控制界面的一部分的、如上所述的觸摸敏感機構(gòu)(例如觸摸屏)。所例示的(一個或多個)成像設(shè)備30還可被提供為被配置以獲取靜態(tài)圖像和運動圖像(例如視頻)的數(shù)碼相機的形式。相機30可包括鏡頭和一個或多個被配置為捕捉光并將光轉(zhuǎn)換為電信號的圖像傳感器。僅作為示例，圖像傳感器可包括CMOS圖像傳感器(例如CMOS有源像素傳感器(APS))或CXD (電荷耦合器件)傳感器。一般來說，相機30中的圖像傳感器包括具有像素陣列的集成電路，其中每個像素包括一個用于感測光的光電檢測器。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，成像像素中的光電檢測器一般檢測通過相機鏡頭捕捉的光的強度。然而，光電檢測器一般無法自己檢測所捕捉的光的波長，因此，無法確定顏色信息。因此，圖像傳感器可進一步包括濾色器陣列(CFA)，其可覆蓋圖像傳感器的像素陣列或被置于像素陣列之上，以捕捉顏色信息。濾色器陣列可包括小型濾色器的陣列，每一個小型濾色器可以覆蓋圖像傳感器的一個相應(yīng)像素，并且按波長對捕捉的光進行濾波。因此，當(dāng)一并使用時，濾色器陣列和光電檢測器可提供關(guān)于通過相機所獲得的光的波長和強度信息，這可以表示所捕捉的圖像。在一個實施例中，濾色器陣列可包括拜耳濾色器陣列，其提供50%綠色元素，25%紅色元素和25%藍色元素的濾波器模式。例如，圖2示出了包括2個綠色元素(Gr和Gb)，I個紅色元素(R)和I個藍色元素(B)的拜耳CFA的2X2像素塊。因此，利用拜耳濾色器陣列的圖像傳感器可提供關(guān)于相機30在綠色、紅色和藍色波長處接收到的光的強度的信息，由此每個圖像像素僅記錄三種顏色(RGB)之一。被稱為“原始圖像數(shù)據(jù)”或“原始域”中的數(shù)據(jù)的這一信息隨后被使用一種或多種去馬賽克技術(shù)進行處理，由此將原始圖像數(shù)據(jù)轉(zhuǎn)換為全彩圖像，這一般是通過為每個像素內(nèi)插一組紅色、綠色和藍色值而實現(xiàn)的。如以下將描述的那樣，可由圖像處理電路32來執(zhí)行這樣的去馬賽克技術(shù)。如上所述，圖像處理電路32可提供各種圖像處理步驟，例如缺陷像素檢測/校正、鏡頭明暗校正、去馬賽克、以及圖像銳化、降噪、伽馬校正、圖像增強、顏色空間變換、圖像壓縮、色度亞采樣和圖像縮放操作等等。在一些實施例中，圖像處理電路32可包括多個子部件和/或離散的邏輯單元，其集合地形成用于執(zhí)行各個圖像處理步驟中的每一個步驟的圖像處理“流水線”?？梢允褂糜布?例如數(shù)字信號處理器或ASIC)或軟件，或通過硬件和軟件部件的組合來實現(xiàn)這些子部件。以下將更加詳細的描述可由圖像處理電路32提供的各種圖像處理操作，尤其是涉及缺陷像素檢測/校正、鏡頭明暗校正、去馬賽克和圖像銳化的那些處理操作。在繼續(xù)之前，應(yīng)當(dāng)注意的是雖然以下所討論的各種圖像處理技術(shù)的多個實施例可以利用拜耳CFA，但是當(dāng)前公開的技術(shù)并不限于此。實際上，本領(lǐng)域技術(shù)人員將明了此處提供的圖像處理技術(shù)可適用于任何適合類型的濾色器陣列，包括RGBW濾色器、CYGM濾色器
坐 寸o再次參考電子設(shè)備10,圖3-6例不了電子設(shè)備10可米用的各種形式。如上所述，電子設(shè)備10可采用計算機的形式，包括通常便攜的計算機(例如膝上型、筆記本和平板計算機)以及通常不便攜的計算機(例如桌上型計算機、工作站和/或服務(wù)器)，或其他類型的電子設(shè)備，例如手持便攜電子設(shè)備(例如數(shù)字媒體播放器或移動電話)。具體而言，圖3和圖4分別描繪了膝上型計算機40形式和桌上型計算機50形式的電子設(shè)備10。圖5和圖6分別示出了手持便攜設(shè)備60形式的電子設(shè)備10的前視圖和后視圖。如圖3所示，描繪的膝上型計算機40包括殼體42、顯示器28、1/0端口 12和輸入結(jié)構(gòu)14。輸入結(jié)構(gòu)14可包括與殼體42集成的鍵盤和觸摸板鼠標(biāo)。此外，輸入結(jié)構(gòu)14可包括多種可用于與計算機40交互(例如給計算機加電或啟動計算機)的其他按鈕和/或開關(guān)，以操作⑶I或在計算機40中運行的應(yīng)用，以及調(diào)整多種涉及計算機40操作的其他方面(例如音量、顯示器亮度等)。計算機40還可包括提供至其他設(shè)備的連接的多種I/O端口 12，如上所述,例如FireWire .或usb端口、高清多媒體接口(hdmi )端口或任何其他類型的適于連接到外部設(shè)備的端口。此外，計算機40可包括如以上圖I所示的網(wǎng)絡(luò)連接(例如網(wǎng)絡(luò)設(shè)備26)、存儲器(例如存儲器20)和存儲能力(例如存儲設(shè)備22)。另外，在所示的實施例中，膝上型計算機40可包括集成的成像設(shè)備30 (例如相機)。在另一個實施例中，膝上型計算機40可利用連接到一個或多個I/O端口 12的外置相機(例如外置USB相機或“攝像頭”)以作為集成相機30的替代或附加。例如，外置相機可以是可從蘋果公司得到的iSight 相機。不管集成的還是外置的，相機30可以提供圖像的捕捉和記錄。接著這些圖像可由用戶使用圖像觀看應(yīng)用來觀看，或者可以被其他應(yīng)用來使用，包括視頻會議應(yīng)用，例如iChat ,以及圖像編輯/觀看應(yīng)用，例如可從蘋果公司得到的 Photo Booth 、Aperture 、iPhoto 成previe'v和 9在特定實施例中，所描繪的膝上型計算機40可以是可從蘋果公司獲得的MacBook 、MacBook Pro,MacBook Air 或 Power B_k 的模型。圖4進一步例示了電子設(shè)備10被提供作為桌上型計算機50的一個實施例。將明了的是，桌上型計算機50可包括多種與由圖4所示的膝上型計算機40提供的大致類似的特征，但是也可能具有通常更大的整體形狀。如圖所示，桌上型計算機50可被裝入包括顯示器28和如圖I所示的方框圖中所討論的各種其他部件的外殼42中。另外，桌上型計算機50可包括通過一個或多個1/0端口(例如USB)耦合至該計算機50的、或能夠與該計算機50無線通信(例如通過RF、藍牙等)的外置鍵盤和鼠標(biāo)(輸入結(jié)構(gòu)14)。如上所述，桌上型計算機50還可包括可以是集成的或外置相機的成像設(shè)備30。在特定實施例中，所描繪的桌上型計算機50可以是可從蘋果公司獲得的iMae 、Mac mini或Mac Pro 的模型。如進一步所示，顯示器28可被配置為生成可被用戶觀看的各種圖像。例如，在計算機50的操作期間，顯示 器28可顯示圖形用戶界面(“⑶1”)52以允許用戶與在計算機50中運行的操作系統(tǒng)和/或應(yīng)用進行交互。GUI 52可包括各種層、窗口、屏幕、模板或可在整個或部分顯示設(shè)備28上顯示的其他圖形元素。例如，在所描繪的實施例中，操作系統(tǒng)GUI52可包括各種圖形圖標(biāo)54，每一種圖標(biāo)可對應(yīng)于可基于檢測到用戶的選擇(例如通過鍵盤/鼠標(biāo)或觸摸屏輸入)被打開或執(zhí)行的各種應(yīng)用。圖標(biāo)54可被顯示在?？繖?6中或在屏幕上顯不的一個或多個圖形窗口兀素58內(nèi)。在一些實施例中，對圖標(biāo)54的選擇可導(dǎo)致分級導(dǎo)航處理，使得對圖標(biāo)54的選擇導(dǎo)致一個屏幕或打開另一個包括一個或多個附加圖標(biāo)或其他⑶I元素的圖形窗口。僅作為示例，圖4顯示的操作系統(tǒng)GUI 52可以是來自可從蘋果公司獲得的Mac OS .操作系統(tǒng)的一個版本。繼續(xù)至圖5和6，電子設(shè)備10進一步被例示為便攜手持電子設(shè)備60的形式，其可以是可從蘋果公司獲得的iPod 或iPhone 的模型。在所描繪的實施例中，手持設(shè)備60包括外殼42，其可以起到保護內(nèi)部部件免于物理損傷同時屏蔽電磁干擾的作用。外殼42可由任何合適的材料或這些材料的組合來形成，例如塑料、金屬或復(fù)合材料，并且能夠允許特定頻率的電磁輻射(例如無線聯(lián)網(wǎng)信號)穿透以到達如圖5所示的可置于外殼42內(nèi)的無線通信電路(例如網(wǎng)絡(luò)設(shè)備24)。外殼42還包括各種用戶輸入結(jié)構(gòu)14，通過這些輸入結(jié)構(gòu)14用戶可與手持設(shè)備60交互。例如，每個輸入結(jié)構(gòu)14可被配置為在被按壓或啟動時控制一個或多個相應(yīng)的設(shè)備功能。作為示例，一個或多個輸入結(jié)構(gòu)14可被配置為調(diào)用“home”屏幕(主屏幕)42或菜單以便顯示，被配置為在睡眠、喚醒或開機/關(guān)機模式之間切換，被配置為使蜂窩電話應(yīng)用的鈴聲靜音，被配置為增加或減小音量輸出等等。應(yīng)當(dāng)理解的是所例示的輸入結(jié)構(gòu)14僅是示例性的，并且手持設(shè)備60可包括任意數(shù)量的合適的用戶輸入結(jié)構(gòu)，其可以具有各種形式，包括按鈕、開關(guān)、按鍵、旋鈕、滾輪等等。如圖5所示，手持設(shè)備60可包括各種I/O端口 12。例如，所描繪的I/O端口 12可包括用于傳輸和接收數(shù)據(jù)文件或用于給電源26充電的專有連接端口 12a，和用于將設(shè)備60連接到音頻輸出設(shè)備(例如頭戴式耳機或揚聲器)的音頻連接端口 12b。此外，在手持設(shè)備60提供移動電話功能的實施例中，設(shè)備60可包括用于接收訂戶標(biāo)識模塊(SIM)卡(例如擴展卡22)的I/O端口 12c。顯示設(shè)備28可以是IXD、OLED或任何適合類型的顯示器，其可以顯示由手持設(shè)備60生成的各種圖像。例如，顯示器28可以顯示向用戶提供關(guān)于手持設(shè)備60的一個或多個狀態(tài)(例如電源狀態(tài)、信號強度、外置設(shè)備連接等)的反饋的各種系統(tǒng)指示符64。參考以上圖4所討論的，顯示器還可顯示⑶I 52以允許用戶與設(shè)備60交互。⑶I 52可以包括圖形元素，例如圖標(biāo)54，其可以對應(yīng)于基于檢測到用戶對相應(yīng)圖標(biāo)54的選擇而打開或執(zhí)行的各種應(yīng)用。作為示例，圖標(biāo)54之一可以表示可與相機30 (如圖5中的虛線所示)一并使用以獲取圖像的相機應(yīng)用66。簡單地參考圖6，例示了在圖5中所描繪的手持電子設(shè)備60的后視圖，其示出了相機30被集成于殼體42且位于手持設(shè)備60背面。如上所述，用相機30獲得的圖像數(shù)據(jù)可使用圖像處理電路32進行處理，所述圖像處理電路32可以包括硬件(例如位于外殼42內(nèi)部)和/或存儲在設(shè)備60的一個或多個存儲設(shè)備(例如存儲器18或非易失性存儲器20)中的軟件。使用相機應(yīng)用66和相機30獲得的圖像可被存儲到設(shè)備60 (例如在存儲設(shè)備20中)，并且可使用照片觀看應(yīng)用68在稍后觀看這些圖像。手持設(shè)備60還可包括各種音頻輸入和輸出元件。例如，一般地由參考標(biāo)記70所描繪的音頻輸入/輸出元件可以包括輸入接收器，例如一個或多個麥克風(fēng)。例如，在手持設(shè)備60包括蜂窩電話功能的情況下，輸入接收器可被配置為接收用戶音頻輸入，例如用戶語音。此外，音頻輸入/輸出元件70可包括一個或多個輸出發(fā)射器。這些輸出發(fā)射器可包括一個或多個揚聲器，其可以例如在使用媒體播放器應(yīng)用72回放音樂數(shù)據(jù)時起到將音頻信號傳送給用戶的作用。此外，在手持設(shè)備60包括蜂窩電話應(yīng)用的實施例中，如圖5所示，還可提供附加的音頻輸出發(fā)射器74。類似于音頻輸入/輸出兀件70的輸出發(fā)射器,輸出發(fā)射器74也可包括一個或多個被配置為將音頻信號(例如在電話呼叫期間接收到的語音數(shù)據(jù))傳送至用戶的揚聲器。因此，音頻輸入/ 輸出元件70和74可聯(lián)合地操作以作為電話的音頻接收和發(fā)射元件?，F(xiàn)已提供了一些關(guān)于電子設(shè)備10可采用的多種形式的背景，于是本公開將關(guān)注于圖I所描繪的圖像處理電路32。如上所述，圖像處理電路32可使用硬件和/或軟件部件來實現(xiàn)，并且可以包括定義圖像信號處理(ISP)流水線的各種處理單元。具體而言，以下討論會關(guān)注在本公開中闡述的圖像處理技術(shù)的各方面，尤其是涉及缺陷像素檢測/校正技術(shù)、鏡頭明暗校正技術(shù)、去馬賽克技術(shù)和圖像銳化技術(shù)的那些方面?，F(xiàn)在參考圖7，例示了依照當(dāng)前公開的技術(shù)的一個實施例的描繪了可實現(xiàn)為圖像處理電路32的一部分的多個功能性部件的簡化頂層方框圖。具體地，圖7旨在依照至少一個實施例來例示圖像數(shù)據(jù)可如何流過圖像處理電路32。為了提供對圖像處理電路32的一般概觀，這里參考圖7提供了這些功能性部件如何操作以處理圖像數(shù)據(jù)的一般描述，同時，后面將進一步提供所示的功能性部件的每一個及其各自的子部件的更具體的描述。參考所示的實施例，圖像處理電路32可包括圖像信號處理(ISP)前端處理邏輯80、ISP流水處理邏輯82和控制邏輯84。由成像設(shè)備30捕捉的圖像數(shù)據(jù)首先由ISP前端邏輯80處理，并對其進行分析以獲得可被用于確定ISP流水邏輯82和/或成像設(shè)備30的一個或多個控制參數(shù)的圖像統(tǒng)計信息。ISP前端邏輯80可被配置為從圖像傳感器輸入信號獲得圖像數(shù)據(jù)。例如，如圖7所示，成像設(shè)備30可包括具有一個或多個鏡頭88和(一個或多個)圖像傳感器90的相機。如上所述，(一個或多個)圖像傳感器90可以包括濾色器陣列(例如拜耳濾波器)，并且因此可以提供由圖像傳感器90的每個成像像素獲得的光強和波長信息，從而提供可由ISP前端邏輯80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可由傳感器接口 94接收，隨后例如基于傳感器接口類型，傳感器接口 94可將原始圖像數(shù)據(jù)96提供給ISP前端邏輯80。作為示例，傳感器接口 94可利用標(biāo)準(zhǔn)移動成像架構(gòu)(SMIA)接口或移動工業(yè)處理器接口(MIPI)，或它們的某些組合。在特定實施例中，ISP前端邏輯80可在其自身的時鐘域內(nèi)操作，并且可以向傳感器接口 94提供異步接口以支持具有不同大小和定時需求的圖像傳感器。原始圖像數(shù)據(jù)96可被提供給ISP前端邏輯80，并以多種格式被逐像素地處理。例如，每個圖像像素可具有8，10，12或14位的位深。ISP前端邏輯80可對原始圖像數(shù)據(jù)96執(zhí)行一個或多個圖像處理操作，并收集關(guān)于圖像數(shù)據(jù)96的統(tǒng)計數(shù)據(jù)?？梢砸韵嗤幕虿煌奈簧罹葋韴?zhí)行圖像處理操作和統(tǒng)計數(shù)據(jù)的收集。例如，在一個實施例中，可以以14位精度來執(zhí)行原始圖像像素數(shù)據(jù)96的處理。在這些實施例中，由ISP前端邏輯80接收到的具有小于14位(例如8位，10位，12位)位深的原始像素數(shù)據(jù)被上采樣至14位以用于圖像處理目的。在另一個實施例中，可以以8位精度進行統(tǒng)計處理，因此具有更高位深的原始像素數(shù)據(jù)可被下采樣至8位格式用以統(tǒng)計目的?？梢悦髁说氖?，下采樣至8位可降低硬件大小(例如面積)并且還能減少用于統(tǒng)計數(shù)據(jù)的處理/計算復(fù)雜度。此外，原始圖像數(shù)據(jù)可被空間平均以允許統(tǒng)計數(shù)據(jù)對噪聲更為魯棒。此外，如圖7所示，ISP前端邏輯80還可從存儲器108接收像素數(shù)據(jù)。例如，如參考標(biāo)記98所示，原始像素數(shù)據(jù)可從傳感器接口 94被發(fā)送到存儲器108。如參考標(biāo)記100所示，駐留在存儲器108中的原始像素數(shù)據(jù)隨后可被提供給ISP前端邏輯80以供處理。存儲器108可以是存儲設(shè)備20、存儲器設(shè)備18的一部分，或者可以是電子設(shè)備10內(nèi)的單獨的專用存儲器并且可包括直接存儲器訪問(DMA)特征。此外，在特定實施例中，ISP前端邏輯80可在其本身的時鐘域內(nèi)操作，并且向傳感器接口 94提供異步接口以支持不同大小并且具有不同定時需求的傳感器?！┙邮盏皆紙D像數(shù)據(jù)96 (從傳感器接口 94)或100 (從存儲器108)，ISP前端 邏輯80可以執(zhí)行一個或多個圖像處理操作，例如時域濾波和/或像素合并補償濾波。經(jīng)處理的圖像數(shù)據(jù)隨后可被提供給ISP流水邏輯82 (輸出信號109)以便在被顯示(例如在顯示設(shè)備28上)之前進行其他處理，或者可被發(fā)送到存儲器(輸出信號110)。ISP流水邏輯82直接從ISP前端邏輯80或者從存儲器108 (輸入信號112)接收“前端”經(jīng)處理的數(shù)據(jù)，并且提供對原始域中以及RGB和YCbCr顏色空間中的圖像數(shù)據(jù)的其他處理。由ISP流水邏輯82處理后的圖像數(shù)據(jù)隨后可被輸出(信號114)到顯示器28以供用戶觀看和/或可由圖形引擎或GUP進行進一步處理。此外，ISP流水邏輯82的輸出可被發(fā)送到存儲器108 (信號115)，并且顯示器28可從在特定實施例中被配置為實現(xiàn)一個或多個幀緩沖器的存儲器108(信號116)讀取圖像數(shù)據(jù)。此外，在一些實施方式中，ISP流水邏輯82的輸出還可被提供給壓縮引擎118 (信號117)以用于在由顯示器28讀取(信號119)之前編碼圖像數(shù)據(jù)。作為示例，壓縮引擎或“編碼器”118可以是用于編碼靜態(tài)圖像的JPEG壓縮引擎，或用于編碼視頻圖像的札264壓縮引擎，或它們的組合。后面將參考圖27-57來更加詳細的討論可在ISP流水邏輯82中提供的關(guān)于圖像處理操作的附加信息。同樣的，應(yīng)當(dāng)注意的是ISP流水邏輯82還可從存儲器108接收原始圖像數(shù)據(jù)，其被描述為輸入信號112。由ISP前端邏輯80確定的統(tǒng)計數(shù)據(jù)102可被提供給控制邏輯單元84。統(tǒng)計數(shù)據(jù)102可包括，例如關(guān)于自動曝光、自動白平衡、自動對焦、閃爍檢測、黑度補償(BLC)、鏡頭明暗校正等的圖像傳感器統(tǒng)計信息?？刂七壿?4可包括處理器和/或微控制器，其被配置為執(zhí)行一個或多個例程(例如固件)，所述例程可被配置為基于接收到的統(tǒng)計數(shù)據(jù)102來確定用于成像設(shè)備30的控制參數(shù)104和用于ISP流水處理邏輯82的控制參數(shù)106。僅作為示例，控制參數(shù)104可包括傳感器控制參數(shù)(例如增益、曝光控制的累積時間)、相機閃光燈控制參數(shù)、鏡頭控制參數(shù)(例如對焦的對焦長度或變焦的焦距)或這些參數(shù)的組合。ISP控制參數(shù)106可包括用于自動白平衡和顏色調(diào)整(例如在RGB處理期間)的增益等級和顏色校正矩陣(CCM)系數(shù)，以及如下所討論的可基于白點平衡參數(shù)而確定的鏡頭明暗校正參數(shù)。在一些實施例中，除了分析統(tǒng)計數(shù)據(jù)102之外，控制邏輯84還可分析可存儲在電子設(shè)備10上(例如存儲器18或存儲器20內(nèi))的歷史統(tǒng)計信息。由于此處所示的圖像處理電路32的總體復(fù)雜設(shè)計，如下所示，將關(guān)于ISP前端邏輯80和ISP流水處理邏輯82的討論劃分為單獨的部分會是有益的。具體而言，本申請的圖8至26可涉及ISP前端邏輯80的多個實施例和各方面的討論，而本申請的圖27至57可涉及ISP流水處理邏輯82的多個實施例和各方面的討論。ISP前端處理邏輯圖8是示出了依照一個實施例的可在ISP前端邏輯80中實現(xiàn)的功能性邏輯塊的更詳細方框圖?；诔上裨O(shè)備30和/或傳感器接口 94的構(gòu)造，如圖7所示，可由一個或多個圖像傳感器90將原始圖像數(shù)據(jù)提供給ISP前端邏輯80。在所描繪的實施例中，可通過第一圖像傳感器90a (傳感器0)和第二圖像傳感器90b (傳感器I)將原始圖像數(shù)據(jù)提供給ISP前端邏輯80。如圖所示，圖像傳感器90a和90b可分別提供原始圖像數(shù)據(jù)作為信號SifO和Sifl。圖像傳感器90a和90b中的每一個可與相應(yīng)的統(tǒng)計處理單元120和122相關(guān)聯(lián)。進一步地，應(yīng)當(dāng)注意，原始圖像數(shù)據(jù)SifO和Sifl可直接提供給它們相應(yīng)的處理單元120和122，或者可以存儲在或?qū)懭氪鎯ζ?08中并隨后分別作為信號SifInO和SifInl被檢索。因而，ISP前端邏輯80可包括選擇邏輯124，選擇邏輯124可以向統(tǒng)計處理單元120提供表示由傳感器0(90a)捕捉的原始圖像數(shù)據(jù)的SifO或SifInO信號，并且，ISP前端邏輯80還可以包括選擇邏輯126，選擇邏輯126可以向統(tǒng)計處理單元122提供表示由傳感器I (90b)捕捉的原始圖像數(shù)據(jù)的Sifl或SifInl信號。每一個統(tǒng)計處理單元120和122可確定通過分析原始圖像傳感器數(shù)據(jù)所獲得的各種統(tǒng)計數(shù)據(jù)，并且可以確定相應(yīng)的統(tǒng)計信息集合，如輸出信號StatsO和Statsl所示。如上所述,統(tǒng)計數(shù)據(jù)(StatsO和Statsl)可被提供給控制邏輯84以用于各控制參數(shù)的確定，這些控制參數(shù)可被用于操作成像設(shè)備30和/或ISP流水處理邏輯82。除了統(tǒng)計處理單元120和122，ISP前端邏輯80可進一步包括像素處理單元130。像素處理單元130可逐像素地對原始圖像數(shù)據(jù)執(zhí)行各種圖像處理操作。如所示的，通過選擇邏輯132，像素處理單元130可接收原始圖像信號SifO (來自傳感器0)或Sifl (來自傳感器I )，或者可以接收來自存儲器108的原始圖像數(shù)據(jù)FEProcIn。如同可以明了的，可由任何適合類型的邏輯來提供圖8所示的選擇邏輯塊(120、122和132)，例如響應(yīng)于控制信號而選擇多個輸入信號中的一個的多路復(fù)用器。在執(zhí)行以下將進一步討論的像素處理操作時，F(xiàn)EPrOC130還可接收和輸出多種信號(例如可表示在時域濾波期間使用的運動歷史和亮度數(shù)據(jù)的Rin、Hin、Hout和Yout)。然后，像素處理單元130的輸出109 (FEProcOut)可諸如通過一個或多個先進先出(FIFO)隊列被轉(zhuǎn)發(fā)到ISP流水邏輯82，或者可被發(fā)送到存儲器108。在繼續(xù)圖8的ISP前端邏輯80中描繪的統(tǒng)計處理和像素處理操作的更詳細描述之前，相信關(guān)于各種ISP幀區(qū)域的定義的簡要介紹會有助于更好的理解本技術(shù)方案。帶著這樣的想法，圖9例示了在圖像源幀內(nèi)定義的各種幀區(qū)域。提供給圖像處理電路32的源幀的格式可以使用以上所述的分塊或線性尋址模式，并且可利用8、10、12或14位精度的像素格式。如圖9所示的圖像源幀150可包括傳感器幀區(qū)域152、原始幀區(qū)域154和活動區(qū)域156。傳感器巾貞152 一般是圖像傳感器90可以提供給圖像處理電路32的最大巾貞大小。原始幀區(qū)域154可被定義為傳感器幀152的被發(fā)送到ISP前端處理邏輯80的區(qū)域?；顒訁^(qū)域256可被定義為源幀150的一部分，其是典型地位于原始幀區(qū)域156內(nèi)并對其進行具體、圖像處理操作的那部分。依照本技術(shù)的實施例，對于不同的圖像處理操作，活動區(qū)域156可以相同或不同。依照本技術(shù)的一些方面，ISP前端邏輯80僅接收原始幀154。因此，出于本討論的目的，用于ISP前端處理邏輯80的全局巾貞大小可假設(shè)為由寬158和高160確定的原始巾貞大小。在一些實施例中，可以通過控制邏輯84確定和/或保存從傳感器幀152到原始幀154的邊界偏移量。例如，控制邏輯84可包括基于輸入?yún)?shù)來確定原始幀區(qū)域154的固件，所述輸入?yún)?shù)諸如是所指定的相對于傳感器巾貞152的X偏移量162和y偏移量164。此外,在一些情況下，在ISP前端邏輯80或ISP流水邏輯82內(nèi)的處理單元可具有預(yù)定義的活動區(qū)域，使得在原始幀內(nèi)但在活動區(qū)域156外的像素將不被處理，即，保持不變。例如，可基于相對于原始幀154的X偏移量170和y偏移量172來定義用于具體處理單元的具有寬166和高168的活動區(qū)域156。此外，對于活動區(qū)域沒有被具體定義的情況，圖像處理 電路32的一個實施例可以假設(shè)活動區(qū)域156與原始幀154相同(例如X偏移量170和y偏移量172都等于O)。因此，為了對圖像數(shù)據(jù)進行圖像處理操作，關(guān)于原始幀154或活動區(qū)域156的邊界，可以定義邊界條件。帶著這樣的想法并參考圖10，例示了依照本技術(shù)一個實施例的ISP前端像素處理邏輯130 (之前在圖8中討論了)的更詳細視圖。如圖所示，ISP前端像素處理邏輯130包括時域濾波器180和像素合并補償濾波器182。時域濾波器180可接收輸入圖像信號SifO、Sifl或FEProcIn中的一個,并且可在執(zhí)行任何附加處理之前對原始像素數(shù)據(jù)進行操作。例如，時域濾波器180可首先處理圖像數(shù)據(jù)以通過在時間方向上對圖像幀進行平均而降低噪聲。時域濾波器180可以是基于運動和明亮度特征而像素自適應(yīng)的。例如，當(dāng)像素運動較大時，可降低濾波強度以避免得到的經(jīng)處理的圖像中出現(xiàn)“拖尾”或“重影偽像”，反之當(dāng)檢測到輕微運動或無運動時，可增加濾波強度。此外，還可基于明亮度數(shù)據(jù)(例如“亮度”)來調(diào)整濾波強度。例如，隨著圖像明亮度增加，濾波偽影變得更容易被人眼察覺。因此，當(dāng)像素具有較高明亮度水平時應(yīng)當(dāng)進一步降低濾波強度。在應(yīng)用時域濾波時，時域濾波器180可接收可來自于前一經(jīng)濾波的幀或初始幀的參考像素數(shù)據(jù)(Rin)和運動歷史輸入數(shù)據(jù)(Hin)。使用這些參數(shù)，時域濾波器180可提供運動歷史輸出數(shù)據(jù)(Hout)和經(jīng)濾波的像素輸出(Yout)。接著經(jīng)濾波的像素輸出Yout被傳遞到像素合并補償濾波器182，后者可被配置為對經(jīng)濾波的像素輸出數(shù)據(jù)Yout執(zhí)行一個或多個縮放操作以產(chǎn)生輸出信號FEProcOut。接著，經(jīng)處理的像素數(shù)據(jù)FEProcOut可被轉(zhuǎn)發(fā)至如上所述的ISP流水處理邏輯82。參考圖11，例示了根據(jù)一個實施例描繪的可由圖10所示的時域濾波器執(zhí)行的時域濾波處理190的處理框圖。時域濾波器180可包括2抽頭濾波器，其中濾波器系數(shù)可至少部分基于運動和明亮度數(shù)據(jù)而逐像素地進行自適應(yīng)調(diào)整。例如，可將具有表示時間值的變量“t”的輸入像素x(t)與在前一經(jīng)濾波的幀或前一初始幀中的參考像素r(t-l)作比較，以生成在可包含濾波器系數(shù)的運動歷史表(M)192中的運動索引查找。此外，基于運動歷史輸入數(shù)據(jù)h(t-l)，可以確定對應(yīng)于當(dāng)前輸入像素x(t)的運動歷史輸出h(t)?？苫谶\動增量d(j，i, t)來確定運動歷史輸出h(t)和濾波器系數(shù)K，其中(j，i)表示當(dāng)前像素x(j，i，t)的空間位置的坐標(biāo)?？赏ㄟ^確定對于具有相同顏色的水平并置的三個像素的初始和參考像素之間的三個絕對增量的最大值來計算運動增量d(j，i, t)。例如，簡單參考圖12，例示了對應(yīng)于初始輸入像素206、208和210的三個并置參考像素200、202和204的空間位置。在一個實施例中，可使用以下的公式基于這些初始和參考像素來計
算運動增量d(j，i，t) = max3 [abs (x (j, i_2, t) _r (j, i_2, t_l))，(abs(x(j, i, t)-r(j, i, t-1))，(I)(abs(x(j, i+2, t)-r(j, i+2, t-1))]
參考回圖11，一旦確定了運動增量值，可以通過將用于當(dāng)前像素(例如在空間位置(j, i))的運動增量d(t)與運動歷史輸入h(t-l)相加來計算可被用來從運動表(M) 192中選擇濾波器系數(shù)K的運動索引查找。例如，可通過以下等式來確定濾波器系數(shù)K :K=M[d(j, i, t)+h(j, i, t-1)](2)此外，可使用以下公式來確定運動歷史輸出h(t)h(j, i, t)=d(j, i, t) +(I-K) Xh(j, i, t~l)(3)接著，可以使用當(dāng)前輸入像素x(t)的明亮度來生成亮度表(L) 194內(nèi)的亮度索引查找。在一個實施例中，亮度表可包括可位于0和I之間且可基于亮度索引而被選擇的衰減因子?？赏ㄟ^將第一濾波器系數(shù)K乘上亮度衰減因子來計算第二濾波器系數(shù)K’，如以下等式所示K' =KXL[x(j, i, t) ](4)所確定的值K’隨后可被用作時域濾波器180的濾波系數(shù)。如上所述，時域濾波器180可以是2抽頭濾波器。此外，時域濾波器180可被配置為使用前一經(jīng)濾波的幀的無限脈沖響應(yīng)(IIR)濾波器，或使用前一初始幀的有限脈沖響應(yīng)(FIR)濾波器。時域濾波器180可以使用當(dāng)前輸入像素x(t)、參考像素r (t-1)和濾波器系數(shù)K’通過以下公式來計算經(jīng)濾波的輸出像素y(t) (Yout)y (j, i, t) =r (j, i, t-1) +K' (x (j, i, t) ~r (j, i, t-1)) (5)如上所討論的，可逐像素地執(zhí)行如圖11所示的時域濾波處理190。在一個實施例中，可以對于所有顏色分量(例如R、G和B)使用相同的運動表M和亮度表L。此外，一些實施例可提供旁路機制，其中可以例如響應(yīng)于來自控制邏輯84的控制信號而旁路時域濾波。隨后可將時域濾波器180的輸出發(fā)送到像素合并補償濾波器(BCF)182，后者可處理圖像像素以補償顏色樣本的非線性分布，使得隨后在ISP流水邏輯82中的依賴于顏色樣本的線性分布的圖像處理操作(例如去馬賽克等)能夠正確運行。此外，BCF 182還可通過應(yīng)用一個或多個縮放操作，諸如垂直和/或水平縮放，來處理像素數(shù)據(jù)。圖13示出了依照一個公開的實施例的可包括縮放邏輯214和微分分析器216的像素合并補償濾波器182的框圖，并且圖14示出了可用于執(zhí)行縮放操作的處理220。如圖13所示，縮放邏輯214可產(chǎn)生輸出FEProc0ut( 109)，如上所述的，F(xiàn)EProcOut
(109)可被轉(zhuǎn)發(fā)到ISP流水邏輯82以供其它處理，下面將對此進行進一步討論。在一個實施例中，可使用一個或多個多抽頭多相濾波器來執(zhí)行由BCF 182的執(zhí)行的(一個或多個)縮放操作，該多抽頭多相濾波器可從源圖像中選擇像素，將每個像素乘以加權(quán)因子，然后計算像素值的總和以形成目的像素。應(yīng)當(dāng)理解，縮放操作中所使用的像素的選擇可至少部分取決于當(dāng)前像素位置和濾波器提供的抽頭數(shù)量。此外，濾波操作可以使用相同顏色的像素對每個顏色分量進行，并且加權(quán)因子(或系數(shù))可以從查找表獲得并基于當(dāng)前的像素間分?jǐn)?shù)位置來確定。
在所描繪的實施例中，微分分析器216可以是數(shù)字微分分析器(DDA)，并且可以被配置為在縮放操作期間控制當(dāng)前像素位置。僅作為示例，DDA 216可被提供為32位數(shù)據(jù)寄存器，其包含具有12位整數(shù)部分和20位分?jǐn)?shù)部分的二進制補碼定點數(shù)。12位整數(shù)部分可被用于確定當(dāng)前像素位置。分?jǐn)?shù)部分被用作到系數(shù)表中的索引。在一個實施例中，垂直和水平縮放部件可利用8深度系數(shù)表，由此20位分?jǐn)?shù)部分的3個高位被用于索引。為了提供基于32位DDA寄存器(DDA[31:0])的例子，當(dāng)前中心源像素位置(currPixel)可由12位整數(shù)部分DDA[21:20]來定義，并且如果下一位DDA[19]為I則可以向上取整(+1)。然后，與currPixel鄰近的像素的源像素值可以根據(jù)濾波器提供的抽頭數(shù)量來獲得。例如，在一個實施例中，垂直縮放可以用3抽頭多相濾波器來執(zhí)行，從而currPixel每一側(cè)的具有相同顏色的一個像素被選擇(例如，-1,0, +1)，而水平縮放可以用5抽頭多相濾波器來執(zhí)行，其中currPixel每一側(cè)的具有相同顏色的兩個像素被選擇(例如，-2，-1，0，+1，+2)。進一步地，每個抽頭可具有其自己相應(yīng)的系數(shù)表。因而，可以為3抽頭垂直縮放濾波器提供三個8深度表，并且可以為5抽頭水平縮放濾波器提供五個8深度表。當(dāng)前系數(shù)索引(currlndex)可以由DDA[19:16](分?jǐn)?shù)部分DDA[19:0]的3個高位)來定義，并且如果下一位DDA[15]為I則可以向上取整(+1)。因此，在BCF 182中發(fā)生的濾波處理可包括獲取在中心像素(currPixel)周圍的源像素值，并將它們乘以利用currlndex從表中訪問得到的合適的系數(shù)。一旦完成了針對給定像素的濾波處理，步進值(DDAst印)可被加到DDA 216以確定下一像素的位置，并且可以為該隨后的像素重復(fù)濾波/縮放操作。這進一步由圖14中說明的處理220示出。例如，在步驟222開始，DDA 216被初始化并且當(dāng)前像素位置被識別。如上面所討論的，當(dāng)DDA216包括32位寄存器以用于存儲二進制補碼定點數(shù)時，當(dāng)前像素位置可以由寄存器數(shù)據(jù)的高12位(整數(shù)部分)來指定。在步驟224，為垂直和水平縮放二者執(zhí)行多抽頭濾波。例如，假設(shè)分別為垂直和水平濾波使用3抽頭和5抽頭多相濾波器，并且假設(shè)圖像傳感器90使用拜耳顏色濾波器模式(圖2)，則垂直縮放部件可包括四個分開的3抽頭多相濾波器，各自用于一個顏色分量Gr、R、B和Gb。每個3抽頭濾波器可使用一個DDA來控制當(dāng)前中心像素的步進和用于系數(shù)的索弓I。同樣，水平縮放部件可包括四個分開的5抽頭多相濾波器，各自用于一個顏色分量Gr、R、B和Gb。每個5抽頭濾波器可使用一個DDA來控制當(dāng)前中心像素的步進和用于系數(shù)的索弓I。對于邊界的情況，水平和垂直濾波處理中所使用的像素可取決于由DDA所確立的當(dāng)前像素的位置。例如,如果DDA值表明當(dāng)前像素(currPixel)靠近幀邊界，從而濾波器所需的源像素中的一個或多個位于邊界之外，則可以重復(fù)邊界像素。最后，如步驟226所示，一旦針對給定當(dāng)前像素(currPixel)的垂直和水平縮放操作已經(jīng)完成，DDA 216可步進到下一像素的位置，并且處理220可返回步驟224以便對下一像素執(zhí)行垂直和水平縮放。如上所述的，BCF 182的輸出(其可以是輸出FEProcOut (109))可被轉(zhuǎn)發(fā)到ISP流水處理邏輯82以供其他處理。然而，在將該討論的焦點轉(zhuǎn)移到ISP流水處理邏輯82之前，首先將給出對可在ISP前端邏輯80中實現(xiàn)的統(tǒng)計處理單元(例如122和124)可提供的各種功能的更詳細描述。
重新參考統(tǒng)計處理單元120和122的一般描述，這些單元可被配置為收集關(guān)于捕捉并提供原始圖像信號(SifO和Sifl)的圖像傳感器的各種統(tǒng)計信息，例如關(guān)于自動曝光、自動白平衡、自動對焦、閃 爍檢測、黑度補償和鏡頭明暗校正等的統(tǒng)計信息。因此，統(tǒng)計處理單元120和122首先可向它們各自的輸入信號SifO (來自傳感器0)和Sifl (來自傳感器I)應(yīng)用一個或多個圖像處理操作。例如，參考圖15，例示了依照一個實施例的與傳感器0 (90a)相關(guān)聯(lián)的統(tǒng)計處理單元120的更詳細方框圖視圖。如圖所示，統(tǒng)計處理單元120可包括以下功能塊缺陷像素檢測和校正邏輯230、黑度補償(BLC)邏輯232、鏡頭明暗校正邏輯234、逆BLC邏輯236和統(tǒng)計信息收集邏輯238。以下將討論這些功能塊的每一個。此外，應(yīng)當(dāng)理解的是可以通過類似的方式來實現(xiàn)與傳感器I (90b)相關(guān)聯(lián)的統(tǒng)計處理單元122。首先，通過前端缺陷像素校正邏輯230來接收選擇邏輯124的輸出(SifO或SiflnO)。將明了的是，“缺陷像素”可以理解為在圖像傳感器90內(nèi)的無法準(zhǔn)確感應(yīng)光水平的成像像素。缺陷像素可歸咎于一些因素，并且其可包括“燥點(hot pixel)”(或漏電像素)、“亮點(stuck pixel)”和“壞點(dead pixel)”?！霸稂c” 一般表現(xiàn)為比對于在相同空間位置的給予相同光亮的非缺陷像素更亮。燥點的產(chǎn)生可歸因于重置失敗和/或高泄漏。例如，燥點可呈現(xiàn)出比非缺陷像素的正常電荷泄漏更高的電荷泄漏，因此可能比非缺陷像素表現(xiàn)得更亮。此外，“壞點”和“亮點”可能是諸如灰塵或其他微量材料之類的雜質(zhì)在制造和/或裝配過程中污染了圖像傳感器的結(jié)果，其可導(dǎo)致某些缺陷像素比非缺陷像素更暗或更亮，或者可導(dǎo)致缺陷像素固定在特定值而不管其實際曝光的光量。此外，在圖像傳感器操作期間發(fā)生的電路故障也可導(dǎo)致壞點和亮點。作為示例，亮點可以看上去為常開(全充電)并且因此看上去更亮，而壞點則看上去為常關(guān)。在ISP前端邏輯80中的缺陷像素檢測和校正(DroC)邏輯230可在統(tǒng)計信息收集(例如238)中考慮缺陷像素之前對這些缺陷像素進行校正(例如替換缺陷像素值)。在一個實施例中，對于每個顏色分量(例如拜耳模式的R、B、Gr和Gb)獨立地執(zhí)行缺陷像素校正。一般來說，前端DPDC邏輯230可提供動態(tài)缺陷校正，其中可基于使用相同顏色的鄰近像素算出的方向性梯度來自動地確定缺陷像素的位置。將理解的是，在給定時刻將某個像素認為是有缺陷的像素可取決于鄰近像素中的圖像數(shù)據(jù)，在此意義上缺陷可以是“動態(tài)的”。作為示例，如果總是處于最大亮度的亮點的位置處于當(dāng)前圖像的由更亮顏色或白色主導(dǎo)的區(qū)域內(nèi)，那么該亮點可能不會被認為是缺陷像素。相反，如果亮點處于當(dāng)前圖像的由黑色或更暗顏色主導(dǎo)的區(qū)域，則在由DPDC邏輯230處理期間該亮點可被識別為缺陷像素，并被相應(yīng)地校正。DPDC邏輯230可利用在當(dāng)前像素每一側(cè)的一個或多個具有相同顏色的水平鄰近像素，使用像素至像素方向性梯度來確定當(dāng)前像素是否有缺陷。如果當(dāng)前像素被識別為缺陷的，可使用水平鄰近像素的值來代替缺陷像素的值。例如，在一個實施例中，使用在原始幀154 (圖9)邊界內(nèi)的五個具有相同顏色的水平鄰近像素，其中這五個水平鄰近像素包括當(dāng)前像素和每一側(cè)的兩個鄰近像素。因此，如圖16所示，對于給定的顏色分量c和當(dāng)前像素P，DPDC邏輯230可考慮水平的鄰居像素PO、PU P2和P3。然而，應(yīng)當(dāng)注意的是，依賴于當(dāng)前像素P的位置，當(dāng)計算像素至像素梯度時，不考慮在原始幀154之外的像素。例如，如圖16所示，在“左邊緣”情況240中，當(dāng)前像素P位于原始幀154的最左邊，因此不考慮在原始幀154之外的鄰近像素PO和P1，僅留下像素P、P2和P3 (N=3)。在“左邊緣+1”情況242中，當(dāng)前像素P離原始幀154的最左邊一個單位像素，因此不考慮像素PO。僅留下像素P1、P、P2和P3 (N=4)。此外，在“居中”情況244中，在當(dāng)前像素P左側(cè)的像素PO和Pl和在當(dāng)前像素右側(cè)的像素P2和P3都處于原始幀154邊界之內(nèi)，因此在計算像素至像素梯度時考慮所有鄰近像素PO、PU P2和P3 (N=5)。此外，還可遇到接近原始幀154的最右邊的類似情況246和248。例如，在“右邊緣-I”情況246中，當(dāng)前像素P離原始幀154的最右邊一個單位像素，因此不考慮像素P3 (N=4)。同樣的，在“右邊緣”情況248中，當(dāng)如像素P處于原始巾貞154的最右邊，因此不考慮鄰近像素P2和P3 (N=3)。在所示的實施例中，對于在圖片(例如原始幀154)邊界內(nèi)的每個鄰近像素(k=0至3)，可如下計算像素至像素梯度 Gk = abs (P-Pk)，對于0彡k彡3 (僅對于在原始巾貞內(nèi)的k) (6)一旦確定了像素至像素梯度，將由DPDC邏輯230執(zhí)行如下的缺陷像素檢測。首先，如果一定數(shù)量的像素梯度Gk等于或小于由變量dprTh表示的特定閾值，則假設(shè)該像素是有缺陷的。因此對于每個像素，圖片邊界內(nèi)的鄰近像素等于或小于閾值dprTh的梯度數(shù)量的計數(shù)(C)被累加。作為示例，對于原始幀154內(nèi)的每個鄰居像素，可如下的計算等于或小于閾值dprTh的梯度Gk的累加計數(shù)C
NC= Yi (Gk <dprTh),(7)
k對于0彡k彡3 (僅對于在原始幀內(nèi)的k)將明了的是，取決于顏色分量，閾值dprTh可以是變化的。接著，如果累加的計數(shù)C被確定為小于或等于由變量dprMaxC表示的最大計數(shù)，則像素可被考慮為是有缺陷的。該邏輯由以下表示if(C < dprMaxC)，then 像素是有缺陷的。(8)使用多種替代約定來對缺陷像素進行替代。例如，在一個實施例中，可使用緊靠其左邊的像素Pl來代替缺陷像素。在一種邊界情況下(例如Pl位于原始幀154之外)，可使用緊靠其右邊的像素P2來代替缺陷像素。此外，應(yīng)當(dāng)理解的是，替代值可被保留或傳播以用于后續(xù)的缺陷像素檢測操作。例如，參考如圖16所示的水平像素集合，如果PO或Pl在之前被DPDC邏輯230識別為缺陷像素，則它們對應(yīng)的替代值可被用于當(dāng)前像素P的缺陷像素檢測和替代。為了總結(jié)上述的缺陷像素檢測和校正技術(shù)，圖17提供了描繪這種處理的流程圖，并由參考標(biāo)記250指代。如圖所示，處理250開始于步驟252，其中接收當(dāng)前像素(P)并識別一組鄰居像素。依照以上所述的實施例，鄰居像素可包括來自當(dāng)前像素相對兩側(cè)的具有相同顏色分量的兩個水平像素(例如P0、P1、P2和P3)。接著，在步驟254，如以上等式6所述，針對原始幀154內(nèi)的每個鄰近像素計算水平方向的像素至像素梯度。此后，在步驟256，確定小于或等于特定閾值dprTh的梯度的數(shù)量的計數(shù)C。如判定邏輯258所示，如果C小于或等于dprMaxC，則處理250繼續(xù)到步驟260，并且當(dāng)前像素被識別為有缺陷的。接著在步驟262使用替代值來校正缺陷像素。另外，再參考判定邏輯258，如果C大于dprMaxC，則處理繼續(xù)到步驟264，并且當(dāng)前像素被識別為沒有缺陷，且其值不被改變。應(yīng)當(dāng)注意的是在ISP前端統(tǒng)計處理期間應(yīng)用的缺陷像素檢測/校正技術(shù)可能比在ISP流水邏輯82中執(zhí)行的缺陷像素檢測/校正的魯棒性要差。例如，如以下將進一步詳細討論的，在ISP流水邏輯82中執(zhí)行的缺陷像素檢測/校正除了動態(tài)缺陷校正之外還可提供固定缺陷校正，其中可先驗得知缺陷像素的位置，并將其載入一個或多個缺陷表。此外，如下所述，在ISP流水邏輯82中的動態(tài)缺陷校正還可以考慮水平和垂直方向兩者上的像素梯度，并且還可以提供對斑點(speckle)的檢測/校正?；氐綀D15，DPDC邏輯230的輸出隨后被傳送到黑度補償(BLC)邏輯232。BLC邏輯232可為每個顏色分量“c”(例如拜耳的R、B、Gr和Gb)中用于統(tǒng)計信息收集的像素獨立地提供數(shù)字增益、偏移和截短(clipping)。例如，如以下運算所示，首先通過帶符號的值來偏移當(dāng)前像素的輸入值，接著將其乘上增益。Y=(X+0[c]) XG[c],(9)
其中X表示給定顏色分量c (例如R、B、Gr或Gb)的輸入像素值，0[c]表示當(dāng)前顏色分量c的帶符號的16位偏移量，以及G[c]表示該顏色分量c的增益值。在一個實施例中，增益G[c]可以是具有2個整數(shù)位和14個分?jǐn)?shù)位的16位無符號數(shù)(例如以浮點表示的
2.14)，并且可對增益G[c]應(yīng)用舍入。僅作為示例，增益G[c]可具有在0至4X (例如輸入像素值的四倍)之間的范圍。接著，如以下等式10所示，可將計算得到的帶符號的值Y截短到最小值和最大值范圍Y= (Y〈min [c]) min [c] : (Y>max [c]) max [c] : Y)(10)變量min[c]和max[c]分別表示最小和最大輸出值的帶符號的16位截短值。在一個實施例中，BLC邏輯232還可被配置成分別為每個顏色分量保存在最大值之上和在最小值之下而被截短的像素的數(shù)量的計數(shù)。隨后，BLC邏輯232的輸出被轉(zhuǎn)發(fā)到鏡頭明暗校正(LSC)邏輯234。LSC邏輯234可被配置為逐像素地應(yīng)用合適的增益以補償強度的衰落，該強度衰落一般大致正比于與成像設(shè)備30的鏡頭88的光學(xué)中心的距離?？梢悦髁说氖牵@種衰落可能是鏡頭的幾何光學(xué)的結(jié)果。作為示例，具有理想光學(xué)性質(zhì)的鏡頭可被建模為入射角余弦的四次方，即cos4( 0 )，其被稱為cos4定律。然而，由于鏡頭制造工藝并非完美，鏡頭中的各種不規(guī)則性可能導(dǎo)致光學(xué)性質(zhì)偏離假設(shè)的cos4模型。例如，鏡頭的較薄的邊緣(thinner edged)通常呈現(xiàn)最大的不規(guī)則性。另外，鏡頭明暗圖案的不規(guī)則性也可能是在圖像傳感器內(nèi)的微透鏡陣列沒有與濾色器陣列完美對齊的結(jié)果。此外，在一些鏡頭中的紅外(IR)濾波器也可能導(dǎo)致衰落依賴于發(fā)光體，于是可以根據(jù)檢測到的光源來調(diào)整鏡頭明暗增益。參考圖18，例示了用于描述典型鏡頭的光強度相對于像素位置的三維分布。如圖所示，光強度從鏡頭的中心272附近向鏡頭的角落或邊緣274逐漸降低?？赏ㄟ^圖19更好的例示圖18中所描繪的鏡頭明暗不規(guī)則性，圖19示出了展示向著角落和邊緣而光強度降低的照片276。更具體的，應(yīng)當(dāng)注意的是在大致位于圖像中心的光強度看上去比位于圖像的角落和/或邊緣的光強度更亮。依據(jù)本技術(shù)的一些實施例，鏡頭明暗校正增益可被指定為每個顏色通道(例如用于拜耳濾波器的Gr、R、B、Gb) 一個二維增益柵格。增益柵格點可在原始幀154 (圖19)內(nèi)以固定的水平和垂直間隔分布。如以上圖9所討論的，原始幀154可包括活動區(qū)域156，其定義了由特定圖像處理操作對其執(zhí)行處理的區(qū)域。關(guān)于鏡頭明暗校正操作，在原始幀區(qū)域154內(nèi)定義了可被稱為LSC區(qū)域的活動處理區(qū)域。如以下將討論的那樣，LSC區(qū)域必須完全在增益柵格邊界內(nèi)或邊界處，否則結(jié)果可能是不明確的。例如，參考圖20，示出了可在原始幀154內(nèi)定義的LSC區(qū)域280和增益柵格282。LSC區(qū)域280可具有寬284和高286，并且可由相對于原始幀154邊界的x偏移量288和y偏移量290來定義。還可提供從增益柵格282的基準(zhǔn)296到LSC區(qū)域280內(nèi)的第一個像素298的柵格偏移量(例如柵格X偏移量292和柵格Y偏移量294)。這些偏移量可以位于用于給定顏色分量的第一柵格間隔內(nèi)?？煞謩e為每個顏色通道獨立地指定水平(X方向)和垂直(y方向)柵格點間隔300和302。如上所述，假設(shè)使用了拜耳濾色器陣列，則可定義4個具有柵格增益的顏色通道(R、B、Gr和Gb)。在一個實施例中，總共有4K (4096)個柵格點可用，并且例如可通過使用指示器，為每個顏色通道提供用于柵格增益的開始位置的基準(zhǔn)地址。此外，還可以以在一個顏色平面的分辨率下的像素為單位來定義水平(300)和垂直(302)柵格點間隔，在特定實 施例中，在水平和垂直方向上可分別提供2的冪(例如8、16、32、64或128等)個像素的柵格 點間隔。可以明了的是，通過利用2的冪，可以使用移位(例如除法)和相加操作來獲得增益內(nèi)插的有效實現(xiàn)。使用這些參數(shù)，即使圖像傳感器裁剪區(qū)域發(fā)生改變?nèi)钥墒褂孟嗤脑鲆嬷?。例如，只有少?shù)參數(shù)需要被更新以將柵格點對齊到裁剪區(qū)域(例如更新柵格偏移量300和302)，而非更新所有的柵格增益值。僅作為示例，這在數(shù)字變焦操作期間使用裁剪時可能是有益的。此外，雖然如圖20的實施例所示的增益柵格282被描繪為具有基本相等間隔的柵格點，但是應(yīng)當(dāng)理解在其他實施例中，柵格點不是必須相等間隔。例如，在一些實施例中，柵格點可以非均勻地分布(例如對數(shù)分布)，使得柵格點在LSC區(qū)域280的中心較不集中，而向著LSC區(qū)域280的角落(通常在那里鏡頭明暗失真更容易被察覺)更為集中。依照此處公開的鏡頭明暗校正技術(shù)，在當(dāng)前像素位置位于LSC區(qū)域280之外時，不應(yīng)用增益(例如像素未經(jīng)改變地通過)。在當(dāng)前像素位置位于增益柵格位置時，可以使用該特定柵格點處的增益值。然而，在當(dāng)前像素位置位于柵格點之間時，可使用雙線性內(nèi)插來內(nèi)插增益。以下圖21提供了一種為像素位置“G”內(nèi)插增益的例子。如圖21所示，像素G位于柵格點GO、Gl、G2和G3之間，GO、Gl、G2和G3可分別對應(yīng)于當(dāng)前像素位置G的左上、右上、左下和右下增益。柵格間隔的水平和垂直大小分別由X和Y表示。另外，ii和j j分別表示相對于左上增益GO的位置的水平和垂直像素偏移量?；谶@些因子，可如下內(nèi)插對應(yīng)于位置G的增益
權(quán)利要求
1.一種在圖像處理過程中檢測和校正缺陷圖像像素的方法，包括 使用圖像處理器進行以下操作 接收利用圖像傳感器獲取的圖像數(shù)據(jù)的輸入像素； 將輸入像素在圖像傳感器的成像幀的處理區(qū)域內(nèi)的位置與存儲在靜態(tài)缺陷表中的一組位置條目進行比較； 如果輸入像素的位置對應(yīng)于所述一組位置條目之一，則將輸入像素標(biāo)記為靜態(tài)缺陷，并確定用于輸入像素的第一替代值； 如果輸入像素的位置不對應(yīng)于所述一組位置條目之一，則識別與輸入像素具有相同顏色分量的一組鄰近像素，確定輸入像素相對于所述一組鄰近像素是否為動態(tài)缺陷或有斑點，并且如果輸入像素被確定為動態(tài)缺陷或有斑點，則確定用于輸入像素的第二替代值；以及 校正輸入像素，其中校正輸入像素包括 如果輸入像素被標(biāo)記為靜態(tài)缺陷，用第一替代值代替輸入像素的當(dāng)前值；以及 如果輸入像素被確定為動態(tài)缺陷或有斑點，用第二替代值代替輸入像素的當(dāng)前值。
2.如權(quán)利要求I所述的方法，包括如果輸入像素未被標(biāo)記為靜態(tài)缺陷并且未被確定為動態(tài)缺陷或有斑點，則不校正輸入像素。
3.如權(quán)利要求I所述的方法，其中第一替代值被確定為按照掃描順序具有相同顏色的前一像素的值。
4.如權(quán)利要求I所述的方法，其中識別一組鄰近像素包括確定輸入像素的顏色，并識別成像幀中具有相同顏色的八個最接近的鄰近像素，其中這八個鄰近像素形成3X3像素塊；并且 其中確定輸入像素相對于所述一組鄰近像素是否為動態(tài)缺陷或有斑點是基于所計算的位于處理區(qū)域內(nèi)的每個所述鄰近像素相對于輸入像素的一組方向性像素至像素梯度。
5.如權(quán)利要求4所述的方法，其中確定輸入像素是否為動態(tài)缺陷包括 將所述梯度中的每一個與自適應(yīng)動態(tài)缺陷閾值相比較； 基于所述比較，對小于或等于該自適應(yīng)缺陷閾值的梯度的數(shù)量進行計數(shù)； 將該計數(shù)與最大值相比較，其中該最大值是至少部分基于位于處理區(qū)域內(nèi)的鄰近像素的數(shù)量來選擇的；以及 如果該計數(shù)小于或等于該最大值，則將輸入像素識別為動態(tài)缺陷。
6.如權(quán)利要求5所述的方法，其中所述自適應(yīng)動態(tài)缺陷閾值包括 針對圖像傳感器的每一個顏色分量的固定分量； 至少部分基于在輸入像素被捕捉時圖像傳感器的曝光設(shè)置或積分時間設(shè)置之一而確定的動態(tài)分量；以及 基于處理區(qū)域內(nèi)所述鄰近像素的平均值與處理區(qū)域內(nèi)每個鄰近像素的值之間的絕對差之和而計算的高頻分量； 其中，通過對動態(tài)分量和高頻分量的乘積與跟輸入像素的顏色相對應(yīng)的固定分量求和，來計算所述自適應(yīng)動態(tài)缺陷閾值。
7.如權(quán)利要求4所述的方法，其中確定輸入像素是否有斑點包括 通過計算輸入像素的值與處理區(qū)域內(nèi)各鄰近像素的平均值之差，來確定平均梯度值；將該平均梯度值與自適應(yīng)斑點閾值相比較；以及 如果該平均梯度值大于自適應(yīng)斑點閾值，則將輸入像素識別為有斑點。
8.如權(quán)利要求7所述的方法，其中所述自適應(yīng)斑點閾值包括 針對圖像傳感器的每一個顏色分量的固定分量； 至少部分基于輸入像素和所述鄰近像素的紋理程度而確定的動態(tài)分量；以及基于處理區(qū)域內(nèi)所述鄰近像素的平均值與處理區(qū)域內(nèi)每個鄰近像素的值之間的絕對差之和而計算的高頻分量； 其中，通過對動態(tài)分量和高頻分量的乘積與跟輸入像素的顏色相對應(yīng)的固定分量求和，來計算所述自適應(yīng)斑點閾值。
9.如權(quán)利要求4所述的方法，其中確定用于輸入像素的第二替代值包括 將水平方向上的第一方向梯度確定為輸入像素與所述一組鄰近像素中的第一和第二水平鄰近像素中的每一個之間的絕對差之和； 將垂直方向上的第二方向梯度確定為輸入像素與所述一組鄰近像素中的第一和第二垂直鄰近像素中的每一個之間的絕對差之和； 將正對角方向上的第三方向梯度確定為輸入像素與所述一組鄰近像素中的第一和第二正對角鄰近像素中的每一個之間的絕對差之和； 將負對角方向上的第四方向梯度確定為輸入像素與所述一組鄰近像素中的第一和第二負對角鄰近像素中的每一個之間的絕對差之和； 確定第一、第二、第三和第四方向梯度中的最小梯度；以及 通過對在該最小梯度的方向上的第一和第二鄰近像素的值進行線性內(nèi)插，確定第二替代值。
10.如權(quán)利要求9所述的方法，其中如果在最小梯度的方向上第一和第二鄰近像素之一位于處理幀之外，則在線性內(nèi)插過程中，位于處理幀之外的像素的值用位于處理幀內(nèi)的另一像素的值來代替。
11.一種圖像信號處理電路，包括 接口，被配置為接收利用成像設(shè)備的圖像傳感器獲取的圖像數(shù)據(jù)； 圖像處理流水線,被配置為對圖像數(shù)據(jù)執(zhí)行一組處理操作,其中這組處理操作中的一個操作檢測并校正圖像數(shù)據(jù)中的缺陷像素，并且所述圖像處理流水線包括缺陷像素檢測和校正邏輯，該邏輯被配置為 接收圖像數(shù)據(jù)的輸入像素； 確定輸入像素的位置是否對應(yīng)于靜態(tài)缺陷表中的位置條目， 如果發(fā)現(xiàn)輸入像素的位置位于該靜態(tài)缺陷表中，則將輸入像素識別為靜態(tài)缺陷，并且確定用于校正輸入像素的第一替代值； 如果輸入像素未被識別為靜態(tài)缺陷，確定輸入像素是否為動態(tài)缺陷或有斑點，并且，如果輸入像素被確定為動態(tài)缺陷或有斑點，則確定用于輸入像素的第二替代值；以及 基于輸入像素被確定為靜態(tài)缺陷、動態(tài)缺陷還是有斑點，使用第一或第二替代值來校正輸入像素。
12.如權(quán)利要求11所述的圖像信號處理電路，其中，缺陷像素檢測和校正邏輯被配置為通過如下操作來確定輸入像素是否為動態(tài)缺陷識別與輸入像素具有相同顏色的八個鄰近像素；計算這八個鄰近像素中位于限定在圖像傳感器的成像幀內(nèi)的處理區(qū)域內(nèi)的每一個鄰近像素相對于輸入像素的像素至像素梯度；確定小于動態(tài)缺陷閾值的梯度的數(shù)量的計數(shù)；并且，如果所確定的計數(shù)小于最大計數(shù)值，則將輸入像素識別為動態(tài)缺陷，并且 其中，缺陷像素檢測和校正邏輯被配置為通過如下操作來確定輸入像素是否有斑點計算輸入像素的值與處理區(qū)域內(nèi)各鄰近像素的平均值之差，作為平均梯度值；并且，如果該平均梯度值大于斑點閾值，則將輸入像素識別為有斑點。
13.如權(quán)利要求12所述的圖像信號處理電路，其中動態(tài)缺陷閾值和斑點閾值能夠基于位于處理區(qū)域內(nèi)的鄰近像素的高頻分量而被調(diào)整。
14.如權(quán)利要求13所述的圖像信號處理電路，其中相對于動態(tài)缺陷閾值，斑點閾值被設(shè)置得更高，以便減少在圖像數(shù)據(jù)的具有增強的紋理特性的區(qū)域中對斑點的誤檢測。
15.如權(quán)利要求12所述的圖像信號處理電路，其中通過以下操作確定第二替代值計算輸入像素分別與所述八個鄰近像素中在水平方向、垂直方向、正對角方向和負對角方向中的每一個方向上的兩個鄰近像素之間的差的和，作為方向梯度；確定與最小梯度相對應(yīng)的方向；以及對與最小梯度方向相關(guān)聯(lián)的兩個鄰近像素的值進行內(nèi)插。
16.如權(quán)利要求11所述的圖像信號處理電路，其中第一替代值是基于按照掃描順序緊挨在所述輸入像素前面的具有相同顏色的前一像素的值而確定的。
17.如權(quán)利要求11所述的圖像信號處理電路，包括被配置為對圖像數(shù)據(jù)執(zhí)行一組初始操作的前端處理邏輯，其中該前端處理邏輯被配置為接收圖像數(shù)據(jù)的輸入像素；識別與輸入像素具有相同顏色的四個水平鄰近像素，包括位于輸入像素第一側(cè)的兩個水平鄰近像素和位于輸入像素第二側(cè)的兩個水平鄰近像素；確定這四個水平鄰近像素中位于限定在圖像傳感器的成像幀內(nèi)的處理區(qū)域內(nèi)的每一個像素相對于輸入像素的像素至像素梯度值；確定小于或等于前端缺陷像素閾值的梯度值的數(shù)量的計數(shù)；將輸入像素識別為前端缺陷；校正該前端缺陷；并且，在該前端缺陷被校正后，收集關(guān)于圖像數(shù)據(jù)的成像統(tǒng)計信息； 其中，這一組初始操作是在圖像處理流水線執(zhí)行的那一組操作之前由前端處理邏輯執(zhí)行的。
18.如權(quán)利要求17所述的圖像信號處理電路，其中校正前端缺陷包括 確定與輸入像素具有相同顏色并且在成像幀中緊挨著輸入像素右邊的第一鄰近像素的值； 確定第一鄰近像素是否處于所述處理區(qū)域內(nèi)； 如果第一鄰近像素處于所述處理區(qū)域內(nèi)，則用第一鄰近像素的值替代輸入像素的值； 如果第一鄰近像素不處于所述處理區(qū)域內(nèi)，則確定與輸入像素具有相同顏色并且在成像幀中緊挨著輸入像素左邊的第二鄰近像素的值；以及 用第二鄰近像素的值替代輸入像素的值。
19.一種系統(tǒng),包括 具有圖像傳感器的成像設(shè)備；和 圖像處理電路，被配置為處理利用圖像傳感器獲取的圖像數(shù)據(jù)，其中所述圖像處理電路包括 缺陷像素檢測和校正邏輯，被配置為 對于圖像數(shù)據(jù)的當(dāng)前圖像幀，確定輸入像素的位置是否對應(yīng)于靜態(tài)缺陷表中的位置條目，如果發(fā)現(xiàn)輸入像素的位置位于該靜態(tài)缺陷表中，則將輸入像素識別為靜態(tài)缺陷，并且利用靜態(tài)缺陷替代值來校正輸入像素；以及 如果輸入像素未被識別為靜態(tài)缺陷，確定輸入像素是否為動態(tài)缺陷或有斑點，并且，如果輸入像素被確定為動態(tài)缺陷或有斑點，則利用非靜態(tài)缺陷替代值來校正輸入像素。
20.如權(quán)利要求19所述的系統(tǒng)，包括被配置為存儲靜態(tài)缺陷表和靜態(tài)缺陷替代值的存儲器設(shè)備，其中靜態(tài)缺陷表被配置為在圖像處理過程中間歇地更新以存儲與新檢測到的靜態(tài)缺陷相對應(yīng)的位置。
21.如權(quán)利要求20所述的系統(tǒng)，其中如果圖像數(shù)據(jù)的輸入像素在特定數(shù)量的連續(xù)的圖像幀上被重復(fù)識別為動態(tài)缺陷，則輸入像素的位置作為新檢測到的靜態(tài)缺陷被存儲到靜態(tài)缺陷表中。
22.如權(quán)利要求20所述的系統(tǒng)，其中靜態(tài)缺陷表被實施為一個或多個先入先出(FIFO)隊列。
23.如權(quán)利要求20所述的系統(tǒng)，其中靜態(tài)缺陷表被配置為存儲多個靜態(tài)缺陷像素，并且該靜態(tài)缺陷表被配置為至少部分基于與所存儲的多個靜態(tài)缺陷像素相關(guān)聯(lián)的最小梯度值而排序。
24.如權(quán)利要求19所述的系統(tǒng)，包括電子設(shè)備，并且其中所述成像設(shè)備包括與該電子設(shè)備集成的相機、被配置為與該電子設(shè)備的輸入/輸出端口耦接的外部相機、或它們的某種組合。
25.如權(quán)利要求19所述的系統(tǒng)，其中圖像傳感器包括拜耳濾色器陣列、RGBff濾色器陣列、或CYGM濾色器陣列。
26.如權(quán)利要求19所述的系統(tǒng)，其中靜態(tài)缺陷、動態(tài)缺陷或斑點是與圖像傳感器上的壞點、亮點或漏電像素相對應(yīng)的輸入像素引起的。
27.—個或多個有形的計算機可讀存儲介質(zhì)，具有編碼在其上以供處理器執(zhí)行的指令，所述指令包括 用于確定圖像傳感器所獲取的圖像數(shù)據(jù)的當(dāng)前幀中的輸入像 素是否對應(yīng)于靜態(tài)缺陷表中的位置條目，并且如果發(fā)現(xiàn)輸入像素的位置位于該靜態(tài)缺陷表中，則將輸入像素識別為靜態(tài)缺陷的代碼，其中靜態(tài)缺陷表中的每個位置條目與一個最小梯度值相關(guān)聯(lián)； 用于利用靜態(tài)缺陷替代值來校正輸入像素的代碼，該靜態(tài)缺陷替代值被確定為按照掃描順序具有相同顏色的前一像素的值； 用于如果輸入像素未被識別為靜態(tài)缺陷，則通過以下操作來確定輸入像素是否為動態(tài)缺陷的代碼識別與輸入像素具有相同顏色的八個鄰近像素；計算這八個鄰近像素中位于限定在圖像傳感器的成像幀內(nèi)的處理區(qū)域內(nèi)的每一個鄰近像素相對于輸入像素的像素至像素梯度；確定小于動態(tài)缺陷閾值的梯度的數(shù)量的計數(shù)；并且，如果所確定的計數(shù)小于最大計數(shù)值，則將輸入像素識別為動態(tài)缺陷； 用于通過以下操作計算動態(tài)缺陷替代值的代碼計算輸入像素分別與所述八個鄰近像素中在水平方向、垂直方向、正對角方向和負對角方向中的每一個方向上的兩個鄰近像素之間的差的和，作為方向梯度；確定與最小梯度相對應(yīng)的方向；以及對與最小梯度方向相關(guān)聯(lián)的兩個鄰近像素的值進行內(nèi)插；用于利用動態(tài)缺陷替代值來校正輸入像素的代碼； 用于確定輸入像素是否在當(dāng)前幀之前的特定數(shù)量的連續(xù)幀中都被識別為動態(tài)缺陷，并且如果輸入像素在該特定數(shù)量的連續(xù)幀中都被識別為動態(tài)缺陷，則確定針對所述八個鄰近像素中位于處理區(qū)域內(nèi)的每個鄰近像素的像素至像素梯度的最小值，并將輸入像素的位置和該最小梯度值存儲到靜態(tài)缺陷表中的代碼。
28.如權(quán)利要求27所述的一個或多個有形的計算機可讀存儲介質(zhì)，包括用于至少部分基于靜態(tài)缺陷所關(guān)聯(lián)的最小梯度值來區(qū)分靜態(tài)缺陷被校正的優(yōu)先次序的代碼。
29.如權(quán)利要求27所述的一個或多個有形的計算機可讀存儲介質(zhì)，其中執(zhí)行用于確定輸入像素是否對應(yīng)于靜態(tài)缺陷表中的位置條目的代碼的第一時刻和執(zhí)行用于確定輸入像素是否為動態(tài)缺陷的代碼的第二時刻被時移一時間量，該時間量對應(yīng)于當(dāng)前幀的圖像數(shù)據(jù)的至少一條掃描線的處理。
全文摘要
提供了用于圖像傳感器中的缺陷像素的檢測和校正的各種技術(shù)。根據(jù)一個實施例，提供存儲了已知靜態(tài)缺陷的位置的靜態(tài)缺陷表，并且將當(dāng)前像素的位置與靜態(tài)缺陷表相比較。如果發(fā)現(xiàn)當(dāng)前像素的位置在靜態(tài)缺陷表中，則將當(dāng)前像素識別為靜態(tài)缺陷，并利用相同顏色的前一像素的值來校正當(dāng)前像素。如果當(dāng)前像素未被識別為靜態(tài)缺陷，則動態(tài)缺陷檢測處理(444)包括將當(dāng)前像素和一組鄰近像素之間的像素至像素梯度與動態(tài)缺陷閾值相比較。如果檢測到動態(tài)缺陷，則可通過對在表現(xiàn)出最小梯度的方向上位于當(dāng)前像素相對兩側(cè)的兩個鄰近像素的值進行內(nèi)插，來確定用于校正動態(tài)缺陷的替代值。
文檔編號H04N5/367GK102640489SQ201080054770
公開日2012年8月15日 申請日期2010年10月12日 優(yōu)先權(quán)日2009年10月20日
發(fā)明者G·科特, J·E·弗萊德瑞克森 申請人:蘋果公司