調(diào)整將核應(yīng)用于信號(hào)的效果在信號(hào)上取得預(yù)期效果的技術(shù)的制作方法
【專利摘要】本發(fā)明公開了一種用于調(diào)整將核心應(yīng)用于信號(hào)的效果的方法及裝置。所述調(diào)整可基于核心矩陣期望在所述信號(hào)矩陣上產(chǎn)生的效果的大小。所述調(diào)整可基于多種因素，包括但不限于信號(hào)數(shù)據(jù)的信噪比、用來采集信號(hào)數(shù)據(jù)的設(shè)備（例如，鏡頭）的屬性、或者基于分析所述信號(hào)數(shù)據(jù)而導(dǎo)出的度量。根據(jù)本發(fā)明實(shí)施方式處理圖像數(shù)據(jù)目的在于，恢復(fù)可能由于用來采集圖像數(shù)據(jù)的光學(xué)器件的屬性而損失的對(duì)比度。
【專利說明】調(diào)整將核應(yīng)用于信號(hào)的效果在信號(hào)上取得預(yù)期效果的技術(shù)
[0001]本申請(qǐng)是針對(duì)申請(qǐng)?zhí)枮?00880013422.5、申請(qǐng)日為2008年4月24日、發(fā)明名稱為“用于調(diào)整將核應(yīng)用于信號(hào)的效果以在信號(hào)上取得預(yù)期效果的技術(shù)”的中國(guó)專利申請(qǐng)的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及數(shù)字信號(hào)處理。特別是，本發(fā)明的實(shí)施方式涉及修改當(dāng)應(yīng)用核心矩陣來處理信號(hào)數(shù)據(jù)時(shí)取得的效果，以便取得預(yù)期效果。
【背景技術(shù)】
[0003]在數(shù)字成像中，通過校正諸如光學(xué)模糊、光學(xué)畸變、色差、場(chǎng)曲等之類的光學(xué)象差，去卷積有時(shí)用來創(chuàng)建更優(yōu)質(zhì)的圖像，所述光學(xué)像差發(fā)生在諸如數(shù)字照相機(jī)之類的成像儀器中。定義去卷積的數(shù)學(xué)運(yùn)算是與卷積中執(zhí)行的數(shù)學(xué)運(yùn)算相同的數(shù)學(xué)運(yùn)算-稱其為去卷積的理由是其用于校正或補(bǔ)償由卷積施加在圖像上的效果的上下文中。換句話說，使用去卷積-以這種方式-是基于下列事實(shí)的:當(dāng)圖像信號(hào)通過成像儀器時(shí)，可將輸出信號(hào)描述為圖像信號(hào)與稱作點(diǎn)擴(kuò)展函數(shù)(PSF)的2D函數(shù)之間的卷積。舉光學(xué)模糊為例，PSF根據(jù)電磁輻射的點(diǎn)源穿過儀器的軌跡來描述光學(xué)模糊，即單個(gè)光點(diǎn)如何通過光學(xué)系統(tǒng)成像。PSF卷積的結(jié)果是所采集的圖像信號(hào)比對(duì)象本身更模糊(并且還可能失真，和/或包含色差)。為了補(bǔ)償這種模糊，可執(zhí)行去卷積過程，其中圖像信號(hào)與2D函數(shù)卷積，所述2D函數(shù)的目標(biāo)是產(chǎn)生不模糊的圖像。該2D函數(shù)經(jīng)常是所述PSF的倒數(shù)(或者PSF的倒數(shù)的變體)，在某種程度上其抵消了 PSF所引入的模糊。
[0004]2D去卷積可用軟件(SW)或硬件(HW)在圖像的數(shù)字表示上在數(shù)字域中執(zhí)行。核心矩陣通常用作2D去卷積濾波器，其特征在于所希望的頻率響應(yīng)。為了補(bǔ)償PSF模糊并增強(qiáng)圖像對(duì)比度，該核心矩陣與信號(hào)矩陣(所述2D圖像)卷積。為了該濾波器增強(qiáng)對(duì)比度，它應(yīng)擁有帶通濾波器(BPF)或高通濾波器(HPF)的頻率響應(yīng)，從而使其以將要求頻率中的對(duì)比度增強(qiáng)到指定水平的方式匹配所述PSF。
[0005]除了增強(qiáng)圖像中的對(duì)比度之外，通過將具有低通頻率響應(yīng)(LPF)的核心應(yīng)用于所述圖像，相同的卷積運(yùn)算可用來降低圖像中的噪聲，平均所述噪聲。當(dāng)執(zhí)行這樣的去噪運(yùn)算時(shí)，應(yīng)注意不要損害信號(hào)的對(duì)比度。
[0006]通常，增強(qiáng)圖像的去卷積過程是數(shù)碼相機(jī)中(用SW或HW)運(yùn)行的圖像信號(hào)處理(ISP)鏈的一部分。圖像上這一系列的數(shù)學(xué)運(yùn)算將其從CM0S/CXD傳感器(用例如“BAYER”格式)輸出的“RAW”格式圖像(有時(shí)稱為“NEF”圖像)轉(zhuǎn)換成瀏覽及保存的最終圖像(例如，JPEG圖像、TIFF圖像等)。在所述ISP鏈之內(nèi)，在執(zhí)行去馬賽克(顏色插值)之后、或在去馬賽克之前，可將所述去卷積濾波器應(yīng)用于所述圖像。前一種方法使濾波器影響圖像中的最大可能頻率(逐像素);然而，為了覆蓋大的空間支持，所述2D核心應(yīng)具有許多系數(shù)。后一種方法暗示在圖像仍處于BAYER格式時(shí)(在顏色插值之前)，應(yīng)用濾波器。后一種方法具有用較少的系數(shù)覆蓋較大的空間支持的優(yōu)勢(shì)，但濾波器僅可影響較低的頻率。由于對(duì)于大多數(shù)光學(xué)設(shè)計(jì)來說，為了去卷積有效，核心的尺寸應(yīng)與PSF的尺寸大致相同(按像素)，因此補(bǔ)償大PSF要求足夠大的空間支持用于去卷積核心，并因而需要許多系數(shù)(這意味著更多的存儲(chǔ)器和數(shù)學(xué)計(jì)算)。由于如果將太小的核心應(yīng)用于被大PSF模糊的圖像，則在處理后可能保留了不在預(yù)期內(nèi)的偽像，因此這可能是在去馬賽克過程之前將所述去卷積核心應(yīng)用于BAYER圖像的主要原因。
[0007]當(dāng)將具有HPF/BPF頻率響應(yīng)的去卷積濾波器應(yīng)用于圖像可能導(dǎo)致對(duì)比度增大時(shí)，亦可能不適宜地放大噪聲。當(dāng)信噪比(S/N)好時(shí)，很少注意到這種噪聲放大，在可造成低S/N的惡劣光照條件下，要極其注意這種噪聲放大。不幸地，在不考慮圖像中已有噪聲數(shù)量的情況下應(yīng)用所述去卷積核心，可能導(dǎo)致噪聲更大的圖像。
[0008]可采用去噪算法來降低由于應(yīng)用去卷積核心而導(dǎo)致的不想要的噪聲放大。然而，在去卷積過程已經(jīng)放大了圖像中的噪聲之后應(yīng)用去噪算法，可能需要執(zhí)行強(qiáng)去噪(strongde-noising)，這可能導(dǎo)致圖像中具有精細(xì)細(xì)節(jié)的區(qū)域中不想要的數(shù)據(jù)損失。此外，應(yīng)用強(qiáng)去噪仍不會(huì)移除全部噪聲。
[0009]本節(jié)所描述的方法是可推行的方法，但不一定是早先已構(gòu)思或推行的方法。因此，除非另有說明，否則不應(yīng)僅憑借他們包含在本節(jié)就假設(shè)本節(jié)所描述的方法是現(xiàn)有技術(shù)。
【專利附圖】

【附圖說明】
[0010]在附圖的圖形中，通過舉例來說明本發(fā)明，而不是通過限制來說明，其中相同的附圖標(biāo)記指代類似的元件，并且其中:
[0011]圖1a描繪了沒有數(shù)字自動(dòng)聚焦方框的ISP鏈；
[0012]圖1b描繪了根據(jù)實(shí)施方式具有用于數(shù)字自動(dòng)聚焦方框的可能位置的ISP鏈；
[0013]圖1c描繪了根據(jù)實(shí)施方式具有用于數(shù)字自動(dòng)聚焦方框的另一可能位置的ISP鏈；
[0014]圖2描繪了一幅根據(jù)實(shí)施方式說明一種用于更新核心矩陣以及用所述更新核心矩陣處理圖像數(shù)據(jù)的示例性系統(tǒng)的方框圖；
[0015]圖3示出了一種根據(jù)實(shí)施方式用于更新核心的示例性等式；
[0016]圖4描繪了一幅系統(tǒng)方框圖，其中“陰影指示符”用于修改卷積核心；
[0017]圖5描繪了一副示例性鏡頭陰影輪廓的圖；
[0018]圖6描繪了一個(gè)根據(jù)實(shí)施方式用于基于陰影參數(shù)更新核心的等式；
[0019]圖7描繪了一副根據(jù)實(shí)施方式的系統(tǒng)方框圖，其中卷積方框中的核心更新邏輯使用了 “度量(metric)”來修改核心；
[0020]圖8示出了一副示例性bayer圖像，其具有紅色(R)、藍(lán)色(B)和綠色(G)像素；
[0021]圖9a說明了用于圖像窗口的數(shù)據(jù)；
[0022]圖9B說明了圖9A中數(shù)據(jù)的直方圖；
[0023]圖1OA說明了單峰直方圖；
[0024]圖1OB說明了雙峰直方圖；
[0025]圖11描繪了一個(gè)根據(jù)實(shí)施方式用于基于度量更新核心的等式；
[0026]圖12是一副根據(jù)實(shí)施方式說明了用于調(diào)整核心效果的大小的過程的流程圖；
[0027]圖13是一副示例性移動(dòng)設(shè)備圖，在該移動(dòng)設(shè)備上可實(shí)施本發(fā)明的實(shí)施方式；[0028]圖14是一副示例性計(jì)算機(jī)系統(tǒng)圖，在該計(jì)算機(jī)系統(tǒng)設(shè)備上可實(shí)施本發(fā)明的實(shí)施方式；
[0029]圖15是一副根據(jù)實(shí)施方式的圖，其描繪了一個(gè)用于確定參數(shù)來基于圖像特征修改核心的曲線；
[0030]圖16是一副根據(jù)實(shí)施方式用于處理信號(hào)的系統(tǒng)的方框圖；
[0031]圖17描繪了根據(jù)實(shí)施方式校正運(yùn)動(dòng)模糊；
[0032]圖18描繪了根據(jù)實(shí)施方式校正運(yùn)動(dòng)平移；
[0033]圖19是一副根據(jù)實(shí)施方式的方框圖，該圖描繪了一種用于至少基于陰影參數(shù)調(diào)整核心處理的強(qiáng)度的系統(tǒng)；
[0034]圖20是一副根據(jù)實(shí)施方式的方框圖，該圖描繪了一種用于至少基于鄰域像素的特征調(diào)整核心處理的強(qiáng)度的系統(tǒng)；
[0035]圖21描繪了一種根據(jù)實(shí)施方式的技術(shù)，在該技術(shù)中根據(jù)一個(gè)或多個(gè)參數(shù)更新核心；
[0036]圖22描繪了一種根據(jù)實(shí)施方式的技術(shù),在該技術(shù)中將“縮放”應(yīng)用于未經(jīng)修改的核心的卷積結(jié)果；
[0037]圖23描繪了一種根據(jù)實(shí)施方式用于基于距離計(jì)算信息度量的技術(shù)；和
[0038]圖24描繪了根據(jù)實(shí)施方式的分離增益函數(shù)。
【具體實(shí)施方式】
[0039]在下列描述中，出于解釋的目的，為了全面理解本發(fā)明，闡述了眾多具體細(xì)節(jié)。然而，很明顯，在沒有這些具體細(xì)節(jié)的情況下也可以實(shí)施本發(fā)明。在其它實(shí)例中，為了避免不必要地模糊本發(fā)明，在方框圖表格中示出了熟知的結(jié)構(gòu)和設(shè)備。
[0040]本文根據(jù)下列概要來描述實(shí)施方式:
[0041]1.0 綜述
[0042]2.0圖像信號(hào)處理鏈實(shí)施例
[0043]3.0卷積綜述
[0044]4.0基于預(yù)期效果的大小來調(diào)整核心效果的綜述
[0045]4.1過程綜述
[0046]4.2通過更新核心來調(diào)整核心效果的綜述
[0047]4.3通過修改卷積結(jié)果來調(diào)整核心效果的綜述
[0048]5.0基于多種因素調(diào)整核心效果
[0049]5.1基于S/N圖形調(diào)整核心效果
[0050]5.2根據(jù)空間位置調(diào)整核心效果
[0051]5.3根據(jù)局部圖像特征調(diào)整核心效果
[0052]6.0根據(jù)實(shí)施方式調(diào)整核心效果以處理運(yùn)動(dòng)模糊
[0053]6.1校正運(yùn)動(dòng)模糊綜述
[0054]6.2模糊點(diǎn)分布函數(shù)實(shí)施方式
[0055]6.3運(yùn)動(dòng)移位矢量實(shí)施方式
[0056]6.4組合銳化及運(yùn)動(dòng)模糊核心[0057]8.0硬件綜述
[0058]8.1移動(dòng)設(shè)備實(shí)施例
[0059]8.2計(jì)算機(jī)系統(tǒng)實(shí)施例
[0060]1.0 綜述
[0061]本文公開了用于處理信號(hào)數(shù)據(jù)的技術(shù)。所述信號(hào)數(shù)據(jù)可由多種不同的信號(hào)矩陣表示，每個(gè)矩陣表示所述信號(hào)的不同部分。例如，每個(gè)信號(hào)矩陣可包括對(duì)應(yīng)于圖像傳感器中的一組像素的元。然而，所述信號(hào)可以是例如音頻數(shù)據(jù)或其它信號(hào)數(shù)據(jù)，而不是圖像數(shù)據(jù)。至少根據(jù)一個(gè)核心矩陣來處理給定信號(hào)矩陣，從而取得某種預(yù)期效果。更特別地，為了取得所述大小的預(yù)期效果，調(diào)整預(yù)期效果的大小，所述預(yù)期效果是由于根據(jù)核心矩陣處理所述信號(hào)矩陣而取得的。
[0062]在一種實(shí)施方式中，在將經(jīng)修改的核心矩陣應(yīng)用于信號(hào)數(shù)據(jù)之前，所述應(yīng)用于信號(hào)數(shù)據(jù)的核心矩陣根據(jù)將在后續(xù)章節(jié)中列出的一個(gè)或多個(gè)參數(shù)進(jìn)行了一次或多次的修改。根據(jù)所述一個(gè)或多個(gè)參數(shù)來修改所述核心矩陣允許取得所述大小的預(yù)期效果。在另一種實(shí)施方式中，利用未修改的核心和一些其他值(一個(gè)或多個(gè))，包括但不限于輸入圖像中的初始像素值，某一像素的最終處理結(jié)果可能是去卷積結(jié)果的加權(quán)和。每個(gè)被求和的值的權(quán)可根據(jù)將在后續(xù)章節(jié)列出的若干參數(shù)進(jìn)行修改。所述修改可基于這些因素，這些因素包括但不限于信號(hào)數(shù)據(jù)的信噪比、用于采集信號(hào)數(shù)據(jù)的設(shè)備的屬性(例如，鏡頭)、空間相關(guān)信息(例如，像素位置)、或者根據(jù)信號(hào)數(shù)據(jù)分析獲得的度量(例如，當(dāng)前正處理的像素的鄰域中的像素)。
[0063]根據(jù)本發(fā)明“銳化”實(shí)施方式處理圖像數(shù)據(jù)目標(biāo)在于恢復(fù)已損失的對(duì)比度。對(duì)比度可能例如由于用來采集圖像數(shù)據(jù)的光學(xué)器件(optics)屬性而損失。然而，該銳化實(shí)施方式不要求使用任何特定的鏡頭。所述銳化實(shí)施方式的目的是恢復(fù)一些由于鏡頭的光學(xué)器件屬性而損失的圖像對(duì)比度，以便對(duì)于遠(yuǎn)距離對(duì)像的圖像和近距離對(duì)像的圖像來說，最終圖像都具有好的對(duì)比度，雖然付出了合理的S/N代價(jià)。所述銳化實(shí)施方式可以利用硬件、軟件或硬件和軟件的某種組合實(shí)施為一種圖像信號(hào)處理(ISP)模塊。
[0064]在一種實(shí)施方式中，所使用的核心具有高通或帶通頻率響應(yīng)，這通過增強(qiáng)圖像中的差異來允許所述核心銳化圖像。所述差異的實(shí)施例包括暗/亮區(qū)域之間的邊緣、形狀、輪廓等。然而，在圖像中相對(duì)均一的表面(例如，諸如灰墻或藍(lán)天之類)上應(yīng)用這些核心，可導(dǎo)致放大存在于這些像素之間的小差異。像素之間的這些小差異可能由噪聲(隨機(jī)噪聲或固定模式噪聲)造成。因此，應(yīng)用這些核心可能在圖像的“平的”、均一的、無信息的區(qū)域中導(dǎo)致非期望的噪聲放大。這種不在預(yù)期內(nèi)的噪聲在低光照條件下可能特別嚴(yán)重。本文公開了若干種避免放大在圖像的“平的”區(qū)域中的噪聲的技術(shù)，而保留了期望區(qū)域中的對(duì)比度。
[0065]在一種實(shí)施方式中，根據(jù)S/N圖形調(diào)整每個(gè)核心的增益(例如，他們提供的銳化的量)。因而，當(dāng)處理具有很差S/N的圖像或其一部分時(shí)，可降低核心的增益。作為一個(gè)特定實(shí)施例，當(dāng)處理在極低光照下采集的圖像時(shí)，可降低所述核心的增益。在一種實(shí)施方式中，通過根據(jù)S/N參數(shù)修改所述核心，并接著將該經(jīng)修改的核心應(yīng)用于圖像，來調(diào)整所述核心的增益。在另一種實(shí)施方式中，在將未經(jīng)修改的核心應(yīng)用于圖像之后，根據(jù)S/N參數(shù)執(zhí)行縮方文(scaling)。
[0066]在一種實(shí)施方式中，根據(jù)正處理的圖像的當(dāng)前部分的空間位置，來調(diào)整核心的增益。在一種實(shí)施方式中，空間位置相關(guān)調(diào)整補(bǔ)償了用來采集圖像數(shù)據(jù)的鏡頭的屬性。自動(dòng)聚焦和標(biāo)準(zhǔn)鏡頭可能遭受到徑向降低照明輪廓。也就是說，穿過鏡頭的光的數(shù)量在鏡頭的高區(qū)域遠(yuǎn)低于鏡頭的中間。因此，與中心相比，S/N可能在圖像邊界處更低。在一些設(shè)計(jì)中，邊界處的照明是中間區(qū)域的值的大約50-55%。然而，邊界處的照明可能大于或小于50-55%。在一種實(shí)施方式中，通過根據(jù)陰影參數(shù)修改所述核心，并接著將該經(jīng)修改的核心應(yīng)用于圖像，來調(diào)整所述核心的增益。在另一種實(shí)施方式中，在將未經(jīng)修改的核心應(yīng)用于圖像之后，根據(jù)陰影參數(shù)執(zhí)行縮放。因此，根據(jù)本發(fā)明的實(shí)施方式，在圖像邊界獲得更好的S/N，且獲取更好看的圖像。
[0067]在一種實(shí)施方式中，根據(jù)描述當(dāng)前正處理像素的鄰域中的圖像的某種特征的度量，來修改應(yīng)用所述核心的效果。在一種實(shí)施方式中，所述度量是基于當(dāng)前像素的鄰域中的像素的統(tǒng)計(jì)分析的。例如，所述統(tǒng)計(jì)分析可以基于圖像數(shù)據(jù)矩陣中的元之間的標(biāo)準(zhǔn)偏差、圖像矩陣中元的直方圖、或者圖像矩陣中元中的熵。然而，所述度量亦可基于當(dāng)前像素的鄰域中特定像素之間的梯度計(jì)算。在一種實(shí)施方式中，根據(jù)所述度量修改核心。所述經(jīng)修改的核心接著應(yīng)用于圖像數(shù)據(jù)。在另一種實(shí)施方式中，在將未經(jīng)修改的核心應(yīng)用于圖像之后，根據(jù)所述度量執(zhí)行縮放。
[0068]在一些應(yīng)用中，核心可能往往用來抵消PSF。也就是說，核心可能是表示采集信號(hào)的設(shè)備中的諸如模糊之類的光學(xué)像差的PSF的倒數(shù)。然而，并不是必需核心為PSF的倒數(shù)。此外，本文有一些實(shí)施例，在這些實(shí)施例中，核心用來增強(qiáng)圖像對(duì)比度。然而，本文所描述的方法被應(yīng)用于核心以增強(qiáng)圖像對(duì)比度并不是必需的。此外，本文有一些實(shí)施例，在這些實(shí)施例中，核心用于圖像處理。然而，更一般地說，本文所描述的技術(shù)可應(yīng)用于用于任意數(shù)字信號(hào)處理應(yīng)用的核心。
[0069]在一種實(shí)施方式中，用于銳化圖像(對(duì)比度增強(qiáng))的相同機(jī)制亦用來減少或消除圖像中運(yùn)動(dòng)模糊或晃動(dòng)的效果。使用相同機(jī)制進(jìn)行運(yùn)動(dòng)模糊校正和對(duì)比度增強(qiáng)，可根據(jù)硅尺寸、處理器周期、復(fù)雜度及成本產(chǎn)生更好的解決方案。
[0070]2.0圖像信號(hào)處理鏈實(shí)施例
[0071]在數(shù)字靜止照相機(jī)模塊中，處理原始圖像、并輸出保存在非易失性存儲(chǔ)器中的最終圖像(例如，JPEG圖像、TIFFany圖像等等)的該組算法稱作圖像信號(hào)處理鏈，或者稱作ISP鏈。圖1a描繪了 ISP鏈100中出現(xiàn)的典型階段。ISP鏈可擁有其它階段，且不必?fù)碛袌D1a中所描述的所有階段。各階段可處于不同的順序。
[0072]在一種實(shí)施方式中，數(shù)字自動(dòng)聚焦實(shí)施為一獨(dú)立方框，充當(dāng)ISP鏈的一部分。所述實(shí)施例1SP鏈100示出了一種典型的沒有數(shù)字自動(dòng)聚焦方框的ISP鏈。所述實(shí)施例1SP鏈100包括下列階段。模擬增益101應(yīng)用A/D轉(zhuǎn)換之前的增益來補(bǔ)償暗圖像(例如，在采用低曝光時(shí)間的同時(shí))。黑級(jí)校正(black level correction) 102從圖像中移除最低值(即，從傳感器輸出的“暗電流”)。壞像素校正106定位圖像中的產(chǎn)生錯(cuò)誤的極低或極高值的“燒傷”的像素，以及用該環(huán)境的“精確(smart)”平均值替換這些像素。在具有BAYER模式的CMOS傳感器中，Gr/Gb補(bǔ)償107補(bǔ)償了可能出現(xiàn)在與藍(lán)色像素共行的綠色像素值和與紅色像素共行的綠色像素值之間的差異。圖像傳感器使用BAYER格式并不是必需的。為了平衡顏色及補(bǔ)償光照條件和光級(jí)(light level),白平衡和數(shù)字增益108將增益應(yīng)用于每種顏色(綠-紅、紅、綠-藍(lán)、藍(lán))，同時(shí)保持了動(dòng)態(tài)范圍。[0073]通過增強(qiáng)遠(yuǎn)離中心的像素的亮度，鏡頭陰影校正109補(bǔ)償了鏡頭陰影輪廓。噪聲移除110從圖像中移除了隨機(jī)噪聲和固定模式噪聲。顏色插值法(去馬賽克)112將BAYER圖像內(nèi)插到全RGB圖像中，在所述全RGB圖像中每個(gè)像素具有三個(gè)顏色通道值。
[0074]銳化114增強(qiáng)了圖像中的對(duì)比度。如隨后將進(jìn)行的更詳細(xì)的描述，數(shù)字自動(dòng)聚焦方框不同于銳化方框，在銳化方框中，數(shù)字自動(dòng)聚焦補(bǔ)償了 PSF。
[0075]顏色校正矩陣115負(fù)責(zé)圖像的顏色精確度和顏色飽和度。伽馬校正116將伽馬(Y)曲線應(yīng)用于圖像。JPEG壓縮118將來自完全BMP圖像的圖像壓縮成JPEG圖像，該JPEG圖像接著可保存到非易失性存儲(chǔ)器(諸如閃存)中?？刹捎贸?JPEG之外的壓縮。
[0076]在ISP鏈中，數(shù)字自動(dòng)聚焦方框可位于多個(gè)可能位置。圖1b描繪了根據(jù)實(shí)施方式的ISP鏈100a，該ISP鏈合并了數(shù)字自動(dòng)聚焦方框111。在ISP鏈IOOa中，例如，數(shù)字自動(dòng)聚焦方框111就位于去馬賽克方框112之前，S卩，它被應(yīng)用于BAYER圖像上。圖1c描繪了根據(jù)實(shí)施方式的ISP鏈100b，該ISP鏈亦合并了數(shù)字自動(dòng)聚焦方框111。在ISP鏈IOOb中，數(shù)字自動(dòng)聚焦方框111位于去馬賽克方框112之后，即，它被應(yīng)用于RGB圖像上。在ISPlOOa和ISPlOOb這兩種情況中，并不是數(shù)字自動(dòng)聚焦方框必需恰好位于所描繪位置-它也可位于ISP中的任何地方。在一種實(shí)施方式中，數(shù)字自動(dòng)聚焦方框111出現(xiàn)在壞像素校正106之后，因?yàn)閿?shù)字自動(dòng)聚焦111可增強(qiáng)壞像素效果。在另一種實(shí)施方式中，推薦數(shù)字自動(dòng)聚焦方框出現(xiàn)在bayer去噪方框110、鏡頭陰影校正109方框、白平衡方框108、Gr/Gb補(bǔ)償方框107、壞像素校正方框106和黑級(jí)校正方框102之后，因?yàn)檫@些方框?qū)鞲衅骷安糠昼R頭故障做了校正。請(qǐng)注意，將數(shù)字自動(dòng)聚焦方框合并到ISP中，可造成銳化方框114變成不必要的。
[0077]ISP鏈100整體上可以提供用于低分辨率屏幕的優(yōu)質(zhì)圖像，甚至不必應(yīng)用數(shù)字自動(dòng)聚焦111階段。因而，在預(yù)覽模式下(這時(shí)，在采集圖像之前，圖像顯示在手機(jī)的預(yù)覽屏幕上)激活數(shù)字自動(dòng)聚焦111并不是必需的。
[0078]在該算法的一種實(shí)施方式中，采集圖像的照相機(jī)模塊系統(tǒng)包括一微距/正常(macro/normal)特征，使用戶選擇是采集近距離圖像(例如20_40cm)還是采集遠(yuǎn)距離圖像(例如，40cm-無限遠(yuǎn))。在一種實(shí)施方式中，將模式選擇輸入到數(shù)字自動(dòng)聚焦111中，且可用來改變所述處理。例如，可使用不同的去卷積核心，或者可根據(jù)拍攝模式，來改變所述核心。來自ISP鏈100的其它階段的其它參數(shù)亦可輸入到數(shù)字自動(dòng)聚焦階段111中。作為一種實(shí)施例，另一階段提供了具有圖像的S/N圖形的數(shù)字自動(dòng)聚焦階段111。所述數(shù)字自動(dòng)聚焦階段111根據(jù)S/N圖形調(diào)整銳化的量。在一種實(shí)施方式中，銳化的量是基于像素位置的，其可由ISP鏈100中的另一階段提供。然而，將用正常/微距模式來在不同核心之間進(jìn)行選擇并不是必需的-單組核心可同時(shí)支持遠(yuǎn)、近距離。
[0079]3.0去卷積綜述
[0080]在一種實(shí)施方式中，核心用來執(zhí)行bayer去卷積。然而,去卷積僅僅是可如何使用核心的一種實(shí)施例。bayer圖像可塑造為像素值的2D矩陣，從而使得根據(jù)每個(gè)單元值所表示的傳感器像素上的濾色器，每個(gè)單元值具有其特有的顏色-紅、綠或藍(lán)。圖8示出了一幅示例性bayer圖像800，其具有紅(R)、藍(lán)(B)和綠(G)色像素。像素的位置表示圖像數(shù)據(jù)中與該顏色的核心卷積的像素位置。每種顏色均有中心像素80lg、80Ir、80Ib,其標(biāo)識(shí)了圖像信號(hào)中的所述像素，其像素值通過將適當(dāng)?shù)念伾诵木仃嚺c圖像信號(hào)中的對(duì)應(yīng)像素進(jìn)行卷積來修改。
[0081]根據(jù)一種實(shí)施方式，bayer卷積使用三個(gè)2D核心-每個(gè)像素顏色一個(gè)核心-來定義參加卷積的像素以及與每個(gè)像素相乘的系數(shù)值。核心尺寸可根據(jù)支持來定義，該支持指將所述核心置于圖像上時(shí)核心將“覆蓋”信號(hào)圖像中的像素的數(shù)目。參考圖8，核心支持尺寸是9x9。核心可支持許多其它的尺寸。在另一種實(shí)施方式中，綠色像素被分成與藍(lán)色像素(Gb)共列的綠色像素和與紅色像素(GJ共列的綠色像素。在這樣的實(shí)施方式中，有兩個(gè)綠色核心，一個(gè)用于Gb，另一個(gè)用于4，這兩個(gè)綠色核心與所述紅色或藍(lán)色像素核心具有類似的構(gòu)造。
[0082]請(qǐng)注意，在一些實(shí)施方式中，所述卷積不會(huì)混合不同的顏色。也就是說，在一些實(shí)施方式中，每個(gè)中心像素均與各相同顏色的環(huán)繞像素(surrounding pixels)進(jìn)行卷積。然而，在其它實(shí)施方式中，卷積確實(shí)混合顏色。例如，當(dāng)處理紅色中心像素時(shí)，來自藍(lán)和/或綠色像素的信息可用于去卷積中。因而，給定顏色的核心矩陣可在對(duì)應(yīng)于不同顏色像素的位置處具有非零系數(shù)。
[0083]核心的系數(shù)與采集圖像中的對(duì)應(yīng)像素相乘，他們?nèi)壳蠛停⑶覍⑺鼋Y(jié)果寫入輸出圖像中的適宜位置中。圖像中的那些對(duì)應(yīng)像素在本文被稱為“當(dāng)前圖像窗口”。例如，圖8中的核心支持9x9像素環(huán)境。在圖8中，紅色像素和藍(lán)色像素都形成5x5矩陣。當(dāng)處理中心紅色像素801r時(shí)，采集圖像中圍繞中心紅色像素801r的紅色像素是當(dāng)前圖像窗口。因而，在該實(shí)施例中，當(dāng)前圖像窗口僅包括單一顏色的像素。然而，對(duì)于某些類型的處理，當(dāng)前圖像窗口可具有不止一種顏色的像素-例如，如果核心混合顏色-即包含與不同于執(zhí)行所述處理的中心像素的顏色像素相乘的系數(shù)-那么他們操作的圖像窗口也必須包括這些像素。請(qǐng)注意，對(duì)于像素總數(shù)為41來說綠色像素有5x5模式和4x4模式。每個(gè)模式的中心像素是其值通過卷積更新的像素。在該實(shí)施例中，使用bayer卷積，其中對(duì)于每種顏色，僅使用了相同顏色的像素。因而，紅色模式用于根據(jù)紅色中心像素和該模式中的鄰近紅色像素來更新紅色中心像素801r。
[0084]表1描繪了用于卷積綠`色像素的3x3支持核心的示例性bayer濾波器的系數(shù)。當(dāng)該核心的中心系數(shù)落在綠色像素上時(shí)，僅綠色像素進(jìn)行卷積。請(qǐng)注意，實(shí)際上對(duì)具有O值的核心系數(shù)執(zhí)行乘法并不是必需的。
[0085]表1
【權(quán)利要求】
1.一種方法，包括: 接收信號(hào)矩陣，所述信號(hào)矩陣包括多個(gè)像素值，對(duì)應(yīng)于所采集的圖像的一部分； 訪問核心矩陣，所述核心矩陣在應(yīng)用于所述信號(hào)矩陣時(shí)產(chǎn)生特定大小的效果，其中所述效果包括銳化所采集的圖像的對(duì)應(yīng)于所述信號(hào)矩陣的那一部分； 至少部分地基于與所述信號(hào)矩陣相關(guān)的一個(gè)或多個(gè)參數(shù)來計(jì)算一個(gè)或多個(gè)矩陣，其中所述一個(gè)或多個(gè)矩陣包括第一矩陣，該第一矩陣基于所述信號(hào)矩陣的噪聲參數(shù)計(jì)算出；以及至少部分地基于所述一個(gè)或多個(gè)矩陣，將把核心矩陣應(yīng)用于信號(hào)矩陣的效果從特定大小調(diào)整到預(yù)期大小，其中，上述效果的調(diào)整包括:至少部分地基于第一矩陣調(diào)整所述效果，使得在所采集的圖像中存在的噪聲越多，在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分上執(zhí)行的銳化越少。
2.—種方法，包括: 接收信號(hào)矩陣，所述信號(hào)矩陣包括多個(gè)像素值，對(duì)應(yīng)于所采集的圖像的一部分； 訪問核心矩陣，所述核心矩陣在應(yīng)用于所述信號(hào)矩陣時(shí)產(chǎn)生特定大小的效果，其中所述效果包括銳化所采集的圖像的對(duì)應(yīng)于所述信號(hào)矩陣的那一部分； 至少部分地基于與所述信號(hào)矩陣相關(guān)的一個(gè)或多個(gè)參數(shù)來計(jì)算一個(gè)或多個(gè)矩陣，其中所述一個(gè)或多個(gè)矩陣包括第一矩陣，基于在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分和所采集的圖像的鏡頭中心之間的距離(R)計(jì)算出所述第一矩陣；以及 至少部分地基于所述一個(gè)或多個(gè)矩陣，將把核心矩陣應(yīng)用于信號(hào)矩陣的效果從特定大小調(diào)整到預(yù)期大小，其中，上述效果的調(diào)整包括:至少部分地基于第一矩陣調(diào)整所述效果，使得在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分和所采集的圖像的鏡頭中心之間的距離(R)越大，在所采集的`圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分上執(zhí)行的銳化越少。
3.一種圖像處理裝置，包括: 鏡頭; 圖像采集設(shè)備，光學(xué)耦合至所述鏡頭，其中所述圖像采集設(shè)備采集圖像；以及 圖像處理器，該圖像處理器被配置為執(zhí)行如下操作: 從所述圖像采集設(shè)備接收信號(hào)矩陣，所述信號(hào)矩陣包括多個(gè)像素值，對(duì)應(yīng)于所采集的圖像的一部分； 訪問核心矩陣，所述核心矩陣在應(yīng)用于所述信號(hào)矩陣時(shí)產(chǎn)生特定大小的效果，其中所述效果包括銳化所采集的圖像的對(duì)應(yīng)于所述信號(hào)矩陣的那一部分； 至少部分地基于與所述信號(hào)矩陣相關(guān)的一個(gè)或多個(gè)參數(shù)來計(jì)算一個(gè)或多個(gè)矩陣，其中所述一個(gè)或多個(gè)矩陣包括第一矩陣，該第一矩陣基于所述信號(hào)矩陣的噪聲參數(shù)計(jì)算出；以及至少部分地基于所述一個(gè)或多個(gè)矩陣，將把核心矩陣應(yīng)用于信號(hào)矩陣的效果從特定大小調(diào)整到預(yù)期大小，其中，上述效果的調(diào)整包括:至少部分地基于第一矩陣調(diào)整所述效果，使得在所采集的圖像中存在的噪聲越多，在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分上執(zhí)行的銳化越少。
4.一種圖像處理裝置，包括: 鏡頭; 圖像采集設(shè)備，光學(xué)耦合至所述鏡頭，其中所述圖像采集設(shè)備采集圖像；以及 圖像處理器，該圖像處理器被配置為執(zhí)行如下操作:從所述圖像采集設(shè)備接收信號(hào)矩陣，所述信號(hào)矩陣包括多個(gè)像素值，對(duì)應(yīng)于所采集的圖像的一部分； 訪問核心矩陣，所述核心矩陣在應(yīng)用于所述信號(hào)矩陣時(shí)產(chǎn)生特定大小的效果，其中所述效果包括銳化所采集的圖像的對(duì)應(yīng)于所述信號(hào)矩陣的那一部分； 至少部分地基于與所述信號(hào)矩陣相關(guān)的一個(gè)或多個(gè)參數(shù)來計(jì)算一個(gè)或多個(gè)矩陣，其中所述一個(gè)或多個(gè)矩陣包括第一矩陣，基于在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分和所采集的圖像的鏡頭中心之間的距離(R)計(jì)算出所述第一矩陣；以及 至少部分地基于所述一個(gè)或多個(gè)矩陣，將把核心矩陣應(yīng)用于信號(hào)矩陣的效果從特定大小調(diào)整到預(yù)期大小，其中，上述效果的調(diào)整包括:至少部分地基于第一矩陣調(diào)整所述效果，使得在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分和所采集的圖像的鏡頭中心之間的距離(R)越大，在所采集的圖像的對(duì)應(yīng)于信號(hào)矩陣的那一部分上執(zhí)行的銳化越少。
【文檔編號(hào)】G06T5/20GK103561206SQ201310331810
【公開日】2014年2月5日 申請(qǐng)日期:2008年4月24日 優(yōu)先權(quán)日:2007年4月24日
【發(fā)明者】諾伊·科恩, 加爾·沙巴塔, 埃弗拉伊姆·戈?duì)柕秦惛? 達(dá)維德·門德爾歐維奇, 達(dá)維德·瓦拉 申請(qǐng)人:帝歐希數(shù)字光學(xué)科技（歐洲）有限公司