圖像處理方法、圖像處理裝置和圖像捕獲裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及提高捕獲圖像的質量的圖像處理技術。
【背景技術】
[0002]在通過使用諸如照相機的圖像捕獲裝置進行圖像捕獲時，入射圖像捕獲光學系統(tǒng)的光的一部分可能被透鏡表面或透鏡支架反射，因此可能作為不需要光(unwanted light)到達圖像拾取平面。到達圖像拾取平面的不需要光形成高密度光斑圖像并且寬范圍地覆蓋物體圖像，從而成為重影或耀斑。該重影和耀斑均表現(xiàn)為捕獲圖像中的不需要成分(unwanted component)。
[0003]另一方面，在望遠透鏡中使用具有位置最接近物體側的透鏡的衍射光學元件以校正軸向(縱向)色差和倍率色差可能由于從存在于圖像捕獲場角之外的高亮物體(諸如太陽)發(fā)射的光命中衍射光學元件而導致模糊的不需要光出現(xiàn)在捕獲圖像的整個部分中。在這種情況下的不需要光也表現(xiàn)為捕獲圖像中的不需要成分。
[0004]為了避免這一問題，傳統(tǒng)地已經(jīng)提出光學地減少不需要光的方法和通過數(shù)字圖像處理去除不需要成分的方法。作為后一方法中的一個，日本專利特開N0.2008-54206公開了從差異圖像檢測重影的方法，該差異圖像指示在圖像捕獲光學系統(tǒng)相對于物體處于合焦狀態(tài)的情況下提供的圖像(合焦圖像)和在圖像捕獲光學系統(tǒng)相對于物體處于失焦狀態(tài)的情況下提供的另一圖像(失焦圖像)之間的差異。此外，作為后一方法中的另一個，日本專利特開N0.2011-205531公開了比較由通過單一透鏡的三維圖像捕獲提供的多視點圖像、從而檢測重影的方法。
[0005]然而，日本專利特開N0.2008-54206中公開的方法要求在合焦狀態(tài)中的圖像捕獲和在失焦狀態(tài)中的圖像捕獲(即，多次圖像捕獲)，并因此不適合運動物體的靜態(tài)圖像捕獲以及不適合運動圖像捕獲。
[0006]另一方面，日本專利特開N0.2011-205531中公開的方法可以由通過單一透鏡的一次三維圖像捕獲提供多個視差圖像，因此可以被用于運動物體的靜態(tài)圖像捕獲以及用于動態(tài)圖像捕獲。然而，在日本專利特開N0.2011-205531中公開的方法僅使用兩個圖像(它們是作為待被比較的視點圖像的主圖像和子圖像)的差異來檢測重影，因此在存在從三個或更多視點捕獲的視點圖像的情況下降低了重影檢測效果。

【發(fā)明內容】

[0007]本發(fā)明提供了一種圖像處理方法、圖像處理裝置和圖像捕獲裝置，每一個都可在不執(zhí)行多次圖像捕獲的情況下、高精度檢測多個視差圖像(特別地，三個或更多個視點圖像)中包含的不需要成分。
[0008]作為本發(fā)明的一個方面，本發(fā)明提供一種圖像處理方法，該圖像處理方法包括獲取通過物體的圖像捕獲產(chǎn)生的多個視差圖像，該視差圖像相互有視差；通過使用各個視差圖像作為基準圖像(base image)來獲取關于每個基準圖像和多個視差圖像中至少一個其他視差圖像之間的相對差異的相對差異信息；并且通過使用該相對差異信息檢測每個視差圖像中包含的不需要成分。
[0009]作為本發(fā)明的另一方面，本發(fā)明提供一種圖像處理裝置，該圖像處理裝置包括圖像獲取器和檢測器，該圖像獲取器被配置為獲取通過物體的圖像捕獲產(chǎn)生的多個視差圖像，該視差圖像相互有視差，該檢測器被配置為通過使用各個視差圖像作為基準圖像來獲取關于每個基準圖像和多個視差圖像中至少一個其他視差圖像之間的相對差異的相對差異信息，并且通過使用該相對差異信息檢測每個視差圖像中包含的不需要成分。
[0010]作為本發(fā)明的還另一方面，本發(fā)明提供一種圖像捕獲裝置，該圖像捕獲裝置包括圖像捕獲器和以上圖像處理裝置，該圖像捕獲器被配置為通過物體的圖像捕獲產(chǎn)生相互有視差的多個視差圖像。
[0011]作為本發(fā)明的仍另一方面，本發(fā)明提供一種圖像處理方法，該圖像處理方法包括獲取通過物體的圖像捕獲產(chǎn)生的多個視差圖像，該視差圖像相互有視差；并且從作為多個視差圖像中的每一個的目標圖像檢測多個視差圖像中至少一個其他視差圖像中未包含的圖像成分作為目標圖像中包含的不需要成分。
[0012]作為本發(fā)明的另外的另一方面，本發(fā)明提供一種圖像處理裝置，該圖像處理裝置包括圖像獲取器和檢測器，該圖像獲取器被配置為獲取通過物體的圖像捕獲產(chǎn)生的多個視差圖像，該視差圖像相互有視差，該檢測器被配置為從作為多個視差圖像中的每一個的目標圖像檢測多個視差圖像中至少一個其他視差圖像中未包含的圖像成分作為目標圖像中包含的不需要成分。
[0013]作為本發(fā)明的還另外另一方面，本發(fā)明提供一種圖像捕獲裝置，該圖像捕獲裝置包括圖像捕獲器和以上圖像處理裝置，該圖像捕獲器被配置為通過物體的圖像捕獲產(chǎn)生相互有視差的多個視差圖像。
[0014]從以下的描述和附圖，本發(fā)明的其他方面將會變得清晰。
【附圖說明】
[0015]圖1A到IF示出了作為本發(fā)明的實施例1的圖像處理方法的過程。
[0016]圖2A和2B示出了由作為本發(fā)明的實施例1的圖像處理方法提供的輸出圖像的示例。
[0017]圖3A和3B示出了使用實施例1的圖像處理方法的圖像捕獲裝置中的圖像傳感器的光接收器和圖像捕獲光學系統(tǒng)的光瞳之間的關系。
[0018]圖4是示出了實施例1的圖像捕獲裝置的配置的框圖。
[0019]圖5A到5C解釋了圖像捕獲光學系統(tǒng)和在其中產(chǎn)生的不需要光。
[0020]圖6是示出實施例1的圖像處理方法的過程的流程圖。
[0021]圖7A和7B解釋了使用作為本發(fā)明的實施例2的圖像處理方法的圖像捕獲裝置中的圖像傳感器的光接收器和通過圖像捕獲光學系統(tǒng)的孔徑光闌的不需要光。
[0022]圖8A到8L示出了實施例2的圖像處理方法的過程。
[0023]圖9A到9L示出了實施例2的圖像處理方法的另一過程。
[0024]圖10是示出了實施例2的圖像處理方法的過程的流程圖。
[0025]圖1lA到IlL示出了作為本發(fā)明的實施例3的圖像處理方法的過程。
[0026]圖12A到12L示出了實施例3的圖像處理方法的另一過程。
[0027]圖13是示出實施例3的圖像處理方法的過程的流程圖。
[0028]圖14示出了作為本發(fā)明的實施例4的圖像捕獲裝置的圖像捕獲系統(tǒng)。
[0029]圖15A和15B示出了作為實施例4的另一圖像捕獲裝置的圖像捕獲系統(tǒng)。
[0030]圖16示出了傳統(tǒng)圖像傳感器。
[0031]圖17A和17B示出了由圖15A中示出的圖像捕獲系統(tǒng)提供的圖像。
[0032]圖18示出了由圖14和15B示出的圖像捕獲系統(tǒng)提供的圖像。
[0033]圖19A和19B不出了實施例4的另一圖像捕獲方法和另一圖像捕獲裝置的不例。
[0034]圖20A和20B示出了在本發(fā)明的實施例5中選擇的不需要成分減少處理區(qū)域的示例。
【具體實施方式】
[0035]下面將參考附圖描述本發(fā)明的示例性實施例。
[0036]實施例1
[0037]能夠產(chǎn)生將被用在本發(fā)明的各實施例中的多個視差圖像的圖像捕獲裝置包括圖像捕獲器，該圖像捕獲器被配置為將通過圖像捕獲光學系統(tǒng)的光瞳的互不相同區(qū)域的光束引導至圖像傳感器上設置的互不相同光接收器(像素)并光電轉化該光束。
[0038]圖3A示出了圖像捕獲器中圖像傳感器的光接收器和圖像捕獲光學系統(tǒng)的光瞳之間的關系。在圖3A中，符號ML表不微透鏡,CF表不濾色鏡，以及EXP表不圖像捕獲光學系統(tǒng)的出射光瞳。符號Gl和G2表示光接收器(以下分別被稱為“像素G1”和“像素G2”)。一個像素Gl和一個像素G2是成對像素。該成對像素Gl和G2(像素對或像素組)以復數(shù)形式被布置在圖像傳感器上。每一成對像素Gl和G2經(jīng)由它們共同的微透鏡ML(即，各微透鏡ML對于各像素對被提供)與出射光瞳EXP具有共軛關系。設置在圖像傳感器上的多個像素Gl被統(tǒng)稱為“G1像素組”，并且類似地，設置在圖像傳感器上的多個像素G2也被統(tǒng)稱為“G2像素組”。
[0039]圖3B示意性地示出了假設在出射光瞳EXP的位置處設置薄透鏡而不是圖3A中示出的微透鏡ML時的圖像捕獲器。像素Gl接收通過出射光瞳EXP的區(qū)域Pl的光束，并且像素G2接收通過出射光瞳EXP的區(qū)域P2的光束。符號OSP表示在其上執(zhí)行圖像捕獲的物體點。不一定需要物體出現(xiàn)在物體點OSP處。依賴于光瞳中的光束通過的區(qū)域(位置)，通過物體點OSP的光束入射到像素Gl或像素G2。光束通過光瞳中的互不相同區(qū)域對應于來自物體點OSP的入射光依賴于入射角度(視差)分離。即，使用來自為微透鏡ML提供的像素Gl的輸出信號產(chǎn)生的圖像和使用來自為同一微透鏡ML提供的像素G2的輸出信號產(chǎn)生的圖像構成相互有視差的多個(在圖3B中，成對的)視差圖像。在以下的描述中，通過互不相同的光接收器(像素)接收通過光瞳中互不相同區(qū)域的光束也被稱為“光瞳分割”。
[0040]此外，在圖3A和3B中，當由于出射光瞳EXP的位置偏移等造成上述共軛關系變得不完美或區(qū)域Pl和P2部分相互重疊時提供的多個圖像被認為是各實施例中的視差圖像。
[0041]圖4示出了使用作為本發(fā)明的實施例1的圖像處理方法的圖像捕獲裝置的基本配置。圖像捕獲光學系統(tǒng)201包括孔徑光闌201a和使得來自物體(未示出)的光在圖像傳感器202上形成物體圖像的聚焦透鏡201b。由諸如CXD傳感器和CMOS傳感器的光電轉換元件組成的該圖像傳感器202通過利用其上的像素(光接收器)接收通過圖像捕獲光學系統(tǒng)201的出射光瞳中互不相同的區(qū)域的光束來執(zhí)行使用圖3A和3B描述的光瞳分割，該像素(光接收器)對應于上述區(qū)域。
[0042]由圖像傳感器202的光電轉換產(chǎn)生的模擬電信號被A/D轉換器203轉換為數(shù)字信號，然后該數(shù)字信號被輸入到圖像處理器204。圖像處理器204執(zhí)行通常對數(shù)字信號執(zhí)行的圖像處理以產(chǎn)生捕獲圖像(在本實施例中，相互有視差的多個視差圖像)。該圖像處理器204對應于在圖像捕獲裝置中設置的圖像處理裝置。該圖像處理器204充當獲取視差圖像的圖像獲取器。此外，該圖像處理器204包括在每個視差圖像中檢測由于之后描述的不需要光而產(chǎn)生的不需要圖像成分(之后簡稱為“不需要成分”)的不需要成分檢測器204a。該圖像處理器204進一步包括執(zhí)行校正處理以