專利名稱：估計光源的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與示例性實施例一致的方法和設(shè)備涉及估計由圖像裝置獲得的圖像中的光源。
背景技術(shù)：
人的色彩感知系統(tǒng)確保在變化光照條件下感知到的對象的色彩保持相對恒定。例如，白紙在陽光下看起來是白色的。由于鹵素燈是橙色光源，因此白紙在鹵素燈下看起來是橙色的。然而，人感知到白紙在鹵素燈下與在陽光下一樣看起來也是白色的。人的色彩感知系統(tǒng)確保在變化光照條件下人感知到對象的原始色彩的這一特性被稱為顏色恒常性。顏色恒常性是指在電子拍攝裝置(諸如數(shù)碼照相機或數(shù)碼攝像機)中的白平衡調(diào)整。白平衡調(diào)整是RGB色彩通道中的調(diào)整，以使得非彩色的對象可看起來沒有顏色。在沒有關(guān)于原始光源和對象表面的光譜特性的信息的情況下不可能進行白平等調(diào)整。也就是說，由光源的光譜反射特性和對象表面的光譜反射特性的乘積(product)來表示由人眼察覺到的光譜特性。由于這兩個特性是未知的，所以在白平等調(diào)整時會出現(xiàn)問題。因此，已提出了各種算法，根據(jù)所述各種算法，通過針對光源、對象表面和觀看場景進行假設(shè)或限制，來對顏色恒常性進行建模。已常被用于解決顏色恒常性的算法之一是灰色假定(gray hypotheses)(例如，參考JP 3767541)?；疑俣ɑ谶@樣的經(jīng)驗數(shù)據(jù)由于各種色彩分布在視圖內(nèi)的普通場景中，因此各種色彩的平均色彩接近于灰色。如果平均色彩偏離灰色，則確定該偏離是由光源的色彩引起的?；谶@樣的確定，可通過在RGB色彩通道之間執(zhí)行調(diào)整來調(diào)整白平衡。該方法可具有低計算成本，并可容易地用在內(nèi)部裝置(諸如數(shù)碼照相機)中。另一方面，由于假設(shè)對象在物理上依賴于光源，所以根據(jù)場景，該假設(shè)會不正確，因此，光源的估計結(jié)果會變化。例如，當在紅色墻的一部分上存在灰色標志時，圖像的平均色彩是紅色。這里，根據(jù)灰色假定，確定紅色由光源的色彩引起。因此，為了使整個場景變灰，將紅色的相對色(opposite color)應(yīng)用到整個場景。因此，具有原始灰色的標志被改變?yōu)榧t色的相對色。這被稱為色彩偏離(color feria)。已提出了通過使用光源和對象表面的光譜特性來估計光源的方法(例如，參考 D. H. Brainard (D. H.布雷納德)和 W. T. Freeman (W. Τ.弗里曼)的"Baysian Color Constancy (Baysian 顏色恒常性)，，，J. Opt. Soc. Am. A, Vol. 14，No. 7，1997)。所述方法可通過在光源的光譜特性和對象表面的光譜特性之間具有較小差異的情況下在正交基上表示光源的光譜特性和對象表面的光譜特性，并針對光源、對象表面和拍攝系統(tǒng)進行假設(shè)或限制，或者組合關(guān)于光源、對象表面和拍攝系統(tǒng)的信息，在統(tǒng)計上增加估計光源的精確度。當使用所述方法時，可詳細地估計光源。然而，由于增加了計算操作的次數(shù)，因此當所述方法用于執(zhí)行針對圖像處理(諸如數(shù)碼相機中的白平衡處理)的計算時，會難以實時地執(zhí)行所述處理。作為在減少計算成本的同時考慮光源和對象表面的光譜特性來估計光源的類型的方法，已提出了亮色相關(guān)法(例如，參考J. Golz (高爾茲)和D. I.A. Macleod (麥克勞德) 的“Influence of scene statistics on color constancy (關(guān)于顏色恒常性的場景統(tǒng)計的影響)” NATURE，VOL. 415，7，2002年二月)。在該方法中，當光源是紅色時(這與光源是綠色或藍色的情況相同)，通過使用紅色區(qū)域的紅色加深的相關(guān)性來確定光源是否是白色的。參照圖9和圖10，將描述亮色相關(guān)性。圖9A、圖9B、圖10A、圖IOB和圖IOC是用于顯示亮色相關(guān)性的光譜分布的示意性示圖。在圖9A、圖9B、圖10A、圖IOB和圖10C中，垂直軸表示波長，水平軸表示與各波長相應(yīng)的能量。圖9A是用于顯示(從左邊開始)包括各種色彩的普通對象X的圖像的光譜分布、將光照射到對象X的紅色光源(Lr)的光譜分布和通過將光從紅色光源Lr照射到對象X而捕捉的圖像的光譜分布。在圖9A中，圖像的光譜的強度朝短波長(即，藍色)方向減小，并朝長波長(即，紅色)方向增加。也就是說，通過從紅色光源照射光而捕捉的圖像具有這樣的相關(guān)性隨著區(qū)域變亮，該區(qū)域的紅色程度增加。 當在圖像中存在多種色彩時，這樣的相關(guān)性是適當?shù)摹D9B是用于顯示(從左邊開始)紅色對象&的圖像的光譜分布、將光照射到對象&的白色光源Lh (例如，具有5500K色溫的光源)的光譜分布和通過從白色光源Lh照射光而捕捉的圖像的光譜分布。由于白色光源的光譜分布是平坦的，因此對象本身的光譜分布被察覺。因此，亮色不具有相關(guān)性。另外， 該相關(guān)性可被應(yīng)用到紅色程度以及藍色程度。圖10A至圖10C是用于顯示當從紅色光源照射光時的光譜分布的示意性示圖。圖 10A是用于顯示(從左邊開始)以下光譜分布的示意性示圖紅色區(qū)域Sr的圖像的光譜分布、將光照射到紅色區(qū)域Sr的光源Lr的光譜分布和通過將光從紅色光源Lr照射到紅色區(qū)域Sr而捕捉的圖像的光譜分布。圖10B是用于顯示(從左邊開始)以下光譜分布的示意性示圖綠色區(qū)域Sg的圖像的光譜分布、將光照射到綠色區(qū)域Sg的紅色光源Lr的光譜分布和通過將光從紅色光源Lr照射到綠色區(qū)域Sg而捕捉的圖像的光譜分布。圖10C是用于顯示(從左邊開始)以下光譜分布的示意性示圖藍色區(qū)域Sb的圖像的光譜分布、將光照射到藍色區(qū)域Sb的紅色光源Lr的光譜分布和通過將光從紅色光源Lr照射到藍色區(qū)域Sb 而捕捉的圖像的光譜分布。由于長波長具有低能量，因此，當從紅色光源Lr將光照射到藍色區(qū)域Sb時，藍色區(qū)域Sb比從紅色光源Lr將光照射到紅色區(qū)域Sr的情況更暗。藍色區(qū)域Sb中的反射光的短波長周圍的能量降低。然而，與紅色光被照射到紅色區(qū)域Sr的情況相比，藍色區(qū)域Sb具有更多短波長分量(這是因為藍色區(qū)域在短波長周圍具有寬光譜)。 也就是說，存在這樣的負相關(guān)性隨著藍色變暗，藍色加深。目前，已介紹了“亮色相關(guān)性”。根據(jù)所述方法，可通過使用少量的計算操作來估計光源(白色或非白色)的全部特征。這是因為與上述使用光譜反射特性的方法相比，不必考慮詳細的光譜特性。因此，所述方法具有用于克服色彩偏離(color feria)的問題的足夠性能并具有低計算成本。因此， 所述方法可被有效地用在內(nèi)部裝置中。另外，JP 3767541公開了一種從具有不同光譜敏感特性的傳感器的響應(yīng)值來估計指示將光照射到對象的光源的色彩的光譜特性的方法。然而，上述的亮色相關(guān)性受圖像的紋理度影響，其中，圖像的紋理度根據(jù)相機的位置或光源的強度產(chǎn)生。例如，當圖像的紋理平坦并且色彩的數(shù)量少時，由于亮度和色彩的輸入數(shù)據(jù)分布不能展開，因此亮色相關(guān)性會不穩(wěn)定。在真實環(huán)境中，為了穩(wěn)定地執(zhí)行光源的估計，引起這個問題的影響需要被降低。由于亮色相關(guān)性是基于輸入數(shù)據(jù)分布是正態(tài)分布的假設(shè)，因此當輸入數(shù)據(jù)的數(shù)量少或者數(shù)據(jù)具有離群值(outlier)時，這個假設(shè)不適當，因此，會無法計算正確的亮色相關(guān)性。另外，由于對象的鏡面反射，一些像素看上去是白色的。因此，在包括高亮區(qū)域的場景中，像素與離群值相應(yīng)，因此，亮色相關(guān)性會不穩(wěn)定。另外，在JP 3767541中，為了基于傳感器的響應(yīng)值估計指示光源的色彩的光譜特性，增加了計算操作的數(shù)量。另外，成像裝置需要包括具有不同光譜敏感特性的傳感器。

發(fā)明內(nèi)容
一個或多個示例性實施例提供一種用于估計光源的方法和設(shè)備，通過所述方法和設(shè)備，即使圖像的色彩紋理平坦并且色彩的數(shù)量少，也可通過使用少量計算操作非常精確地計算光源的類型。根據(jù)示例性實施例的一方面，提供一種光源估計設(shè)備，所述光源估計設(shè)備可包括 亮色相關(guān)性計算器，從產(chǎn)生自至少一個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)；色彩平衡計算器，計算所述圖像的整個區(qū)域的色彩平衡，以及所述圖像的平均色彩為灰色的中性灰色區(qū)域的色彩平衡；特征數(shù)據(jù)產(chǎn)生單元，基于亮色相關(guān)性數(shù)據(jù)、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)；識別器，基于所述圖像的特征數(shù)據(jù)，確定所述圖像中的光源的類型。也就是說，除了亮度和色彩之間的相關(guān)性數(shù)據(jù)之外，還可根據(jù)所述圖像的整個區(qū)域的色彩平衡以及中性灰色區(qū)域的色彩平衡來確定光源的類型。因此，即使所述圖像的色彩紋理平坦并且色彩的數(shù)量少，也可通過使用少量計算操作非常精確地計算光源的類型。光源估計設(shè)備還可包括紋理分析單元，計算指示所述圖像的色彩多樣性的色彩紋理特征，其中，特征數(shù)據(jù)產(chǎn)生單元基于亮色相關(guān)性數(shù)據(jù)、所述圖像的色彩紋理特征、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)。也就是說，除了亮度和色彩之間的相關(guān)性數(shù)據(jù)、所述圖像的整個區(qū)域的色彩平衡以及中性灰色區(qū)域的色彩平衡之外，還可根據(jù)色彩紋理特征來確定光源的類型。因此，可非常精確地計算光源的類型。光源估計設(shè)備還可包括亮度不規(guī)則性分析器，在所述圖像中指定具有恒定亮度的恒亮區(qū)域，其中，亮色相關(guān)性計算器計算所述圖像中的恒亮區(qū)域中的亮色相關(guān)性數(shù)據(jù)。也就是說，由于在恒亮區(qū)域中計算亮色相關(guān)性數(shù)據(jù)，因此，亮色相關(guān)性數(shù)據(jù)可被計算，而不依賴于光源的位置和強度，從而減少色彩偏離(color feria)。光源估計設(shè)備還可包括時間順序數(shù)據(jù)緩沖器，用于順序地存儲由成像裝置產(chǎn)生的多個圖像，其中，亮色相關(guān)性計算器從按時間順序存儲的多個圖像，計算亮色相關(guān)性數(shù)據(jù)。也就是說，由于通過使用多個圖像計算亮色相關(guān)性數(shù)據(jù)，所以亮色相關(guān)性數(shù)據(jù)可被非常精確地計算。另外，時間順序數(shù)據(jù)被用于與圖像信息的時間改變相應(yīng)，其中，所述圖像信息的時間改變由搖動、場景中對象運動的改變和光照的改變而引起。
識別器可包括學習單元，用于基于學習數(shù)據(jù)，學習用于從所述圖像的特征數(shù)據(jù)提取光源的類型的確定基礎(chǔ)，其中，學習數(shù)據(jù)包括學習到的多個模型圖像的特征數(shù)據(jù)以及分別與所述多個模型圖像相應(yīng)的光源的類型；識別單元，用于基于由學習單元學習的結(jié)果，確定與所述圖像的特征數(shù)據(jù)相應(yīng)的光源的類型。也就是說，由于基于學習的結(jié)果確定光源的類型，因此用于從特征數(shù)據(jù)提取光源的類型的確定基礎(chǔ)不必手動設(shè)置。根據(jù)另一示例性實施例的一方面，提供了一種估計光源的方法，所述方法包括從產(chǎn)生自至少一個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)；計算所述圖像的整個區(qū)域的色彩平衡，以及所述圖像的平均色彩為灰色的中性灰色區(qū)域的色彩平衡；基于亮色相關(guān)性數(shù)據(jù)、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)；基于所述圖像的特征數(shù)據(jù)，確定所述圖像中的光源的類型。所述方法還可包括計算指示所述圖像的色彩多樣性的色彩紋理特征，其中，基于亮色相關(guān)性數(shù)據(jù)、色彩紋理特征、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生特征數(shù)據(jù)。所述方法還可包括在所述圖像中指定具有恒定亮度的恒亮區(qū)域，其中，針對恒亮區(qū)域計算亮色相關(guān)性數(shù)據(jù)。可從產(chǎn)生自針對相同對象順序獲得的多個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)。確定所述圖像中的光源的類型的步驟可包括基于學習數(shù)據(jù)，學習用于從所述圖像的特征數(shù)據(jù)提取光源的類型的確定基礎(chǔ)，其中，學習數(shù)據(jù)包括學習到的多個模型圖像的特征數(shù)據(jù)以及分別與所述多個模型圖像相應(yīng)的光源的類型；基于學習的結(jié)果，確定與所述圖像的特征數(shù)據(jù)相應(yīng)的光源的類型。


通過參照附圖詳細描述示例性實施例，以上和其它方面將變得更清楚，其中圖1是根據(jù)示例性實施例的白平衡調(diào)整設(shè)備的框圖；圖2是根據(jù)示例性實施例的圖1的光源類型估計器的功能框圖；圖3是根據(jù)示例性實施例的估計光源的類型的處理的流程圖；圖4是根據(jù)示例性實施例的計算特征矢量的處理的流程圖；圖5A至圖5C是根據(jù)示例性實施例的通過將光從紅色光源照射到普通對象而捕捉的輸入圖像以及顯示輸入圖像中的亮度和色彩之間的相關(guān)性的示圖；圖6A和圖6B顯示根據(jù)示例性實施例的通過將光從白色光源照射到具有各種色彩的普通對象而捕捉的輸入圖像中的色彩相對于亮度的改變；圖7是顯示根據(jù)示例性實施例的亮色相關(guān)系數(shù)的二維散射圖的示圖；圖8是顯示根據(jù)示例性實施例的特征矢量的三維標圖的示圖；圖9是用于顯示根據(jù)示例性實施例的亮色相關(guān)性的光譜分布的示意性示圖；圖10是用于顯示根據(jù)示例性實施例的亮色相關(guān)性的光譜分布的另一示意性示圖。
具體實施例方式以下，將參照附圖詳細描述示例性實施例。圖1是根據(jù)示例性實施例的白平衡調(diào)整設(shè)備1的框圖。白平衡調(diào)整設(shè)備1是用于在轉(zhuǎn)換數(shù)碼攝像機、數(shù)碼照相機或包含相機的便攜式終端的對象的光學圖像并輸出圖像信號的裝置中調(diào)整圖像信號的白平衡的設(shè)備。白平衡調(diào)整設(shè)備1包括鏡頭101、光圈102、成像裝置103、自動增益控制(AGC)單元104、預處理器105、 圖像信息計算器106、光照強度檢測器107、驅(qū)動器108、光源類型估計器109、白平衡增益計算器111、白平衡控制器112、色彩校正控制器113、伽瑪校正控制器114和輸出單元115。鏡頭101在成像裝置103的接收表面上形成光學圖像。光圈102調(diào)整從鏡頭101 輸出到成像裝置103的光。成像裝置103對在接收表面上形戍的光學圖像執(zhí)行光電轉(zhuǎn)換以產(chǎn)生圖像信號，并將圖像信號輸出到AGC單元104。AGC單元104根據(jù)由光照強度檢測器107 檢測的光照強度將圖像信號的電平均勻化，并將電平被均勻化的圖像信號輸出到預處理器 105。預處理器105對輸入圖像信號執(zhí)行預處理(諸如噪聲去除、差錯校正和陰影校正)，并將圖像信號輸出到圖像信息計算器106和白平衡控制器112。圖像信息計算器106對由預處理器105預處理的輸入圖像信號進行壓縮或縮小， 以產(chǎn)生用于計算白平衡的壓縮圖像信號，并將壓縮圖像信號輸出到光照強度檢測器107、光源類型估計器109和白平衡增益計算器111。光照強度檢測器107根據(jù)輸入的壓縮圖像信號計算用于執(zhí)行曝光處理的光照強度，并將計算的光照強度輸出到AGC單元104、驅(qū)動器108 和白平衡增益計算器111。驅(qū)動器108根據(jù)輸入的光照強度來驅(qū)動光圈102并控制曝光。光源類型估計器(即，光源估計裝置)109通過使用輸入的壓縮圖像信號，根據(jù)“亮色相關(guān)性”原理，計算圖像特征量(特征矢量)，并確定光源的類型是基于白色的光源還是基于非白色的光源。光源類型估計器109將確定的結(jié)果輸出到白平衡增益計算器111。稍后將在下面詳細描述光源類型估計器109。白平衡增益計算器111基于由光源類型估計器109確定的光源的類型以及由光照強度檢測器107檢測的光照強度，計算白平衡增益。具體地，白平衡增益計算器111從白平衡調(diào)節(jié)參數(shù)存儲器110讀取與光源的類型相應(yīng)的白平衡增益，并將白平衡增益輸出到白平衡控制器112。白平衡調(diào)節(jié)參數(shù)存儲器110存儲指示白平衡增益的至少一個白平衡調(diào)節(jié)參數(shù)，所述白平衡增益對于包括所述光源的各個類型的光源是最優(yōu)的。根據(jù)本實施例，白平衡增益計算器111基于白平衡調(diào)節(jié)參數(shù)計算白平衡增益。可選地，可通過使用普通白平衡計算算法來計算白平衡增益。例如，當從圖像信息計算器106 輸出的壓縮圖像的色彩是光源的色彩時，白平衡增益計算器111計算白平衡增益以具有作為色彩平衡的灰度，當壓縮圖像的色彩不是光源的色彩時，白平衡增益計算器111計算白平衡增益而不校正色彩。由于所述方法不必改變原始白平衡算法，因此所述方法在系統(tǒng)方面非常友好?，F(xiàn)在將描述另一示例。如果能夠估計光源的類型，則當各個光源發(fā)出光時可限制亮度值的范圍。因此，亮度值的范圍作為參數(shù)可被用于計算白平衡增益。普通白平衡計算算法包括根據(jù)亮度值估計光源的類型的邏輯。然而，由于根據(jù)相機系統(tǒng)的類型，鏡頭101和主體(以下，稱為成像裝置10 會無法互相通信，因此，亮度值會無法獲得，并且會影響白平衡計算的精確性。根據(jù)本實施例，由于光源的類型可被估計，因此，亮度值的范圍可被估計，白平衡計算的精確性不會惡化。白平衡控制器112基于輸入的白平衡增益來調(diào)整從預處理器105輸入的圖像信號的白平衡。另外，白平衡控制器112將調(diào)整了白平衡的圖像信號輸出到色彩校正控制器 113。色彩校正控制器113校正輸入的圖像信號的色彩，并將校正了色彩的圖像信號輸出到伽瑪校正控制器114。伽瑪校正控制器114對輸入的圖像信號執(zhí)行伽瑪校正，并將執(zhí)行了伽瑪校正的圖像信號輸入的圖像信號輸出到輸出單元115。輸出單元115將輸入的圖像信號輸出到外部記錄介質(zhì)、顯示器、網(wǎng)絡(luò)等。圖2是根據(jù)示例性實施例的圖1的光源類型估計器109的功能框圖。光源類型估計器109包括時間順序數(shù)據(jù)緩沖器202、亮度不規(guī)則性分析器203、特征量計算器204和識別器211。時間順序數(shù)據(jù)緩沖器202接收壓縮圖像信號201作為輸入，并按時間順序存儲各個幀的壓縮圖像信號201的圖像數(shù)據(jù)(以下，稱為壓縮圖像數(shù)據(jù))。時間順序數(shù)據(jù)緩沖器 202可以是包括在閃存(諸如動態(tài)隨機存取存儲器(DRAM))中的環(huán)形緩沖器，并可存儲具有預定數(shù)量的幀的壓縮圖像數(shù)據(jù)。存儲在時間順序數(shù)據(jù)緩沖器202中的壓縮圖像數(shù)據(jù)被順序地輸入到亮度不規(guī)則性分析器203。亮度不規(guī)則性分析器203以幀為單位，指定恒亮區(qū)域和高亮像素。恒亮區(qū)域不管光源的位置而具有恒定亮度。高亮像素是根據(jù)雙色反射模型(例如，參考S. A^hafer (S. A.謝弗)的"Using color to separate reflection components (使用色彩以分離反射分量)，，，在 COLOR Research and Application(色彩研究與應(yīng)用)中，Vol. 10，No. 4， pp. 210-218,1985)而獲得的極亮的像素。另外，亮度不規(guī)則性分析器203將作為關(guān)于恒亮區(qū)域的信息的亮度不規(guī)則性信息、作為關(guān)于高亮像素的信息(坐標)的高亮像素信息以及壓縮圖像數(shù)據(jù)輸出到特征量計算器204。稍后將詳細描述在亮度不規(guī)則性分析器203中執(zhí)行的處理。特征量計算器204計算用于確定壓縮圖像數(shù)據(jù)中的光源的類型的特征量(以下， 稱為特征矢量)，并將計算的特征量輸出到識別器211。特征量計算器204包括亮色相關(guān)性計算器205、紋理分析器206、平均色彩計算器207、中性灰色區(qū)域搜索器208、色彩平衡計算器209和特征矢量計算器210。亮色相關(guān)性計算器105根據(jù)按時間順序輸入的K (其中，K是等于或大于2的整數(shù)) 幀的壓縮圖像數(shù)據(jù)、與各壓縮圖像數(shù)據(jù)相應(yīng)的亮度不規(guī)則性信息和與各壓縮圖像數(shù)據(jù)相應(yīng)的高亮像素信息，來計算指示亮度和色彩之間的相關(guān)性的亮色相關(guān)系數(shù)。亮色相關(guān)系數(shù)是用于針對具有大量色彩紋理(即，大量色彩)的圖像來非常精確地估計光源的類型的特征矢量。亮色相關(guān)性計算器205將計算的亮色相關(guān)系數(shù)輸出到特征矢量計算器210。稍后將詳細描述在亮色相關(guān)性計算器205中執(zhí)行的處理。紋理分析器206從按時間順序輸入的K幀的壓縮圖像數(shù)據(jù)中提取色彩紋理特征， 并將提取的色彩紋理特征輸出到特征矢量計算器210。色彩紋理特征是色彩多樣性的標識符。稍后將詳細描述在紋理分析器206中執(zhí)行的處理。平均色彩計算器207計算在壓縮圖像數(shù)據(jù)中的各個RGB通道的平均色彩，并將平均色彩以及壓縮圖像數(shù)據(jù)輸出到色彩平衡計算器209。中性灰色區(qū)域搜索器208在壓縮圖像數(shù)據(jù)中搜索中性灰色區(qū)域，并確定在壓縮圖像數(shù)據(jù)中是否存在中性灰色區(qū)域。中性灰色區(qū)域是平均色彩為灰色的區(qū)域。另外，中性灰色區(qū)域搜索器208將關(guān)于中性灰色區(qū)域的存在的信息以及壓縮圖像數(shù)據(jù)輸出到色彩平衡計算器209。色彩平衡計算器209從由平均色彩計算器207計算的各個RGB通道的平均色彩， 計算壓縮圖像數(shù)據(jù)中的整個圖像的色彩平衡。色彩平衡計算器209計算由中性灰色區(qū)域搜索器208搜索的中性灰色區(qū)域的色彩平衡。色彩平衡計算器209將整個圖像的色彩平衡和中性灰色區(qū)域的色彩平衡輸出到特征矢量計算器210。稍后將詳細描述計算色彩平衡的方法。整個圖像的色彩平衡和中性灰色區(qū)域的色彩平衡的集合是用于針對具有少量色彩紋理的圖像非常精確地估計光源的類型的特征量。特征矢量計算器210基于由亮色相關(guān)性計算器205計算的亮色相關(guān)系數(shù)、由紋理分析器206提取的色彩紋理特征以及由色彩平衡計算器209計算的色彩平衡，來產(chǎn)生特征矢量(亮色相關(guān)性、色彩紋理特征、整個圖像的色彩平衡和中性灰色區(qū)域的色彩平衡)，并將特征矢量輸出到識別器211中的學習單元212或識別單元215。識別器211基于包括各種圖像數(shù)據(jù)的特征矢量以及分別與各種圖像數(shù)據(jù)相應(yīng)的各種光源的類型(即，教導數(shù)據(jù))的學習數(shù)據(jù)，對用于從特征矢量提取光源的類型的確定基礎(chǔ)進行機器學習并存儲所述確定基礎(chǔ)。這里，識別器211通過使用引導(boosting)、支持矢量機(SVM)、決策樹、通過擴展決策樹而獲得的隨機森林等來執(zhí)行機器學習。另外，識別器 211基于機器學習的結(jié)果確定與由特征量計算器204輸入的特征矢量相應(yīng)的光源的類型。 識別器211包括學習單元212和識別單元215。根據(jù)本實施例，識別器211執(zhí)行機器學習。 可選地，識別器211可基于例如通過手動操作的確定基礎(chǔ)來確定光源的類型。學習單元212機器基于學習數(shù)據(jù)對用于提取光源的類型的確定基礎(chǔ)進行機器學習，并將機器學習的結(jié)果存儲在學習結(jié)果存儲器214中。學習結(jié)果存儲器214可以是安裝在白平衡調(diào)整設(shè)備1外部的外部存儲器裝置，并且學習單元212將機器學習的結(jié)果(即，學習數(shù)據(jù))存儲在學習結(jié)果存儲器中。當學習單元212在學習之后執(zhí)行估計光源的類型的處理時，學習單元212將學習的結(jié)果存儲在安裝在白平衡調(diào)整設(shè)備1內(nèi)部的閃存等中。識別單元215基于學習單元212的學習結(jié)果，確定與由特征矢量計算器210輸入的特征矢量相應(yīng)的光源的類型，并將確定結(jié)果輸出到白平衡增益計算器111。例如，當特征矢量(亮色相關(guān)性、色彩紋理特征、整個圖像的色彩平衡和中性灰色區(qū)域的色彩平衡)具有高色彩紋理特征(大量色彩紋理)時，識別單元215將比其它特征矢量更大的權(quán)重賦予亮色相關(guān)性以確定光源的類型。當特征矢量具有低色彩紋理特征(少量色彩紋理)時，識別單元215將更大的權(quán)重賦予整個圖像的色彩平衡和中性灰色區(qū)域的色彩平衡以確定光源的類型。參照圖3，以下將描述由光源類型估計器109執(zhí)行的估計光源的類型的處理。圖3 是根據(jù)示例性實施例的估計圖像數(shù)據(jù)中的光源的類型的處理的流程圖。識別單元215從學習結(jié)果存儲器214中讀取學習結(jié)果(操作S10)。隨后，光源類型估計器109將壓縮圖像數(shù)據(jù)存儲在時間順序數(shù)據(jù)緩沖器202中(操作S20)。隨后，光源類型估計器109確定存儲在時間順序數(shù)據(jù)緩沖器202中的壓縮圖像數(shù)據(jù)的數(shù)量是否等于或大于預定閾值(操作S30)。當壓縮圖像數(shù)據(jù)的數(shù)量等于或大于閾值時，執(zhí)行操作S40。當壓縮圖像數(shù)據(jù)的數(shù)量小于閾值時，處理返回到操作S20。執(zhí)行這個條件操作以獲得用于如下所述穩(wěn)定地計算亮色相關(guān)系數(shù)的足夠數(shù)量的圖像數(shù)據(jù)。
隨后，亮度不規(guī)則性分析器203通過分析亮度不規(guī)則性來以幀為單位指定恒亮區(qū)域和高亮像素(操作S40)。具體地，亮度不規(guī)則性分析器203通過使用以下近似方法來指定恒亮區(qū)域。亮度不規(guī)則性取決于光源的位置以及對象的形狀和排列。因此，在所述近似方法中，假設(shè)光源位于通過使用相對于光源的前面的水平方向和垂直方向而指示的八個位置，假設(shè)對象的深度相比于相機和對象之間的距離來說足夠小，假設(shè)在圖像中，在水平方向、垂直方向和傾斜方向中的任何一個方向上光照強度恒定，隨后，恒亮區(qū)域被指定。本發(fā)明構(gòu)思不限于所述近似方法，可通過使用另一近似方法來指定恒亮區(qū)域。例如，可使用劃分圖像區(qū)域的近似方法。在劃分圖像區(qū)域的方法中，通過鏡面反射而獲得的陰影區(qū)域和白色區(qū)域互相分離，并且僅使用具有恒定亮度水平的區(qū)域?？赏ㄟ^聚集色彩或亮度來獲得陰影區(qū)域?？赏ㄟ^使用例如雙色反射模型來估計通過鏡面反射而獲得的白色區(qū)域。另外，可一起使用這兩個近似方法。隨后，特征量計算器204基于作為關(guān)于恒亮區(qū)域的信息的亮度不規(guī)則性信息、高亮像素信息以及壓縮圖像數(shù)據(jù)，來計算用于確定光源的類型的特征矢量(操作S50)。稍后將詳細描述計算特征矢量的處理。隨后，針對各類光源計算特征矢量的分值(score)(操作S60)，其中，基于由識別單元215讀取的學習結(jié)果計算所述特征矢量。另外，識別單元215基于針對各類光源計算的分值，確定圖像數(shù)據(jù)中的光源的類型(操作S70)。具體地，識別單元215將具有高分值 (例如，最高分值)的光源的類型確定為圖像數(shù)據(jù)中的與特征矢量相應(yīng)的光源的類型。這里，識別單元215可通過將圖像數(shù)據(jù)的特征矢量與學習到的多個模型圖像的特征矢量進行比較來確定光源的類型，選擇學習到的與圖像數(shù)據(jù)的特征矢量最相似的模型圖像的特征矢量，并將與所選擇的學習到的模型圖像的特征矢量相應(yīng)的光源的類型確定為圖像中的光源的類型。在確定光源的類型之后，圖像數(shù)據(jù)的特征矢量變成存儲在學習結(jié)果存儲器214中的學習結(jié)果或?qū)W習數(shù)據(jù)的一部分，其將被用于確定另一對象的另一圖像中的光源的類型。參照圖4，將描述操作S50中的計算特征矢量的處理。圖4是根據(jù)示例性實施例的計算特征矢量的處理的流程圖。首先，特征量計算器204從亮度不規(guī)則性分析器203獲得按時間順序輸入的K幀的壓縮圖像數(shù)據(jù)、與各壓縮圖像數(shù)據(jù)相應(yīng)的亮度不規(guī)則性信息以及與各壓縮圖像數(shù)據(jù)相應(yīng)的高亮像素信息(操作S100、SllO和S120)。隨后，特征量計算器204同時執(zhí)行計算亮色相關(guān)性的處理、分析色彩紋理的處理、計算整個圖像的色彩平衡的處理以及計算中性灰色區(qū)域的色彩平衡的處理。根據(jù)本實施例，計算亮色相關(guān)性的處理、分析色彩紋理的處理、計算整個圖像的色彩平衡的處理以及計算中性灰色區(qū)域的色彩平衡的處理同時被執(zhí)行?？蛇x地，這些處理可被順序執(zhí)行。[計算亮色相關(guān)性(操作S140)]首先，將描述計算亮色相關(guān)性的處理。亮色相關(guān)性計算器205根據(jù)按時間順序輸入的K幀的每一幀的壓縮圖像數(shù)據(jù)、與壓縮圖像數(shù)據(jù)相應(yīng)的亮度不規(guī)則性信息以及與壓縮圖像數(shù)據(jù)相應(yīng)的高亮像素信息，計算亮色相關(guān)系數(shù)。在這種情況下，K幀的壓縮圖像數(shù)據(jù)被用于如下所述穩(wěn)定地計算相關(guān)系數(shù)。當數(shù)據(jù)分布不是正態(tài)分布時，會無法穩(wěn)定地計算相關(guān)系數(shù)。當用于計算相關(guān)系數(shù)的圖像數(shù)據(jù)的數(shù)量少時，不知道數(shù)據(jù)分布是否是正態(tài)分布。因此，通過使用多個圖像幀來確保用于計算相關(guān)系數(shù)的圖像數(shù)據(jù)的數(shù)量。時間順序數(shù)據(jù)用于相應(yīng)于圖像信息的時間改變，其中，圖像信息的時間改變是由搖動、場景中對象運動的改變以及光照的改變而引起的。具體地，亮色相關(guān)性計算器205從壓縮圖像數(shù)據(jù)中去除恒亮區(qū)域和高亮像素以外的區(qū)域。這是因為當光源傾斜時或者當對象的面的反射特征極不相同時，由于捕捉的圖像的亮度分布非常嚴重不規(guī)則(陰影)并且亮度和色彩的數(shù)據(jù)分布不是正態(tài)分布，因此亮色相關(guān)系數(shù)未被穩(wěn)定地計算。隨后，亮色相關(guān)性計算器205沿水平方向和垂直方向，將去除了恒亮區(qū)域和高亮區(qū)域以外的區(qū)域的壓縮圖像數(shù)據(jù)劃分為N(其中，N是等于或大于2的整數(shù))塊。在這種情況下，劃分的區(qū)域被稱為分塊。例如，一個像素可以是一個分塊。另外，亮色相關(guān)性計算器 205針對各個分塊i (i = 1、2、. . .，NXK)，計算通道R的平均值Ri,通道G的平均值Gi以及通道B的平均值B”另外，亮色相關(guān)性計算器205根據(jù)以下的等式1計算各個分塊i的亮度。Lumi = Ri+2Gi+Bi(1)隨后，亮色相關(guān)性計算器205根據(jù)以下的等式2計算各個分塊i的紅色程度 Rednessi0
權(quán)利要求
1.一種光源估計設(shè)備，包括亮色相關(guān)性計算器，從產(chǎn)生自至少一個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)；色彩平衡計算器，計算所述圖像的整個區(qū)域的色彩平衡，以及所述圖像的平均色彩為灰色的中性灰色區(qū)域的色彩平衡；特征數(shù)據(jù)產(chǎn)生單元，基于亮色相關(guān)性數(shù)據(jù)、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)；識別器，基于所述圖像的特征數(shù)據(jù)，確定所述圖像中的光源的類型。
2.如權(quán)利要求1所述的光源估計設(shè)備，還包括紋理分析單元，計算指示所述圖像的色彩多樣性的色彩紋理特征，其中，特征數(shù)據(jù)產(chǎn)生單元基于亮色相關(guān)性數(shù)據(jù)、所述圖像的色彩紋理特征、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)。
3.如權(quán)利要求1所述的光源估計設(shè)備，還包括亮度不規(guī)則性分析器，在所述圖像中指定具有恒定亮度的恒亮區(qū)域，其中，亮色相關(guān)性計算器計算所述圖像中的恒亮區(qū)域中的亮色相關(guān)性數(shù)據(jù)。
4.如權(quán)利要求1所述的光源估計設(shè)備，其中，識別器包括學習單元，基于學習數(shù)據(jù)，學習用于從所述圖像的特征數(shù)據(jù)提取光源的類型的確定基礎(chǔ)，其中，學習數(shù)據(jù)包括學習到的多個模型圖像的特征數(shù)據(jù)以及分別與所述多個模型圖像相應(yīng)的光源的類型；識別單元，基于由學習單元學習的結(jié)果，確定與所述圖像的特征數(shù)據(jù)相應(yīng)的光源的類型。
5.如權(quán)利要求4所述的光源估計設(shè)備，其中，識別單元通過將所述圖像的特征數(shù)據(jù)與學習到的所述多個模型圖像的特征數(shù)據(jù)進行比較，確定光源的類型，選擇學習到的與所述圖像的特征數(shù)據(jù)最相似的模型圖像的特征數(shù)據(jù)，將與所選擇的學習到的模型圖像的特征數(shù)據(jù)相應(yīng)的光源的類型確定為所述圖像中的光源的類型。
6.如權(quán)利要求5所述的光源估計設(shè)備，其中，所述圖像的特征數(shù)據(jù)和所述圖像中的光源的類型變?yōu)閷W習到的構(gòu)成學習數(shù)據(jù)的多個模型圖像的特征數(shù)據(jù)之一，所述學習數(shù)據(jù)用于確定另一對象的另一圖像中的光源的類型。
7.如權(quán)利要求1所述的光源估計設(shè)備，其中，識別器通過基于在所述圖像中檢測的色彩的數(shù)量，將不同的權(quán)重施加到亮色相關(guān)性數(shù)據(jù)和所述圖像的整個區(qū)域的色彩平衡，來確定光源的類型。
8.如權(quán)利要求1所述的光源估計設(shè)備，其中，亮色相關(guān)性計算器從產(chǎn)生自針對相同對象順序獲得的多個圖像幀的所述對象的圖像，計算亮色相關(guān)性數(shù)據(jù)。
9.如權(quán)利要求1所述的光源估計設(shè)備，其中，產(chǎn)生自至少一個圖像幀的對象的圖像是從由成像裝置獲得的所述對象的原始圖像數(shù)據(jù)壓縮或縮小的圖像數(shù)據(jù)，其中，亮色相關(guān)性計算器從所述產(chǎn)生自至少一個圖像幀的對象的數(shù)據(jù)計算亮色相關(guān)性數(shù)據(jù)。
10.如權(quán)利要求1所述的光源估計設(shè)備，其中，光源的類型包括光源的色彩。
11.一種估計光源的方法，所述方法包括從產(chǎn)生自至少一個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)；計算所述圖像的整個區(qū)域的色彩平衡，以及所述圖像的平均色彩為灰色的中性灰色區(qū)域的色彩平衡；基于亮色相關(guān)性數(shù)據(jù)、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)；基于所述圖像的特征數(shù)據(jù)，確定所述圖像中的光源的類型。
12.如權(quán)利要求11所述的方法，還包括計算指示所述圖像的色彩多樣性的色彩紋理特征，其中，基于亮色相關(guān)性數(shù)據(jù)、色彩紋理特征、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生特征數(shù)據(jù)。
13.如權(quán)利要求11所述的方法，還包括在所述圖像中指定具有恒定亮度的恒亮區(qū)域， 其中，針對恒亮區(qū)域計算亮色相關(guān)性數(shù)據(jù)。
14.如權(quán)利要求11所述的方法，其中，確定所述圖像中的光源的類型的步驟包括 基于學習數(shù)據(jù)，學習用于從所述圖像的特征數(shù)據(jù)提取光源的類型的確定基礎(chǔ)，其中，學習數(shù)據(jù)包括學習到的多個模型圖像的特征數(shù)據(jù)以及分別與所述多個模型圖像相應(yīng)的光源的類型；基于學習的結(jié)果，確定與所述圖像的特征數(shù)據(jù)相應(yīng)的光源的類型。
15.如權(quán)利要求14所述的方法，其中，確定光源的類型的步驟包括 將所述圖像的特征數(shù)據(jù)與學習到的所述多個模型圖像的特征數(shù)據(jù)進行比較； 選擇學習到的與所述圖像的特征數(shù)據(jù)最相似的模型圖像的特征數(shù)據(jù)；將與所選擇的學習到的模型圖像的特征數(shù)據(jù)相應(yīng)的光源的類型確定為所述圖像中的光源的類型。
16.如權(quán)利要求15所述的方法，其中，所述圖像的特征數(shù)據(jù)和所述圖像中的光源的類型變?yōu)閷W習到的構(gòu)成學習數(shù)據(jù)的多個模型圖像的特征數(shù)據(jù)之一，所述學習數(shù)據(jù)用于確定另一對象的另一圖像中的光源的類型。
17.如權(quán)利要求11所述的方法，其中，確定光源的類型的步驟包括基于在所述圖像中檢測的色彩的數(shù)量，將不同的權(quán)重施加到亮色相關(guān)性數(shù)據(jù)和所述圖像的整個區(qū)域的色彩平
18.如權(quán)利要求11所述的方法，其中，從產(chǎn)生自針對相同對象順序獲得的多個圖像幀的所述對象的圖像，計算亮色相關(guān)性數(shù)據(jù)。
19.如權(quán)利要求11所述的方法，其中，產(chǎn)生自至少一個圖像幀的對象的圖像是從由成像裝置獲得的所述對象的原始圖像數(shù)據(jù)壓縮或縮小的圖像數(shù)據(jù)，其中，從所述產(chǎn)生自至少一個圖像幀的對象的圖像計算亮色相關(guān)性數(shù)據(jù)。
20.如權(quán)利要求11所述的方法，其中，光源的類型包括光源的色彩。
全文摘要
提供了一種估計光源的方法和設(shè)備。光源估計設(shè)備包括亮色相關(guān)性計算器，從產(chǎn)生自至少一個圖像幀的對象的圖像，計算亮色相關(guān)性數(shù)據(jù)；色彩平衡計算器，計算所述圖像的整個區(qū)域的色彩平衡，以及所述圖像的平均色彩為灰色的中性灰色區(qū)域的色彩平衡；特征數(shù)據(jù)產(chǎn)生單元，基于亮色相關(guān)性數(shù)據(jù)、整個區(qū)域的色彩平衡和中性灰色區(qū)域的色彩平衡，產(chǎn)生所述圖像的特征數(shù)據(jù)；識別器，基于所述圖像的特征數(shù)據(jù)，確定所述圖像中的光源的類型。
文檔編號H04N1/60GK102572211SQ20111044191
公開日2012年7月11日 申請日期2011年12月20日 優(yōu)先權(quán)日2010年12月20日
發(fā)明者數(shù)井誠人 申請人:三星泰科威株式會社