圖像處理裝置以及圖像處理方法
【技術領域】
[0001] 本發(fā)明設及對發(fā)生了亮度不良的圖像進行校正的圖像處理技術。
【背景技術】
[0002] 在通過相機等的攝像裝置照射頻閃光而拍攝了人物的面部的情況下，發(fā)生因頻閃 的光而導致人物的瞳孔被照得發(fā)紅的色調不良現(xiàn)象（紅眼現(xiàn)象）。為了應對運個，提出了對 發(fā)生了紅眼現(xiàn)象的圖像進行校正，修正為原來的色調的多種技術。例如，在專利文獻1中， 記載了一種數(shù)碼相機，其從拍攝到的圖像提取發(fā)生了紅眼的區(qū)域，對該區(qū)域進行色調的校 正。
[0003] 現(xiàn)有技術文獻
[0004] 專利文獻 陽0化]專利文獻1:(日本）特開2006-040230號公報
[0006] 在專利文獻1中記載的方法中，對發(fā)生色調不良的區(qū)域W外的、色調正常的區(qū)域 進行分析，提取該區(qū)域中的色相或彩度、明度，從而生成用于對發(fā)生色調不良的區(qū)域進行校 正的參數(shù)，進行校正。
[0007] 另一方面，作為與紅眼現(xiàn)象不同的現(xiàn)象，有光暈。光暈是通過頻閃強烈地反射到瞳 孔，從而瞳孔發(fā)白的現(xiàn)象。
[0008] 關于光暈，也想到能夠通過前述的方法進行校正。但是，若發(fā)生光暈，則會失去亮 度的灰度信息。在前述的方法中，即使能夠對發(fā)生了色調不良的區(qū)域的色調進行校正，也不 能復原失去了亮度的灰度信息的區(qū)域。
[0009] 為了將發(fā)生了光暈的區(qū)域復原為正常的狀態(tài)，必須補充亮度的灰度信息。例如，考 慮如下方法：預先保持正常的狀態(tài)的瞳孔的圖像，粘貼（Paste)到發(fā)生了亮度不良的區(qū)域。 但是，若粘貼完全不同的圖像，則發(fā)生明亮度或色調無法與原來的圖像融合、成為具有不協(xié) 調感的圖像的其他問題。

【發(fā)明內容】

[0010] 本發(fā)明是考慮上述的課題而完成的，其目的在于，提供一種對在眼睛的內部發(fā)生 的光暈進行校正的圖像處理裝置中，進行更自然的校正的技術。
[0011] 為了解決前述的課題，本發(fā)明的圖像處理裝置是
[0012] 一種圖像處理裝置，對包括人物的面部的圖像即面部圖像的至少一部分進行校 正，其特征在于，包括：
[0013] 圖像取得部件，取得面部圖像；
[0014] 區(qū)域提取部件，從所述面部圖像提取包括瞳孔的區(qū)域即瞳孔區(qū)域；
[0015] 判定部件，判定所述瞳孔區(qū)域內有無發(fā)生光暈；
[0016] 第一模板取得部件，取得校正用的模板圖像即第一模板圖像；
[0017] 基準色取得部件，從所述面部圖像取得與所述人物對應的基準色；
[0018] 第二模板取得部件，使用所述第一模板圖像和所述基準色而生成第二模板圖像； W及
[0019] 校正部件，通過對所述瞳孔區(qū)域中至少發(fā)生光暈的區(qū)域合成所述第二模板圖像， 從而校正該光暈。
[0020] 本發(fā)明的圖像處理裝置是，在從所取得的圖像提取瞳孔區(qū)域，判定在該瞳孔區(qū)域 內有無發(fā)生光暈之后，進行該光暈的校正的裝置。瞳孔區(qū)域是包括瞳孔的區(qū)域，典型而言， 是W瞳孔的中屯、點為中屯、坐標的圓形區(qū)域，但若包括可發(fā)生光暈的區(qū)域，則也可W是除此 之外的區(qū)域。
[0021] 光暈的校正使用第一模板圖像而進行。第一模板圖像是，與沒有產生亮度不良的、 正常的狀態(tài)的瞳孔對應的圖像。光暈的校正能夠通過在瞳孔區(qū)域的內部合成（例如，粘貼） 第一模板圖像而進行，但在本發(fā)明中，使用基準色從第一模板圖像生成第二模板圖像之后， 合成該第二模板圖像。
[0022] 基準色是與校正對象的人物對應的顏色?；鶞噬珒?yōu)選從位于合成第二模板圖像的 位置的附近的像素取得。例如，能夠適當使用對象人物的虹膜的顏色。
[0023] 根據(jù)運個結構，由于利用與校正對象的人物對應的基準色而生成第二模板圖像， 所W與無加工地合成了第一模板圖像的情況相比，能夠獲得更自然的圖像處理結果。
[0024] 此外，其特征也可W在于，所述第一模板圖像是灰階圖像，所述第二模板取得部件 使用所述基準色，將所述第一模板圖像變換為彩色圖像，并設為第二模板圖像。
[00巧]通過使用基準色而將第一模板圖像進行彩色化，能夠使第一模板圖像的色相適合 合成目標的色相。
[0026] 從灰階圖像到彩色圖像的變換，例如基于基準色的RGB值，求出R值和G值的關系 W及R值和B值的關系之后，能夠解出相對于將RGB值變換為亮度值的式的逆問題而獲得。 當然，也可W使用其他方法而將亮度值變換為RGB值。
[0027] 此外，本發(fā)明的圖像處理裝置的特征也可W在于，還包括：校正值計算部件，基于 所述基準色而計算校正值，該校正值用于使所述第一模板圖像的亮度適合所述面部圖像， 所述第二模板取得部件在使用所述校正值而調整了所述第一模板圖像的亮度之后，進行向 彩色圖像的變換。
[002引由于第一模板圖像是不同于校正對象的圖像的圖像，所W在原樣進行了合成的情 況下，存在亮度不適合、會產生不協(xié)調感的情況。例如，存在與周圍相比，僅進行了合成的區(qū) 域發(fā)亮、發(fā)暗的情況。因此，在本發(fā)明中，求出用于使第一模板圖像的亮度適合所述面部圖 像的校正值之后，使用該校正值而調整第一模板圖像的亮度。另外，校正值能夠利用所取得 的基準色而求出。
[0029] 根據(jù)運個結構，由于能夠W亮度適合的狀態(tài)進行合成，所W能夠獲得不協(xié)調感少 的圖像處理結果。
[0030] 此外，其特征也可W在于，所述基準色取得部件從所述瞳孔區(qū)域提取與虹膜對應 且沒有發(fā)生光暈的區(qū)域，從在該區(qū)域中包含的像素取得基準色。
[0031] 基準色優(yōu)選從校正對象的人物的、與眼睛的虹膜對應的區(qū)域取得。由于光暈主要 在虹膜的內部發(fā)生，所W通過將虹膜的顏色設為基準色，能夠使合成目標的色相和第一模 板圖像的色相適合。
[0032] 此外，其特征也可W在于，所述基準色取得部件在所述瞳孔區(qū)域中不包括與虹膜 對應且沒有發(fā)生光暈的區(qū)域的情況下，從所述面部圖像提取與所述人物的皮膚對應的區(qū) 域，基于在該區(qū)域中包含的像素的顏色而取得基準色。
[0033] 另一方面，在虹膜整體中發(fā)生光暈的情況下，由于會失去虹膜的顏色信息，所W通 過前述的方法，不能取得基準色。因此，也可W基于與人物的皮膚對應的像素的顏色而取得 基準色。此時，雖然不能再現(xiàn)虹膜的顏色，但由于基于在圖像中存在較多的顏色而設定基準 色，所W能夠抑制因色相的不適合所引起的不協(xié)調感。
[0034] 此外，本發(fā)明的攝像裝置的特征在于，包括前述的圖像處理裝置和拍攝圖像的攝 像部件。本發(fā)明能夠適當?shù)剡m用于具有對通過攝像部件而拍攝的圖像進行校正的功能的攝 像裝置。
[0035] 另外，本發(fā)明能夠作為包括上述部件的至少一部分的圖像處理裝置而確定。此外， 本發(fā)明也能夠作為上述圖像處理裝置進行的圖像處理方法而確定。此外，本發(fā)明也能夠作 為使計算機執(zhí)行上述圖像處理方法的程序而確定。上述處理或部件只要不產生技術性的矛 盾，則能夠自由地組合而實施。
[0036] 根據(jù)本發(fā)明，對在眼睛的內部發(fā)生的光暈進行校正的圖像處理裝置中，能夠進行 更自然的校正。
【附圖說明】
[0037] 圖1是實施方式的圖像處理裝置的系統(tǒng)結構圖。
[0038] 圖2是實施方式中的模板圖像的例。
[0039] 圖3是表示了實施方式中的面部圖像的一部分的圖。
[0040] 圖4是實施方式中的亮度值直方圖的例。 陽041] 圖5是例示光暈區(qū)域的圖。 陽0創(chuàng)圖6是說明表示R值和G值、R值和B值的對應關系的近似曲線的圖。
[0043] 圖7是說明二分探索的方法的圖。
[0044] 圖8是圖像處理裝置進行的處理的流程圖。 W45] 圖9是詳細說明面部區(qū)域W及瞳孔區(qū)域的提取處理的流程圖。
[0046] 圖10是詳細說明進行瞳孔的狀態(tài)判定的處理的流程圖。
[0047] 圖11是詳細說明圖像的校正處理的流程圖。 W48] 標號說明 W例10圖像處理裝置
[0050] 11圖像取得部
[0051] 12瞳孔檢測部
[0052] 13瞳孔狀態(tài)判定部 陽05引14瞳孔校正部
[0054] 15模板圖像存儲部 陽05引16輸入輸出部
【具體實施方式】
[0056] W下，參照【附圖說明】本發(fā)明的優(yōu)選的實施方式。
[0057] 本實施方式的圖像處理裝置是，