檢測在圖像中包含的人的瞳孔中發(fā)生色調(diào)不良或 者亮度不良的情況，并校正該不良的裝置。圖1是本實施方式的圖像處理裝置10的系統(tǒng)結(jié) 構(gòu)圖。
[0058] (系統(tǒng)結(jié)構(gòu)）
[0059] 本實施方式的圖像處理裝置10由圖像取得部11、瞳孔檢測部12、瞳孔狀態(tài)判定部 13、瞳孔校正部14、模板圖像存儲部15、輸入輸出部16構(gòu)成。 W60] 圖像取得部11是取得處理對象的圖像（包括人的面部的圖像。W下，面部圖像） 的部件，典型而言，是固定盤驅(qū)動器或閃存運樣的存儲裝置。另外，圖像取得部11既可W是 從裝置的外部取得圖像的部件（例如，接口裝置或無線通信裝置），也可W是經(jīng)由透鏡和攝 像元件而拍攝圖像的部件。
[0061] 瞳孔檢測部12是從圖像取得部11取得的面部圖像提取與人的瞳孔對應(yīng)的區(qū)域的 部件。具體而言，在從圖像檢測人的面部，并剪裁包括眼睛的范圍之后，確定在該范圍中包 含的眼睛的位置，決定瞳孔的中屯、點。此外，提取W瞳孔的中屯、點為中屯、的圓形區(qū)域（W 下，瞳孔區(qū)域）。關(guān)于提取瞳孔區(qū)域的具體的方法，在后面敘述。另外，在本說明書中，瞳孔 區(qū)域運樣的詞用作表示W(wǎng)瞳孔的中屯、點為中屯、坐標(biāo)的、具有預(yù)定的大小的區(qū)域的詞。
[0062] 瞳孔狀態(tài)判定部13是對瞳孔檢測部12所提取的瞳孔區(qū)域判定其狀態(tài)的部件。具 體而言，判定有無發(fā)生紅眼、有無發(fā)生金眼、有無發(fā)生光暈。關(guān)于詳細(xì)的判定方法，在后面敘 述。另外，金眼是，通過與紅眼相同的原理而瞳孔被照成黃色而導(dǎo)致的色調(diào)不良現(xiàn)象。
[0063] 瞳孔校正部14是基于瞳孔狀態(tài)判定部13進(jìn)行的判定結(jié)果，進(jìn)行紅眼或者金眼、W 及光暈的校正的部件。在本實施方式中，瞳孔校正部14使用在模板圖像存儲部15中存儲 的模板圖像（后述），進(jìn)行光暈的校正。另外，對紅眼W及金眼使用公知的技術(shù)而進(jìn)行校正。
[0064] 另外，瞳孔校正部14進(jìn)行校正的對象的區(qū)域也可W不一定與瞳孔區(qū)域相同。例 如，既可W是從瞳孔區(qū)域刪除了與皮膚對應(yīng)的區(qū)域的區(qū)域，也可W是從瞳孔區(qū)域刪除了虹 膜W外的區(qū)域的區(qū)域。
[0065] 模板圖像存儲部15是存儲用于進(jìn)行光暈的校正的圖像（模板圖像）的部件。在 本實施方式中，預(yù)先存儲與沒有發(fā)生光暈的、正常的狀態(tài)的瞳孔對應(yīng)的灰階圖像作為模板 圖像，根據(jù)要進(jìn)行校正的面部圖像，進(jìn)行了著色及明亮度的調(diào)整之后，合成到該面部圖像， 從而進(jìn)行光暈的校正。圖2是在模板圖像存儲部15中存儲的模板圖像的例。模板圖像是 表示了多個人的平均的瞳孔的256灰度的灰階圖像。
[0066] 若包括可能發(fā)生光暈的區(qū)域，則模板圖像例如既可W是如標(biāo)號201那樣包括虹膜 整體的圖像，也可W是如標(biāo)號202那樣只包括虹膜的一部分的圖像。此外，模板圖像優(yōu)選是 W瞳孔（瞳）的中屯、點為中屯、的圖像。通過運樣，與校正對象的面部圖像的位置對準(zhǔn)變得 容易。關(guān)于使用該模板圖像而校正發(fā)生了光暈的面部圖像的具體的方法，在后面敘述。
[0067] 另外，模板圖像也可W是只在虹膜部分具有亮度信息的圖像。例如，也可W是將與 白眼球?qū)?yīng)的區(qū)域進(jìn)行透明化的圖像。
[0068] 輸入輸出部16是接受用戶進(jìn)行的輸入操作，并對用戶提示信息的部件。具體而 言，由觸摸面板和其控制部件、液晶顯示器和其控制部件構(gòu)成。在本實施方式中，觸摸面板 W及液晶顯示器由一個觸摸面板顯示器構(gòu)成。
[0069] 另外，W上說明的各部件既可W通過被設(shè)計成專用的硬件實現(xiàn)，也可W通過軟件 模塊實現(xiàn)。此外，既可W通過FPGA(現(xiàn)場可編程口陣列（Field Programm油Ie Gate Array)) 或 ASIC(專用集成電路（Application Specific Integrated Circuit))等實現(xiàn)，也可[^通 過它們的組合而實現(xiàn)。
[0070] 在前述的部件作為軟件而構(gòu)成的情況下，在輔助存儲裝置中存儲的程序加載到主 存儲裝置中，由CPU執(zhí)行，從而各部件發(fā)揮作用。（CPU、輔助存儲裝置、主存儲裝置都未圖 示）
[0071] (現(xiàn)有技術(shù)的問題點）
[0072] 首先，說明現(xiàn)有技術(shù)的問題點。
[0073] 圖3所示的圖像301是剪裁了由圖像取得部11所取得的面部圖像的一部分（眼 睛的周邊區(qū)域）的圖像。此外，標(biāo)號302是與瞳孔對應(yīng)的區(qū)域（瞳孔區(qū)域）。運里，設(shè)為在 瞳孔區(qū)域302的內(nèi)部發(fā)生由頻閃的反射所引起的光暈。
[0074] 若發(fā)生光暈，則會從該區(qū)域失去亮度的灰度信息。目P，在想要對光暈進(jìn)行校正的情 況下，需要補(bǔ)充失去的亮度信息。例如，一般使用通過將如圖2所示的模板圖像合成（例如， 粘貼）到瞳孔區(qū)域302而進(jìn)行校正的方法。但是，在想要粘貼模板圖像的情況下，一般發(fā)生 W下的兩個問題。
[0075] 第一問題是有關(guān)色相的問題。由于在人的眼睛具有的虹膜中存在各種顏色，所W 若沒有使用虹膜色適合的模板圖像，則存在虹膜成為與原本不同的顏色或者在左右眼睛中 虹膜色不同運樣成為具有不協(xié)調(diào)感的圖像的情況。但是，預(yù)先準(zhǔn)備適合全部顏色的模板圖 像是不現(xiàn)實的。
[0076] 第二問題是有關(guān)明亮度的問題。由于模板圖像是W預(yù)先確定的亮度而生成的圖 像，所W若原樣進(jìn)行粘貼，則存在不與周圍的明亮度融合、成為具有不協(xié)調(diào)感的圖像的情 況。
[0077] 為了解決W上敘述的問題點，在本實施方式的圖像處理裝置中，取得在瞳孔區(qū)域 中包含的、沒有產(chǎn)生光暈的虹膜部分中存在的像素的顏色，并設(shè)為用于校正的基準(zhǔn)色（W 下，校正基準(zhǔn)色）。此外，使用該校正基準(zhǔn)色，對模板圖像的亮度進(jìn)行校正，且將作為灰階圖 像的模板圖像進(jìn)行彩色化。W下，說明具體的方法。 陽〇7引（光暈的檢測）
[0079] 在說明對模板圖像進(jìn)行校正的方法之前，說明檢測在瞳孔區(qū)域內(nèi)發(fā)生光暈的情 況，提取發(fā)生該光暈的區(qū)域（W下，光暈區(qū)域）的方法。
[0080] 圖4是在瞳孔區(qū)域302中包含的像素的亮度值直方圖。圖像301是RGB圖像，但 在運里，為了簡化說明，例示將RGB值變換為亮度值的直方圖。直方圖的橫軸是亮度值，縱 軸是度數(shù)（像素數(shù)）。
[0081] 能夠根據(jù)亮度的分布而判定在瞳孔區(qū)域中是否發(fā)生光暈。在發(fā)生光暈的情況下， 亮度分布在高亮度側(cè)突出。在本例中，由標(biāo)號401示出的部分為由光暈所引起的亮度分布 的突出部。此外，能夠通過具有超過闊值的亮度值的像素的比例而判定亮度分布在高亮度 側(cè)突出的情況。例如，在亮度值比闊值402高的像素為在瞳孔區(qū)域302中包含的像素中預(yù) 定的比例W上（例如，20%W上）的情況下，能夠判定在該瞳孔區(qū)域中發(fā)生光暈。
[0082] 運里使用的闊值402可W作為固定值，但優(yōu)選使用判別分析法而設(shè)定。判別分析 法是用于在二值化處理中設(shè)定最佳的闊值的方法。具體而言，將亮度值直方圖分離為低亮 度級別和高亮度級別，基于它們的平均值W及方差值而求出各級別的分離度，并計算分離 度成為最大的闊值。由于關(guān)于該方法是已知的，所W省略詳細(xì)的說明。運樣，通過動態(tài)地設(shè) 定闊值，能夠高精度地判定在瞳孔區(qū)域中是否發(fā)生光暈。
[0083] 對面部圖像應(yīng)用了判別分析法的結(jié)果，能夠估計由分類為高亮度級別的像素構(gòu)成 的區(qū)域為光暈區(qū)域。另外，優(yōu)選在光暈區(qū)域過大的情況下（例如，大于瞳孔區(qū)域的情況下） 或過小的情況下（例如，區(qū)域內(nèi)的像素數(shù)為預(yù)定值W下的情況下），判定為該區(qū)域不是光 暈。
[0084] 除此之外，也可W在瞳孔區(qū)域內(nèi)的亮度分布的分離度小于預(yù)定的值的情況下，進(jìn) 行進(jìn)一步的判定處理，決定有無發(fā)生光暈。運是因為在級別的分離度小的情況下，存在通過 判別分析法無法進(jìn)行準(zhǔn)確的判定的情況。 陽0化](校正基準(zhǔn)色和校正基準(zhǔn)亮度值的取得）
[0086] 接著，說明取得校正基準(zhǔn)色的方法。
[0087] 運里，如圖5所示，設(shè)為對瞳孔區(qū)域302設(shè)定了光暈區(qū)域501。在本例中，通過從瞳 孔區(qū)域302刪除光暈區(qū)域501，能夠提取與沒有產(chǎn)生光暈的虹膜部分對應(yīng)的區(qū)域。
[0088] 但是，由于在瞳孔區(qū)域302中，除了虹膜之外，還有可能包括鞏膜（白眼球）或皮 膚，所W進(jìn)一步進(jìn)行除去運些的處理。具體而言，基于顏色信息而提取與鞏膜或皮膚對應(yīng)的 區(qū)域，并刪除該區(qū)域。另外，也可W除了顏色信息W外，還使用關(guān)于器官的形狀或配置的信 息而進(jìn)行刪除。
[0089] 前述的處理的結(jié)果，能夠提取與虹膜對應(yīng)的區(qū)域。在本實施方式中，將在該區(qū)域中 存在的像素的顏色（即，虹膜色）設(shè)為校正基準(zhǔn)色。在本例中，將校