本發(fā)明涉及對虹膜認證中使用的圖像進行處理的圖像處理方法、圖像處理裝置和圖像處理程序。

背景技術：

近年來，開發(fā)有在對被攝體進行拍攝而得到的圖像中，將來自被攝體的反射光中包含的擴散反射成分和鏡面反射成分分離的技術。這是因為，圖像處理算法大多以擴散反射為前提，鏡面反射可能成為圖像處理算法性能降低的主要原因。在專利文獻1中公開有將上述兩個反射成分分離的技術的一個例子。

在專利文獻1中，公開有包含下述(1)～(5)的工序的圖像處理方法。

(1)在任意的照明下，由相機通過主軸方向相互不同的偏振元件拍攝被攝體的多個圖像。

(2)對拍攝到的多個圖像的產(chǎn)生鏡面反射的像素組，按每個像素，根據(jù)被攝體的法線矢量和視線矢量確定入射面。

(3)按每個上述像素，根據(jù)被攝體的法線矢量和視線矢量確定入射角。

(4)將入射面和入射角這兩者都類似的像素彼此聚類而形成像素集合。

(5)在像素集合中，假定擴散反射成分與鏡面反射成分之間的概率獨立性而分離反射成分。

根據(jù)專利文獻1的圖像處理方法，在一般的照明環(huán)境下也能夠?qū)U散反射成分與鏡面反射成分分離。

現(xiàn)有技術文獻

專利文獻

專利文獻1：日本公開特許公報“特許第3955616號公報(2007年5月11日注冊)”

技術實現(xiàn)要素：

發(fā)明所要解決的技術問題

可是，在專利文獻1中，未公開關于降低來自被攝體的反射光中包含的正反射光成分后進行虹膜認證的內(nèi)容。

本申請的一個方式的目的在于實現(xiàn)能夠降低正反射光成分的圖像處理方法等。

解決技術問題的技術方案

為了解決上述的問題，本申請的一個方式的圖像處理方法包括：亮度值信息獲取步驟，利用以與主軸方向相互不同的多個偏振元件對應的多個像素為一個像素單元并將上述像素單元二維地排列的攝像元件，從被攝體獲取該攝像元件的作為該被攝體的有效的輻射亮度值的有效輻射亮度值；和圖像生成步驟，使用從上述被攝體獲取的有效輻射亮度值生成包含上述被攝體的像的拍攝圖像，在上述圖像生成步驟中，按與上述被攝體的至少一部分對應的每個上述像素單元，從該像素單元中包含的多個像素的有效輻射亮度值中去除上述被攝體的表面的正反射光成分的至少一部分而得到亮度值，生成作為具有該亮度值的單位區(qū)域的集合的上述拍攝圖像。

此外，本申請的一個方式的圖像處理方法包括：獲取由攝像元件拍攝到的被攝體的圖像的步驟，該攝像元件以與主軸方向相互不同的多個偏振元件對應的多個像素為一個像素單元并將該像素單元二維地排列；和使用上述攝像元件的輸出來計算依賴于射向上述被攝體的入射角的s偏振光的亮度分布的步驟，該入射角由與上述攝像元件的上述像素單元的二維的位置對應的上述被攝體上的位置決定。

此外，本申請的一個方式的圖像處理裝置是具備攝像元件的圖像處理裝置，該攝像元件以與主軸方向相互不同的多個偏振元件對應的多個像素為一個像素單元并將上述像素單元二維地排列，該圖像處理裝置包括：亮度值信息獲取部，該亮度值信息獲取部利用上述攝像元件從被攝體獲取該攝像元件的作為該被攝體的有效的輻射亮度值的有效輻射亮度值；和圖像生成部，該圖像生成部使用從上述被攝體獲取的有效輻射亮度值，生成包含上述被攝體的像的拍攝圖像，上述圖像生成部按與上述被攝體的至少一部分對應的每個上述像素單元，從該像素單元中包含的多個像素的有效輻射亮度值中去除上述被攝體的表面的正反射光成分的至少一部分而得到亮度值，生成作為具有該亮度值的單位區(qū)域的集合的上述拍攝圖像。

發(fā)明的效果

根據(jù)本申請的一個方式的圖像處理方法和圖像處理裝置，能夠?qū)崿F(xiàn)能夠降低正反射光成分的圖像處理方法等。

附圖說明

圖1是表示本實施方式的圖像處理方法中的處理的流程的一個例子的流程圖。

圖2是用于說明圖像處理裝置的概要的圖。

圖3是用于說明圖像處理裝置的圖像處理的概要的圖。

圖4是表示具備本實施方式的圖像處理裝置的便攜式信息終端的結(jié)構的框圖。

圖5的(a)和(b)是表示相機具備的集成偏振片的另一個例子的圖。

圖6是用于對圖像處理裝置的處理中使用的值進行說明的圖。

圖7是表示相對于偏振角的、像素中接收到的光的受光強度的圖表。

圖8是相對于入射角的、s偏振光和p偏振光的反射系數(shù)的圖表。

圖9是表示本實施方式的圖像處理方法中的處理的流程的另一個例子的流程圖。

圖10的(a)和(b)均是表示本實施方式的圖像處理方法中的處理的流程的又一個例子的流程圖。

圖11是表示相對于光射向橡皮球的入射角的、s偏振光的反射強度的圖表。

圖12是表示示出由本實施方式的圖像處理裝置進行的圖像處理的實驗結(jié)果的圖像的概略的圖。

圖13是表示實施方式3的圖像處理裝置的結(jié)構的框圖。

圖14是表示實施方式3的圖像處理裝置的處理的流程的流程圖。

圖15是表示具備實施方式4的圖像處理裝置的電子信息設備的結(jié)構的框圖。

圖16是表示實施方式4的圖像處理裝置中的處理的流程的流程圖。

圖17是表示單位區(qū)域的像素的亮度值的例子的圖表。

圖18是表示具備實施方式5的圖像處理裝置的電子信息設備的結(jié)構的框圖。

圖19是表示實施方式5的圖像處理裝置的處理的流程的流程圖。

圖20是表示單位區(qū)域的像素的亮度值的例子的圖表。

圖21是表示式(5-1)中包含的參數(shù)的圖表。

圖22的(a)是表示查找表的例子的圖，(b)是表示最小亮度值推定部所制作的表格的例子的圖，(c)是表示亮度值的信號強度的例子的圖，(d)是表示(c)所示的信號強度的例子和表示最小亮度值推定部所推定的亮度值的信號強度的例子的圖表。

圖23是表示具備實施方式6的圖像處理裝置的電子信息設備的結(jié)構的框圖。

圖24是表示實施方式6的圖像處理裝置中的處理的流程的流程圖。

圖25是表示像素單元中包含的像素的有效輻射亮度值、該像素單元中包含的像素所獲取的有效輻射亮度值的推定值和擴散光成分的推定值的例子的圖表，(a)是射向眼球的入射角為30°的光在眼球反射后的反射光所入射的像素單元的圖表，(b)是射向眼球的入射角為20°的光在眼球反射后的反射光所入射的像素單元的圖表，(c)是射向眼球的入射角為10°的光在眼球反射后的反射光所入射的像素單元的圖表。

圖26是表示具備實施方式8的圖像處理裝置的電子信息設備的結(jié)構的框圖。

圖27是表示實施方式8的圖像處理裝置中的處理的流程的流程圖。

圖28是表示像素單元的配置的圖，(a)是表示由9個像素構成的像素單元以相互不重疊的方式配置的狀態(tài)的圖，(b)是表示由4個像素構成的像素單元以相互不重疊的方式配置的狀態(tài)的圖，(c)是表示由9個像素構成的像素單元以部分重疊的方式配置的狀態(tài)的圖，(d)是表示4個像素由構成的像素單元以部分重疊的方式配置的狀態(tài)的圖。

圖29是表示同時執(zhí)行實施方式6的圖像處理和其它圖像處理的圖像處理裝置的處理的流程的流程圖。

圖30是用于說明被攝體包含兩眼的眼球的情況的圖。

具體實施方式

(實施方式1)

以下，對本發(fā)明的實施方式1進行詳細說明。本實施方式的圖像處理裝置是基于人的眼球的虹膜的圖像進行認證的裝置。

(圖像處理裝置10的概要)

首先，對圖像處理裝置10的概要進行說明。圖2是用于說明圖像處理裝置10的概要的圖。圖像處理裝置10是對拍攝被攝體而得到的圖像進行圖像處理的裝置。具體而言，圖像處理裝置10進行將來自被攝體的反射光中包含的擴散反射成分和鏡面反射成分分離的處理。圖像處理裝置10在本實施方式中裝載于便攜式信息終端1。

便攜式信息終端1例如是能夠?qū)τ谟脩舻难矍騟(被攝體)的圖像分離上述兩個反射成分，使用該分離后的圖像進行該用戶的虹膜認證的終端，如圖2所示，包括上述的圖像處理裝置10和相機20。圖像處理裝置10的詳細情況后述。另外，本發(fā)明的一個方式的被攝體并不限定于眼球，只要是有可能產(chǎn)生映像(映入)的被攝體就可以為任何被攝體。

相機20基于用戶操作對被攝體進行拍攝。在本實施方式中，如圖2所示，相機20拍攝用戶的眼球e，獲取眼球e的圖像。此外，相機20包括集成偏振片21和受光元件22(攝像元件)(參照圖3)，從光向相機20入射的方向看來，按集成偏振片21和受光元件22的順序?qū)盈B。

集成偏振片21由多個偏振元件構成，多個偏振元件的主軸方向不同。在本實施方式中，集成偏振片21對于1個像素對應1個偏振元件。而且，在本實施方式中，如圖2所示，包括與相鄰的9個像素分別對應的9個偏振元件21a～21i。具體而言，9個偏振元件21a～21i在各像素分別具有0°、20°、40°、60°、80°、100°、120°、140°和160°的偏振角。

受光元件22具有以與上述9個偏振元件21a～21i對應的多個像素為1個像素單元并將該像素單元二維地排列的結(jié)構。

在便攜式信息終端1中進行用戶的虹膜認證的情況下，由相機20拍攝用戶的眼球e。如圖2所示，當外部光或者室內(nèi)光照射到用戶的眼球e時，該光在眼球e的表面反射，反射光lr向相機20入射。

外部光(太陽光)或者室內(nèi)光照射至用戶的眼球e，相機20通過獲取在虹膜反射該外部光或者室內(nèi)光而得到的反射光lr，獲取包含用戶的虹膜的像的圖像，便攜式信息終端1通過對該虹膜的像進行解析而進行用戶認證。另一方面，在用戶的視野內(nèi)存在物體o的情況下，如圖2所示，由于外部光或者室內(nèi)光的影響，物體o映入眼球e，在眼球e形成映射圖像ir。即，照射至物體o而在物體o處反射后的外部光或者室內(nèi)光照射至眼球e，從而在眼球e形成映射圖像ir。然后，相機20通過獲取在該映射圖像ir反射外部光或者室內(nèi)光而得到的反射光lr，獲取包含映射圖像ir的圖像。便攜式信息終端1如果不進行從所獲取的包含虹膜的像和映射圖像ir的圖像中去除映射圖像ir的處理，則在虹膜的圖像解析中會受到映射圖像ir的影響，有可能無法進行正確的虹膜認證。

特別是由于在太陽光的照射下會在用戶的眼球e產(chǎn)生較強的映像，所以難以在屋外進行正確的虹膜認證。雖然通過向用戶的眼球e照射具有強度比太陽光的強度高的光能夠降低虹膜認證中太陽光的影響，但是在向眼球e或者皮膚照射這樣的強度高的光的情況下，眼球e或者皮膚的狀態(tài)有可能變差。

本實施方式的便攜式信息終端1通過具備集成偏振片21和圖像處理裝置10，不向眼球e照射上述那樣的強度高的光就能夠降低虹膜的圖像解析中上述映射圖像ir的影響，從而進行正確的虹膜認證。

接著，使用圖3對用于降低上述影響的圖像處理裝置10的處理的概要進行說明。圖3是用于說明圖像處理裝置10的圖像處理的概要的圖。另外，在圖3中，簡化集成偏振片21的圖示。

在圖3所示的例子中，在太陽光的照射下，為了進行虹膜認證而進行用戶的眼球e的拍攝。此外，在用戶的眼球e形成有物體o的映射圖像ir。

當為了進行虹膜認證而由相機20拍攝用戶的眼球e時，來自用戶的眼球e的反射光lr通過集成偏振片21被受光元件22接收。

此處，通常，形成圖像處理中使用的像的光(此處為示出認證處理中使用的虹膜的反射光lr)的強度，基本上由擴散反射成分構成。在本實施方式中，該光作為示出表面信息的光被處理，該表面信息示出認證處理中需要的眼球e(具體而言為虹膜)的表面。另一方面，在上述圖像處理中形成成為應該去除的噪聲的像的光(此處是示出對認證處理產(chǎn)生不良影響的物體o的反射光lr)的強度，基本上由鏡面反射成分構成。該鏡面反射成分包括s偏振光源成分(s偏振成分)和p偏振光源成分(p偏振成分)。

在圖3中，因為拍攝包含映射圖像ir和虹膜的眼球e，所以包含上述三種反射成分的反射光lr經(jīng)集成偏振片21被受光元件22接收。因而，需要從受光元件22接收的反射光lr中去除s偏振成分和p偏振成分。

在本實施方式中，對受光元件22接收到的反射光lr進行數(shù)字轉(zhuǎn)換處理，對數(shù)字信號化后的反射光lr進行去除s偏振成分和p偏振成分的處理(去除s波p波)。由此，如圖3所示，從認證處理中需要的眼球e的圖像中去除映射圖像ir。便攜式信息終端1通過對去除該映射圖像ir后的圖像(即，僅包含眼球e的虹膜的像的圖像)進行編碼，生成認證用的眼球e的數(shù)據(jù)。由此，便攜式信息終端1能夠進行正確的虹膜認證。

另外，為了精度更高地進行虹膜認證，也可以在去除s偏振成分和p偏振成分的處理之后，進行已知的獨立成分分析(independentcomponentanalysis，ica)處理。

(便攜式信息終端1的結(jié)構)

圖4是表示具備執(zhí)行本實施方式的圖像處理方法的圖像處理裝置10的便攜式信息終端1的結(jié)構的框圖。如圖4所示，便攜式信息終端1包括圖像處理裝置10、相機20和測距裝置30，該測距裝置30測定從相機20至用戶的眼球e的表面的各點為止的距離，并將其發(fā)送至后述的s偏振光計算部12。

另外，在本實施方式中，列舉一體地具備圖像處理裝置10、相機20和測距裝置30的便攜式信息終端1的例子進行說明，不過這些部件并不必須設置成一體。也就是說，圖像處理裝置10能夠從與該圖像處理裝置10非同一裝置的相機20獲取所拍攝的圖像，且能夠從與該圖像處理裝置10非同一裝置的測距裝置30獲取所測定的上述距離即可。

本實施方式的相機20使用ccd(chargecoupleddevice：電荷耦合元件)作為像素。另外，相機20也可以使用cmos(complementarymetaloxidesemiconductor：互補金屬氧化物半導體)作為像素。

圖5的(a)和(b)是表示相機20具備的集成偏振片的另一個例子的圖。本實施方式的相機20如對圖2說明的那樣，包括具備9種偏振元件21a～21i的集成偏振片21。但是，本發(fā)明的一個方式中使用的相機例如也可以包括圖5的(a)所示的具備4種偏振元件21j、21k、21l和21m的集成偏振片21a。此外，本發(fā)明的一個方式中使用的相機例如也可以包括圖5(b)所示那樣的具備2種偏振元件21n和21o的集成偏振片21b。

(圖像處理裝置10)

圖像處理裝置10包括黑眼珠檢測部11、s偏振光計算部12、p偏振光計算部13、擴散光計算部14和認證部15。

黑眼珠檢測部11獲取相機20拍攝到的圖像，確定該圖像所含的與用戶的黑眼珠對應的區(qū)域。黑眼珠檢測部11的處理例如在利用虹膜的圖像進行的認證的領域是公知的，因此在本說明書中省略說明。

s偏振光計算部12計算圖像中包含的s偏振光的亮度分布。關于利用s偏振光計算部12進行的處理將在后文敘述。

p偏振光計算部13計算圖像中包含的p偏振光的亮度分布。p偏振光計算部13基于s偏振光的亮度分布和菲涅耳定律計算p偏振光的亮度分布。

擴散光計算部14計算圖像中包含的擴散光的亮度分布。具體而言，擴散光計算部14從各像素的亮度值減去該像素的s偏振光和p偏振光的亮度值。通過上述減法處理，能夠獲得s偏振光和p偏振光的成分被去除后的、僅擴散光的成分的圖像。

認證部15使用僅有擴散光的圖像中包含的虹膜的圖像，進行用戶的認證。認證部15的利用虹膜的認證為公知技術，因此在本說明書中省略說明。

(s偏振光計算部12的處理)

圖6是用于對圖像處理裝置的處理中使用的值進行說明的圖。在以下的說明中，如以下那樣規(guī)定各數(shù)值。

·r：從相機20的透鏡至眼球e的中心為止的距離

·r：眼球e的半徑

·θ：射向眼球e的光的入射角((i)將光入射的眼球上的位置p與眼球的中心連結(jié)的直線l1(第一假想線)與(ii)將該位置p與相機20的透鏡的中心連結(jié)的直線l2(第二假想線)形成的角)

·φ：(i)將相機20的透鏡的中心與眼球e的中心連結(jié)的直線與(ii)上述直線l1形成的角

s偏振光計算部12使用受光元件22的像素的亮度值(輸出)計算依賴于由眼球e上的位置p決定的入射角θ的s偏振光的亮度分布，該位置p與像素單元的二維的位置對應。以下對s偏振光計算部12的處理進行說明。

(s偏振光計算部12的第一處理)

首先，s偏振光計算部12確定與入射角θ成為布儒斯特角的眼球上的點(以下，根據(jù)需要記作“布儒斯特點”)對應的、受光元件22的像素。具體而言，基于以下的式(1-1)計算角度φ。式(1-2)是將式(1-1)變形而得到的數(shù)學式。

[數(shù)學式1]

rsinφ＝(rcosφ-r)tanθ(1-1)

[數(shù)學式2]

在式(1-1)和(1-2)中，r由測距裝置30測定。更準確地說，測距裝置30測定從相機20的透鏡至眼球e的表面的距離，即從r減去r的距離。在人體的眼球的情況下，r的值為7.4mm，大致一定。因而，能夠根據(jù)測距裝置30的測定數(shù)據(jù)計算r。進一步，因為眼球的角膜的折射率n為1.376，所以在本實施方式中，布儒斯特角(＝θ)為53.1°?；谶@些數(shù)值，s偏振光計算部12能夠使用式(1-1)或者(1-2)計算角度φ。

此處，存在于將相機20與眼球e的中心連結(jié)的直線上的、與眼球e的表面對應的像素，是眼球e的區(qū)域內(nèi)最靠近相機的像素?；谠撓袼氐奈恢煤蜕鲜鼍嚯x，能夠確定眼球e的圖像的、與布儒斯特點對應的像素。另外，與布儒斯特點對應的像素在圖像中被確定多個。

接著，s偏振光計算部12確定相機20的受光元件22所含的、包含所確定的各個像素的像素單元。像素單元是與多個偏振元件對應的一組像素。在本實施方式中，像素單元與主軸方向相互不同的9個偏振元件對應。該像素單元在相機20的受光元件22中二維排列。在圖6中，在將眼球上的位置p與相機20的透鏡的中心連結(jié)的直線l2上的、受光元件22的像素單元的二維位置，接收射入該位置p的光。

接著，s偏振光計算部12通過從所確定的像素單元中包含的像素的亮度值的最大值減去最小值，計算布儒斯特點的s偏振光的亮度值。此時，例如也可以對于所確定的所有像素單元計算從像素的亮度值的最大值減去最小值而得到的差，將該差的平均值作為布儒斯特點的s偏振光的亮度值?；蛘撸瑑H對任意的像素單元進行從像素的亮度值的最大值減去最小值的計算，將計算得到的差作為布儒斯特點的s偏振光的亮度值。

圖7是表示相對于偏振角(主軸方向的角度)的、像素中接收到的光的受光強度的圖表。在圖7所示的圖表中，橫軸為偏振角，縱軸為受光強度。上述受光強度包括示出認證處理中所需的虹膜像的擴散反射成分(k-term)和示出認證處理中成為噪聲的外部光的映射圖像ir的鏡面反射成分。如上所述，鏡面反射成分包括s偏振成分(f-term)和p偏振成分(g-term)。s偏振成分形成大致余弦函數(shù)(cos(θ+ψ)(ψ為任意的常數(shù)))或者大致正弦函數(shù)。

擴散反射成分不依賴于偏振角而固定。因而，圖7所示的圖表中的、受光強度相對于偏振角的變動是鏡面反射成分、特別是s偏振成分的變動。

圖8是表示相對于入射角θ的s偏振光和p偏振光的反射系數(shù)(菲涅耳定律)的圖表。在圖8所示的圖表中，橫軸為射向眼球e的光的入射角θ(參照圖6)，縱軸為反射系數(shù)。反射系數(shù)是表示反射強度的相對的值。此外，眼球e的s偏振光和p偏振光的反射強度與像素的各受光強度1對1地對應。此外，以下的式(2-1)和(2-2)是表示射向眼球e的光的入射角θ與反射光中包含的s偏振光和p偏振光的反射系數(shù)的關系的式子。在式(2-1)和(2-2)中，如上所述n＝1.376。

[數(shù)學式3]

[數(shù)學式4]

如圖8所示，p偏振光的反射系數(shù)在入射角θ為布儒斯特角附近的情況下大致為0。即，包含與布儒斯特點對應的像素的像素單元所含的像素中，相對于偏振角的受光強度的變動能夠看作s偏振光的變動。

已知s偏振光的強度相對于偏振角的變動示出正弦函數(shù)的變化。因而，通過從所確定的像素單元中包含的像素的亮度值的最大值減去最小值，能夠求取該像素單元的s偏振光的反射強度(振幅)。

之后，s偏振光計算部12基于布儒斯特角的s偏振光的反射系數(shù)和反射強度以及與布儒斯特點對應的像素單元以外的s偏振光的反射系數(shù)，計算所確定的像素單元以外的像素單元的s偏振光的反射強度。具體而言，計算布儒斯特角的s偏振光的反射系數(shù)與反射強度的比率，并使用該比率計算與布儒斯特角以外的入射角θ的反射系數(shù)對應的反射強度。即，s偏振光計算部12以入射角θ為布儒斯特角的像素的s偏振光的亮度值為起點，計算布儒斯特角以外的入射角θ的s偏振光的亮度值。

另外，在圖像內(nèi)的眼球e的區(qū)域未產(chǎn)生外部光的映像的情況下，各像素的亮度值不包括鏡面反射成分。在這種情況下，像素單元內(nèi)的每個像素的亮度值不包含s偏振成分，因此相對于偏振角未示出正弦函數(shù)的變化。

因此，本發(fā)明的一個方式的圖像處理裝置也可以還包括映像判定部，該映像判定部在s偏振光計算部12進行的處理之前，判定像素單元內(nèi)的每個像素的亮度值是否相對于偏振角示出正弦函數(shù)的變化。成為由映像判定部進行的判定的對象的像素單元由圖像處理裝置的制造者任意設定即可。

在像素單元內(nèi)的每個像素的亮度值相對于偏振角未示出正弦函數(shù)的變化的情況下，認為未產(chǎn)生射向眼球e的外部光的映像。在這種情況下，圖像處理裝置10不進行s偏振光和p偏振光的計算，而將各像素單元包含的像素中最小的亮度值作為擴散反射成分的亮度值，進行認證部15的認證即可。

(s偏振光計算部12的第二處理)

與上述的布儒斯特點對應的像素多位于圖像的黑眼珠的區(qū)域的外周。因此，根據(jù)用戶眼睛睜開的程度或者拍攝的角度等，存在在上述黑眼珠的區(qū)域不含有與布儒斯特點對應的像素的情況。

在這樣的情況下，不能正常地進行上述第一處理，因此利用虹膜進行的認證失敗。因此，s偏振光計算部12在利用由上述的第一處理生成的虹膜圖像進行的認證失敗了的情況下，作為在受光元件22上的眼球e的區(qū)域不含有與布儒斯特角對應的像素的情況，進行以下說明的第二處理。

在第二處理中，對受光元件22中包含的多個像素單元重復進行以下計算，即，通過從像素單元中包含的像素的亮度值的最大值減去最小值來計算s偏振光的亮度值。這樣，通過從所確定的各個像素單元中包含的像素的亮度值的最大值減去最小值，計算該像素單元的s偏振光的亮度值。之后，使用式(2-1)對與各像素單元對應的入射角θ和s偏振光的亮度值的關系進行擬合(fitting)，計算n的值。

另外，在本實施方式的圖像處理裝置中，s偏振光計算部12先進行上述的第一處理與第二處理中的哪一個處理均可。此外，也可以只進行其中某一處理。

(p偏振光計算部13的處理)

如圖8、式(2-1)和(2-2)所示，按照菲涅耳定律，s偏振光與p偏振光的強度比根據(jù)入射角θ決定。因此，在s偏振光計算部12進行了上述的第一處理的情況下，p偏振光計算部13能夠如上所述，基于s偏振光的亮度分布和菲涅耳定律，計算p偏振光的亮度分布。

此外，在s偏振光計算部12進行了上述的第二處理的情況下，n的值被算出。因而，p偏振光計算部13能夠利用上述的式(2-2)計算p偏振光的強度。

(圖像處理裝置10進行的第一處理)

圖1是表示本實施方式的圖像處理方法中的處理的流程的一個例子的流程圖。

首先，相機20拍攝包含用戶的眼球e的圖像，并且測距裝置30測定從相機20至眼球e的距離(s1)。圖像處理裝置10獲取表示該圖像和距離的數(shù)據(jù)。而且，首先對拍攝到的圖像執(zhí)行黑眼珠檢測部11檢測黑眼珠區(qū)域的處理(s2)。

接著，s偏振光計算部12計算在檢測到的黑眼珠區(qū)域中，向相機20反射的光的入射角θ為布儒斯特角的點的s偏振光的亮度值(sa1)。進一步，s偏振光計算部12基于在步驟sa1計算出的s偏振光的亮度值和菲涅耳定律，計算向相機20反射的光的入射角θ為布儒斯特角以外的角度的點的s偏振光的亮度值(亮度分布)(sa2)。

之后，p偏振光計算部13基于在步驟sa1和sa2中計算出的s偏振光的亮度分布和菲涅耳定律，計算p偏振光的亮度值(亮度分布)(sa3)。進一步，擴散光計算部14基于s偏振光的亮度分布和p偏振光的亮度分布，計算擴散光的亮度分布(sa4)。

認證部15使用示出由步驟sa4獲得的擴散光的亮度分布的圖像(有時也稱為擴散光的圖像)進行認證(sa5)。之后，認證部15判定根據(jù)擴散光的圖像是否成功認證了用戶(s3)。在成功認證的情況下(s3，是(y))，圖像處理裝置10結(jié)束圖像處理。

另一方面，在沒能成功認證的情況下(s3，否(n))，圖像處理裝置10為了提高認證的精度而通過與步驟sa1～sa5不同的處理再次嘗試用戶的認證。具體而言，首先，s偏振光計算部12對檢測到的黑眼珠區(qū)域內(nèi)的各像素單元計算s偏振光亮度值(sb1)。接著，p偏振光計算部13基于在步驟sb1計算出的s偏振光亮度值，計算p偏振光亮度值(sb2)。然后，擴散光計算部14基于s偏振光亮度值和p偏振光亮度值，計算擴散光亮度值(sb3)。認證部15使用由步驟sb3獲得的擴散光的圖像進行認證(sb4)。另外，在步驟sb4中認證失敗的情況下，認證部15將認證失敗的情況例如通過便攜式信息終端1具備的顯示部(未圖示)等通知給用戶。

另外，圖1所示的流程圖的處理中，步驟sa1～sa4的處理相當于上述的s偏振光計算部12的第一處理。此外，步驟sb1～sb3的處理相當于上述的s偏振光計算部12的第二處理。

(圖像處理裝置10進行的第二處理)

圖9是表示本實施方式的圖像處理方法中的處理的流程的另一個例子的流程圖。根據(jù)圖9所示的處理，與圖1所示的處理相比較能夠期待高速地進行用戶的認證。

在圖9所示的處理中，首先，與圖1所示的例子同樣地執(zhí)行步驟s1和s2。接著，圖像處理裝置10在步驟sa1之前執(zhí)行步驟sb1～sb4的認證。之后，判定認證部15判定是否成功認證了用戶(s3)。在沒能成功認證的情況下(s3，否)，圖像處理裝置10執(zhí)行步驟sa1～sa5的認證。

步驟sb1～sb4的認證與步驟sa1～sa5的認證相比較能夠以短時間進行處理。因而，根據(jù)圖9所示的處理，在能夠由步驟sb1～sb4進行用戶的認證的情況下，與圖1所示的處理相比較能夠高速地進行用戶的認證。

(圖像處理裝置10進行的第三處理)

圖10的(a)是表示本實施方式的圖像處理方法中的處理的流程又一個例子的流程圖。根據(jù)圖10的(a)所示的處理，與圖1和圖9所示的處理相比較，可靠度降低，但是能夠比圖1和圖9所示的處理更加高速地進行用戶的認證。

在圖10的(a)所示的處理中，與圖9所示的處理同樣，圖像處理裝置10在步驟s1和s2之后執(zhí)行步驟sb1～sb4的認證。之后，認證部15不進行步驟s3的判定。

根據(jù)圖10的(a)所示的處理，即使在只要進行步驟sa1～sa5的認證就能夠認證成功的情況下，也是如果步驟sb1～sb4的認證失敗則認證自身也失敗，因此認證的可靠度下降。另一方面，用戶能夠迅速地知道基于所拍攝的圖像的認證的成功與否。

(圖像處理裝置10進行的第四處理)

圖10的(b)是表示本實施方式的圖像處理方法中的處理的流程的又一個例子的流程圖。圖10的(b)所示的處理與圖10的(a)所示的處理相比較在省略步驟sb2這方面不同。即，根據(jù)圖10的(b)所示的處理，圖像處理裝置10僅去除s偏振光，不去除p偏振光。因而，根據(jù)圖10的(b)所示的處理，在步驟sb4中，認證部15使用未去除映射圖像ir的p偏振成分的圖像進行認證。因此，與圖10的(a)所示的處理相比較，認證的可靠度進一步降低，但能夠進一步提高處理速度。

(實驗例1)

以下，通過使用了橡皮球的實驗例，對通過上述的s偏振光計算部12進行的第二處理，能夠利用圖像處理裝置10進行成為映入圖像內(nèi)的噪聲的像(映射圖像)的去除的理由進行說明。實驗中使用的相機20是使用ccd傳感器的相機，像素數(shù)為1900×900(約130萬像素)。相機20具備的集成偏振片具有偏振角相互不同的4種偏振元件。在以下的說明中，4種偏振元件的偏振角分別為0°、45°、90°和135°。

偏振元件的制造方法如下所述。首先，在構成ccd傳感器的光電二極管上隔著sio2層間膜形成膜厚40nm的alcu膜，通過干式蝕刻以300nm間距形成150nm的狹縫(不存在alcu的帶狀的區(qū)域)。之后，依次形成膜厚50nm的sio2和膜厚40nm的alcu，在新的alcu中，以與之前形成的alcu膜錯開的方式形成狹縫。

橡皮球的直徑為10cm，作為圖案像在表面描繪字符“g”。在成為各個圖的基礎的照片中，在與圖案像重疊的位置產(chǎn)生映像。橡皮球與相機20的透鏡之間的距離為30cm～50cm。

在由偏振角45°的偏振光形成的圖像中，圖案像比較清晰。另一方面，在由偏振角0°和90°的偏振光形成的圖像中，圖案像不清晰。在由偏振角135°的偏振光形成的圖像中，圖案像更加不清晰。即，在該集成偏振片中，在從4個偏振元件透射后的光中，從偏振角45°的偏振元件透射后的光的亮度最高，從偏振角135°的偏振元件透射后的光的亮度最低。因此，下述的實測值使用計算這兩個光的亮度的差而得到的結(jié)果。

圖11是表示相對于射向橡皮球的光的入射角的、s偏振光的反射系數(shù)的圖表。在圖11中，橫軸是來自橡皮球的光入射的各像素的、從來自橡皮球的中心的光入射的像素至該像素的距離與橡皮球的半徑之比，是與射向橡皮球的光的入射角對應的值。此外，縱軸是s偏振光的反射系數(shù)。

在圖11中，各數(shù)據(jù)點為實測值。另一方面，實線是表示使用式(2-1)的、橡皮球的折射率(n＝2.2)的反射系數(shù)的理論值的圖表。s偏振光計算部12的實測值與理論值一致。進一步，基于上述的式(2-2)和通過擬合計算出的n的值，能夠求取相對于入射角θ的p偏振光的亮度分布。

如上所述，在本實驗中，基于通過主軸方向相互不同的4個偏振元件拍攝的圖像，能夠計算圖像中包含的s偏振成分和p偏振成分。通過從原來的圖像減去s偏振成分，能夠獲得與原來的圖像相比圖案像變得清晰的圖像。此外，通過從原來的圖像減去s偏振成分和p偏振成分這兩者，能夠獲得圖案像更加清晰的圖像。

另外，在用戶實際利用便攜式信息終端1拍攝眼睛的圖像的情況下，眼球e有可能從圖像的中心的偏離。在眼球e從圖像的中心偏離的情況下，式(1-1)和(1-2)所示那樣的簡單的關系不成立。

在這樣的情況下，通過確定入射角為布儒斯特角的像素的位置，能夠判定上述的偏離。

具體而言，計算各像素單元的像素的亮度對偏振角的依賴性。如上所述，在與布儒斯特角對應的像素單元中p偏振成分為0，因此該像素單元的亮度中s偏振成分所占的比率變大。其結(jié)果是，該像素單元中包含的像素的亮度依賴于偏振角的變動變大。

因而，能夠?qū)ζ窠堑囊蕾囆蕴貏e大的像素單元看作對應于布儒斯特角的像素。而且，能夠基于與布儒斯特角對應的像素的位置，判定相機20的位置的偏離。

(實驗例2)

圖12是對示出由本實施方式的圖像處理裝置進行的圖像處理的實驗結(jié)果的圖像的概略進行表示的圖。在本實驗中，使用了集成偏振片，該集成偏振片具備具有相互不同的7種偏振角的偏振元件。此外，在本實驗中，通過上述的流程圖中的步驟sb1～sb3進行圖像處理。

本實驗中使用的圖像在圖像處理前如圖12中箭頭的前方所示那樣，包含射向黑眼珠區(qū)域的外部光的映射圖像ir。與此相對，在圖像處理后，如圖12中箭頭的后方所示那樣，去除了射向黑眼珠區(qū)域的外部光的映射圖像ir。

(圖像處理裝置10的效果)

發(fā)明人在本申請之前進行了各種條件下的基于現(xiàn)有的虹膜認證系統(tǒng)的認證的實驗。在實驗中，利用智能手機的相機進行了拍攝。智能手機的位置相對于眼球為“正面”和“下”這2種。此外，將眼睛的睜開程度在智能手機的位置為“正面”的情況下分為“大”、“中”和“小”這3種，在智能手機的位置為“下”的情況下為“中”這1種。

拍攝環(huán)境為“屋內(nèi)”和“屋外”這2種。關于“屋內(nèi)”，進一步分為“無窗”、“有窗(背陰)”、“有窗(直射日光)”和“暗室”這4種。此外，關于“屋外”，進一步分為“晴天(逆光)”、“晴天(順光)”和“晴天(側(cè)光)”這4種。另外，“逆光”是指太陽光從與相機相反的一側(cè)射入被攝體。此外，“順光”是指太陽光在與相機相同的一側(cè)入射。此外，“側(cè)光”是指太陽光從相機的側(cè)面射入被攝體。

以下說明按各種條件進行認證實驗各10次后的結(jié)果。在智能手機的位置為“正面”的情況下，只要眼睛的睜開程度為“中”以上，在“屋內(nèi)”除“有窗(直射日光)”以外就未發(fā)生認證的失敗。另一方面，在“有窗(直射日光)”的情況下，幾乎未發(fā)生認證的成功。此外，眼睛的睜開程度為“小”的情況下，無論在怎樣的環(huán)境下均幾乎未發(fā)生認證的成功。

另一方面，在智能手機的位置為“下”的情況下，在“屋內(nèi)”除“有窗(直射日光)”以外未發(fā)生認證的失敗。進一步，“有窗(直射日光)”的失敗也極少。

這樣，在屋內(nèi)，只要不是來自窗戶的直射日光照到的場所，則只要眼睛的睜開程度不小就幾乎不發(fā)生認證的失敗。

但是，在“屋外”，在智能手機的位置為“正面”的情況下，認證全部不成功。在智能手機的位置為“下”的情況下，雖然在“晴天(側(cè)光)”能夠沒有問題地進行認證，但是在“晴天(逆光)”和“晴天(順光)”的情況下，認證的成功次數(shù)為一半以下。

如以上說明的那樣，基于現(xiàn)有的虹膜認證系統(tǒng)的認證存在在屋外難以成功的問題。如上所述，其原因在于射向眼球的外部光等的映像。

在專利文獻1中，關于通過求取鏡面反射成分的亮度分布而將上述反射成分分離以及去除映入作為被攝體的眼球的其它物體的像后進行虹膜認證沒有公開。此外，關于進行去除上述物體的像的處理以外的用于虹膜認證的處理沒有公開。

根據(jù)本實施方式的圖像處理裝置，能夠通過由s偏振光計算部12求取依賴于入射角θ的s偏振成分的亮度分布，計算并去除起因于眼球的圖像中包含的映射圖像ir的s偏振成分。此外，根據(jù)本實施方式的圖像處理裝置，能夠基于s偏振成分計算并去除起因于映射圖像ir的p偏振成分。

即，根據(jù)本實施方式的圖像處理裝置，能夠?qū)⑸湎蜓矍虻耐獠抗獾挠诚袢コＭㄟ^利用去除外部光的映像后的圖像進行虹膜認證，能夠進行不要求環(huán)境且精度高的認證。

此外，在專利文獻1的圖像處理方法中，為了在上述的(5)的處理中將擴散反射成分和鏡面反射成分分離，需要進行上述的(1)～(4)的處理。因此，在專利文獻1的圖像處理方法中，用于分離上述兩個反射成分的算法復雜化，其結(jié)果是，存在圖像處理的運算速度下降的可能性。在本實施方式的圖像處理裝置10中，能夠如上述那樣不進行上述(1)～(4)的處理地分離上述兩個反射成分。因而，與專利文獻1的圖像處理方法相比，能夠提高圖像處理的運算速度。

(實施方式2)

基于圖4和圖5對本發(fā)明的實施方式2說明如下。另外，為了便于說明，對與上述實施方式中說明的部件具有相同的功能的部件，標注相同的附圖標記，省略其說明。

實施方式1的相機20作為集成偏振片21具有9個偏振元件21a～21i。另一方面，如圖5的(a)所示，本實施方式的相機20包括具有與相鄰的4個像素分別對應的4個偏振元件21j～21m的集成偏振片21a。4個偏振元件21j、21k、21l和21m在各像素具有135°、90°、45°、0°的偏振角。這樣，在本實施方式中，使用集成偏振片21a代替集成偏振片21。在這種情況下，也與實施方式1同樣，能夠在圖1、圖9和圖10所示的步驟sa1和sb1中進行s偏振光亮度值的計算。即，能夠與實施方式1同樣地從反射光lr中去除鏡面反射成分。

不過，本實施方式的集成偏振片21a具有4個偏振元件21j～21m，其數(shù)目少于實施方式1。

一般在集成偏振片的偏振角和像素接收的反射光lr的受光強度的特性中，該受光強度形成大致正弦函數(shù)或者大致余弦函數(shù)。在實施方式1中，在一個像素單元中獲取9個偏振元件21a～21i的反射光lr的受光強度。因此，能夠如圖7所示，使上述特性中的受光強度示出的波形與上述大致正弦函數(shù)或者大致余弦函數(shù)擬合。因而，例如圖1所示的步驟sa1中使用的、一個像素單元的受光強度的最大值(最大亮度值)和最小值(最小亮度值)與該像素單元的最大亮度值和最小亮度值大致一致的可能性高。

另一方面，在本實施方式中，進行插補而與上述大致正弦函數(shù)或者大致余弦函數(shù)擬合，不過與實施方式1相比，擬合的精度下降，存在從上述最大亮度值和最小亮度值偏離的可能性。

但是，在本實施方式中，與集成偏振片21a對應的一個像素單元由4個像素構成。即，與實施方式1相比集成偏振片21a的數(shù)目變多。因此，例如能夠?qū)⑴c布儒斯特角對應的像素與實施方式1相比細分化地獲取。即，能夠精度更高地確定該像素。

這樣，在本實施方式中，與實施方式1相比較，雖然擬合的精度有可能降低，但是能夠更高精度地確定與布儒斯特角對應的像素。因而，通過驗證進行了虹膜認證時的精度來決定使用實施方式1的集成偏振片21和本實施方式的集成偏振片21a中的哪一個集成偏振片即可。

另外，也可以通過進行上述驗證，使用圖5的(b)所示的集成偏振片21b(包括偏振角為90°的偏振元件21n和偏振角為0°的偏振元件21o各兩個)代替集成偏振片21a。此外，偏振角和與一個像素單元對應的偏振元件的數(shù)目能夠根據(jù)上述驗證適當?shù)馗淖儭?/p>

(實施方式3)

基于圖13和圖14對本發(fā)明的實施方式3說明如下。在使用虹膜圖像的認證中，有可能出現(xiàn)通過使用眼球e的偽造物來偽裝成用戶本人進行認證的情況。因而，需要研究防止該偽裝。

圖13是表示具備本實施方式的圖像處理裝置10a的便攜式信息終端1a的結(jié)構的框圖。如圖13所示，圖像處理裝置10a與圖像處理裝置10相比較，在認證部15具備偽裝判定部15a這方面不同。

活體的眼睛的角膜的折射率一般為n＝1.376。另一方面，在眼的偽造物的情況下，構成活體的眼睛的成分及其原材料不同，因此折射率與活體的眼睛不同。偽裝判定部15a利用該差異，判定眼睛是活體還是偽造物。

具體而言，偽裝判定部15a參照在步驟sb1中s偏振光計算部12計算得到的n的值。如果n的值為與1.376相同或與之相近的值(即規(guī)定的范圍內(nèi)，例如±5％以內(nèi)的值)，則偽裝判定部15a對于拍攝到的圖像判定為是活體的眼球e。另一方面，如果計算得到的n的值為從1.376偏離的值(即規(guī)定的范圍外，例如超過±5％地偏離的值)，則偽裝判定部15a對于拍攝到的圖像判定為是眼球e的偽造物。

圖14是表示圖像處理裝置10a的處理的流程的流程圖。如圖14所示，圖像處理裝置10a的處理與圖1所示的處理相比較，僅在步驟sb3與步驟sb4之間執(zhí)行步驟sb5這方面不同。

在步驟sb5中，偽裝判定部15a判定在步驟sb1中s偏振光計算部12計算出的n的值是否在規(guī)定的范圍內(nèi)。在規(guī)定的范圍內(nèi)的情況下(sb5，是)，偽裝判定部15a判定拍攝到的圖像為活體的眼球e，進行sb4的處理。另一方面，不在規(guī)定的范圍內(nèi)的情況下(sb5，否)，偽裝判定部15a判定拍攝到的圖像為眼球e的偽造物，不進行sb4的處理，結(jié)束認證。

如上所述，根據(jù)本實施方式的圖像處理方法，通過利用s偏振光計算部12求取依賴于入射角θ的s偏振成分的亮度分布，能夠在被攝體是眼球還是偽造物的判別中利用該s偏振光的亮度分布。

另外，偽裝判定部15a也可以對于步驟sb2中由p偏振光計算部13計算出的p偏振成分的亮度分布，將亮度值最小的角度看作布儒斯特角。而且，也可以根據(jù)該角度是否為接近53.1°的值來判定是活體的眼球e還是眼球e的偽造物。即，偽裝判定部15a也可以基于上述角度是否處于包含被推定為活體的眼球e的布儒斯特角在內(nèi)的規(guī)定的范圍內(nèi)，進行上述判定。

此外，在圖9和圖10的處理中，也能夠通過在步驟sb3與步驟sb4之間執(zhí)行步驟sb5來進行上述判別。

(變形例)

以下對防止利用偽造物的偽裝的另一種方法進行說明。

在對折射率與活體的眼球e不同的偽造物，令布儒斯特角為53.1°地進行映像去除的情況下，射向該偽造物的外部光等的映像并不能恰當?shù)乇蝗コ?。因而，在存在外部光等的映像的情況下，即使不進行折射率的計算，虹膜圖案也會由于該映像而發(fā)生變化，認證失敗的可能性高。

但是，例如在暗室等不產(chǎn)生映像的環(huán)境下進行認證的情況下，存在虹膜圖案不發(fā)生變化而認證成功的問題。

因此，作為防止利用偽造物的偽裝的方法，還可以在圖像處理裝置中設置用于有意地使眼球e產(chǎn)生映像的光源。所產(chǎn)生的映像(光源的像)，如果是活體的眼球e，則能夠由圖像處理裝置恰當?shù)厝コ?，因此對認證沒有影響。而如果是眼球e的偽造物，則圖像處理裝置不能將該映像去除，因此認證失敗。另外，這樣的光源發(fā)出的光的強度只要產(chǎn)生映像即可。因而，例如不需要為對人體產(chǎn)生不良影響那樣高的強度。

(實施方式4)

基于圖15～圖17對本發(fā)明的實施方式4說明如下。

圖15是表示具備本實施方式的圖像處理裝置10b的電子信息設備2的結(jié)構的框圖。如圖15所示，電子信息設備2包括圖像處理裝置10b、相機20和存儲部90。此外，圖像處理裝置10b包括亮度值信息獲取部16、最小亮度值選擇部17(圖像生成部)、黑眼珠檢測部11和認證部15。

亮度值信息獲取部16通過相機20具備的攝像元件從該被攝體獲取該攝像元件的、作為被攝體的有效的輻射亮度值的有效輻射亮度值。具體而言，亮度值信息獲取部16獲取在相機20具備的攝像元件的各個像素中分別接收由被攝體反射后的光時的該光的強度作為各像素的有效輻射亮度值。另外，在本實施方式和以后的實施方式中，“被攝體”既可以僅為單個眼球e，也可以為兩眼的眼球e，或者包含眼球e的周圍的物體。

最小亮度值選擇部17使用從被攝體的黑眼珠獲取的有效輻射亮度值，生成包含黑眼珠的像的拍攝圖像。具體而言，最小亮度值選擇部17按每個與被攝體的黑眼珠對應的像素單元，從該像素單元中包含的多個像素的有效輻射亮度值中去除被攝體的黑眼珠的表面的正反射光成分的至少一部分而得到亮度值，并生成作為具有該亮度值的單位區(qū)域的集合的拍攝圖像。此外，上述的擴散光計算部14以及后述的最小亮度值推定部17a和擴散反射光成分計算部18也相同。

更具體而言，本實施方式的最小亮度值選擇部17將像素單元中包含的多個像素的有效輻射亮度值中的最小值決定為與該像素單元對應的單位區(qū)域的亮度值。與被攝體的黑眼珠對應的像素單元預先由黑眼珠檢測部11確定。單位區(qū)域是指與相機20具備的各個像素單元分別對應的、被攝體的圖像中的區(qū)域。

在本實施方式和后述的實施方式中，將形成映射圖像的反射光的成分稱為正反射光成分。正反射光成分包括依賴于與像素對應地設置的偏振元件的主軸方向的成分。也可以說，像素單元的有效輻射亮度值的最小值是在該像素單元中最干凈地去除依賴于偏振元件的主軸方向的成分后的有效輻射亮度值。因而，最小亮度值選擇部17通過將像素單元的有效輻射亮度值的最小值決定為單位區(qū)域的亮度值，生成作為單位區(qū)域的集合的拍攝圖像，該單位區(qū)域具有去除被攝體的角膜的表面的正反射光成分的至少一部分而得到的亮度值。

存儲部90是存儲圖像處理裝置10b執(zhí)行的處理中所需的信息的存儲裝置。另外，電子信息設備2也可以不具備存儲部90而構成為能夠與設置在電子信息設備2的外部的存儲裝置進行通信。

圖16是表示圖像處理裝置10b的處理的流程圖。在圖像處理裝置10b中，首先，亮度值信息獲取部16通過相機20獲取包含黑眼珠的被攝體的有效輻射亮度值(sc1，亮度值信息獲取步驟)。接著，黑眼珠檢測部11從有效輻射亮度值檢測黑眼珠區(qū)域(sc11)。最小亮度值選擇部17將黑眼珠檢測部11檢測到的黑眼珠區(qū)域決定為執(zhí)行圖像處理的范圍(s12)。最小亮度值選擇部17通過將黑眼珠區(qū)域內(nèi)的像素單元中包含的多個像素的有效輻射亮度值中的最小值決定為與該像素單元對應的單位區(qū)域的亮度值，去除角膜的表面的正反射光成分的至少一部分(sc2，圖像生成步驟)。進一步，最小亮度值選擇部17生成作為具有步驟sc2中決定的亮度值的單位區(qū)域的集合的拍攝圖像(sc3，圖像生成步驟)。

黑眼珠檢測部11對最小亮度值選擇部17生成的拍攝圖像執(zhí)行檢測黑眼珠區(qū)域的處理(sc4)。黑眼珠檢測部11也可以將步驟sc11的黑眼珠區(qū)域的檢測結(jié)果直接作為步驟sc4的檢測結(jié)果使用。認證部15使用檢測到的黑眼珠區(qū)域進行本人認證(sc5)。之后，認證部15判定是否成功認證了用戶(sc6)。在認證成功的情況下(在sc6為是)，圖像處理裝置10b結(jié)束處理。在未能成功認證的情況下(在sc6為否)，黑眼珠檢測部11再次進行黑眼珠區(qū)域的檢測。

在步驟sc6為否的情況下，存在黑眼珠檢測部11不能正確地檢測用戶的黑眼珠區(qū)域的可能性。因此，在步驟sc6為否之后的步驟sc4，優(yōu)選黑眼珠檢測部11使檢測的黑眼珠區(qū)域與在上次的步驟sc4中檢測到的黑眼珠區(qū)域不同。作為使黑眼珠區(qū)域不同的方法的具體例，可以列舉將黑眼珠區(qū)域的徑擴大或者縮小的方式。這樣，優(yōu)選以使得注冊的用戶的眼球的代碼與拍攝到的眼球e的代碼的漢明距離成為最小的方式，對由黑眼珠檢測部11進行的黑眼珠區(qū)域的檢測處理提供反饋。

圖17是表示像素單元的像素的有效輻射亮度值的例子的圖表。在圖17所示的圖表中，橫軸表示與相機20的像素單元中包含的各像素對應的偏振元件的主軸的角度，縱軸表示像素單元中的像素的有效輻射亮度值。在圖17所示的例子中，像素單元包含9個像素，各個像素與主軸方向以10°為起點逐個相差20°的9個偏振元件對應。

在圖17所示的例子中，像素單元中的像素的有效輻射亮度值在對應的偏振元件的主軸方向為90°的像素取最小值，在對應的偏振元件的主軸方向為170°的像素取最大值。在這種情況下，最小亮度值選擇部17將與主軸方向為90°的偏振元件對應的像素的有效輻射亮度值選擇為與該像素單元對應的單位區(qū)域的亮度值。

在圖像處理裝置10b中，將像素單元各自包含的像素的有效輻射亮度值中的最小值決定為與該像素單元對應的單位區(qū)域的亮度值。由此，不需要復雜的計算處理，能夠簡單地決定單位區(qū)域的亮度值，生成拍攝圖像。

另外，圖像處理裝置10b也可以省略上述的流程圖的步驟中的步驟sc11、sc12。在這種情況下，最小亮度值選擇部17對所有像素單元分別決定對應的單位區(qū)域的亮度值即可。此外，后述的實施方式5的圖像處理裝置10c也可以省略步驟sc11、sc12。不過，后述的實施方式6～8的圖像處理裝置10d、10e不能省略步驟sc11、sc12。此外，從處理速度的觀點出發(fā)，優(yōu)選僅對與黑眼珠區(qū)域?qū)南袼貑卧獩Q定與該像素單元對應的單位區(qū)域的亮度值，在圖像處理裝置10b、10c中也優(yōu)選執(zhí)行步驟sc11、sc12。

此外，實施方式4和5的圖像處理裝置10b、10c也可以在步驟sc2之前進行確定其它區(qū)域而非黑眼珠、例如比黑眼珠大規(guī)定的范圍的區(qū)域或者與整個眼球e對應的區(qū)域等的處理。在這種情況下，最小亮度值選擇部17或者最小亮度值推定部17a(參照實施方式5)對所確定的上述區(qū)域執(zhí)行圖像處理即可。即，圖像處理裝置10b、10c基于與被攝體的至少黑眼珠(至少一部分)對應的像素單元中包含的多個像素的有效輻射亮度值，決定與該像素單元對應的單位區(qū)域的亮度值即可。

(實施方式5)

基于圖18～圖20對本發(fā)明的實施方式5說明如下。

圖18是表示具備本實施方式的圖像處理裝置10c的電子信息設備2的結(jié)構的框圖。如圖18所示，圖像處理裝置10c在具備最小亮度值推定部17a(圖像生成部)代替最小亮度值選擇部17這方面與圖像處理裝置10b不同，其它方面與圖像處理裝置10b一致。

最小亮度值推定部17a基于各個像素單元中分別含有的多個像素的有效輻射亮度值，推定能夠在該像素單元可取的有效輻射亮度值的最小值。最小值的具體的推定方法的例子將在后面敘述。

進一步，最小亮度值推定部17a基于推定出的有效輻射亮度值的最小值決定單位區(qū)域的亮度值。此處，最小亮度值推定部17a既可以將推定出的最小值作為單位區(qū)域的亮度值，也可以對推定出的亮度值進行規(guī)定的計算而將計算出的值作為單位區(qū)域的亮度值。例如，最小亮度值推定部17a也可以將對推定出的有效輻射亮度值的最小值加上、減去、乘以或除以規(guī)定的值而得到的值作為單位區(qū)域的亮度值。

圖19是表示圖像處理裝置10c的處理的流程圖。圖像處理裝置10c的處理除執(zhí)行步驟sc7(圖像生成步驟)代替步驟sc2以外，與圖像處理裝置10b的處理相同。在步驟sc7中，最小亮度值推定部17a對與眼球e對應的各個像素單元分別推定可獲取的有效輻射亮度值的最小值。

圖20是表示像素單元中的像素的有效輻射亮度值的例子的圖表。在圖20所示的圖表中，橫軸表示與像素單元中包含的像素對應的偏振元件的主軸的角度，縱軸表示有效輻射亮度值。在圖20所示的例子中，像素單元包括與主軸方向以10°為起點逐個相差45°的4個偏振元件對應的4個像素。

在圖20所示的例子中，像素單元中包含的像素獲取的有效輻射亮度值在對應的偏振元件的主軸方向為100°的像素中最小。但是，在主軸方向與有效輻射亮度值的關系例如為圖20中以虛線表示的函數(shù)的情況下，可以說像素單元中包含的像素根據(jù)與該像素對應的偏振元件的主軸方向有可能取更小的有效輻射亮度值。在這種情況下，在將像素單元中的像素的實際的有效輻射亮度值的最小值決定為單位區(qū)域的亮度值時，成為在該亮度值中殘留有依賴于偏振元件的主軸方向的正反射光成分的狀態(tài)。圖像處理裝置10c通過利用最小亮度值推定部17a推定像素單元可取的有效輻射亮度值的最小值，與圖像處理裝置10b生成的拍攝圖像相比較，能夠生成正反射光成分少的拍攝圖像。

在以下所示的例子中，最小亮度值推定部17a通過對像素單元各自含有的多個像素的有效輻射亮度值應用以與該像素對應的偏振元件的主軸方向的角度為變量的三角函數(shù)，推定上述最小值。因而，最小亮度值推定部17a能夠利用三角函數(shù)的最小值推定單位區(qū)域可取的亮度值的最小值。

(第一推定方法)

以下說明由最小亮度值推定部17a進行的、單位區(qū)域的亮度值的最小值的推定方法的一個例子。在令某像素單元中包含的各像素的有效輻射亮度值為y的情況下，y假定為由以下的式(5-1)表示的值。

y＝asin(2x+b)+c(5-1)

此處，a和b分別是像素單元中固有的常數(shù)。x是與像素對應的偏振元件的主軸的角度。此外，在與像素單元中包含的像素對應的偏振元件的主軸方向為等角度間隔的情況下，c與像素單元中包含的各像素的有效輻射亮度值的平均e(y)一致。

當令y的平方的平均為e(y²)時，e(y²)由以下的式(5-2)表示。

e(y²)＝a²×e(sin²(2x+b))+2a×e(c)×e(sin(2x+b))+(e(c²))(5-2)

此處，根據(jù)瓦里斯公式，以下的式(5-3)和(5-4)成立。

e(sin²(2x+b))＝1/2(5-3)

e(sin(2x+b))＝1/π(5-4)

因而，能夠?qū)⑹?5-2)變形為以下的式(5-5)。

e(y²)＝a²/2+2a×e(c)/π+(e(c²))(5-5)

e(y²)與像素單元中包含的各像素的有效輻射亮度值的平方平均相等，因此通過將e(c)近似于各像素的有效輻射亮度值的最小值，將e(c²)近似于各像素的有效輻射亮度值的最小值的平方值，關于a來解式(5-5)，能夠計算出a的值。

能夠基于解式(5-5)而計算出的a的值和式(5-1)由以下的式(5-6)求取y可取的值的最小值ymin。

ymin＝e(y)-a(5-6)

因此，最小亮度值推定部17a能夠僅通過上述的式(5-5)和(5-6)的計算來推定像素單元中包含的像素的有效輻射亮度值可取的最小值。

圖21是表示式(5-1)中包含的參數(shù)的圖表。在圖21所示的圖表中，橫軸表示相機20的像素單元的偏振元件的主軸的角度，縱軸表示像素單元中的像素的有效輻射亮度值。在圖21所示的例子中，像素單元包含與主軸方向以10°為起點逐個相差45°的4個偏振元件對應的4個像素。

如圖21所示，式(5-1)的c的值為像素單元的像素的有效輻射亮度值的中央值，與像素單元內(nèi)的像素的有效輻射亮度值的平均值大致相等。此外，式(5-1)的a的值為上述平均值與單位區(qū)域內(nèi)的像素可取的亮度的最小值的差。此外，式(5-1)的b的值為決定橫軸方向上的曲線的位置的值。即，當b的值發(fā)生變動時，整個曲線沿橫軸平行地位移。b的值對ymin沒有影響，因此在第一推定方法中不計算b的值。

(第二推定方法)

以下說明最小亮度值推定部17a進行的、單位區(qū)域的亮度值的最小值的推定方法的第二推定方法。在第二推定方法中也假定某像素單元中包含的各像素的有效輻射亮度值y為由上述的式(5-1)表示的值。

在第二推定方法中，在存儲部90中預先存儲示出x的值與sin2x的值的對應關系的查找表。最小亮度值推定部17a將上述的式(5-1)中的a的初始值設定為以下的(i)和(ii)的平均數(shù)，參照上述查找表，制作與x的值對應的y的表格。

(i)像素單元中包含的各像素的有效輻射亮度值的最大值與平均值的差

(ii)像素單元中包含的各像素的有效輻射亮度值的平均值與最小值的差

所制作的表格中的x與y的對應關系能夠通過使式(5-1)中的b的值變化而位移。

接著，最小亮度值推定部17a對所制作的表格與像素單元中包含的各像素的有效輻射亮度值進行比較。最小亮度值推定部17a使b的值變化，使得像素單元中包含的各像素的有效輻射亮度值和與該各像素對應的偏振元件的角度處的表格的值之差的合計數(shù)成為最小。只要表格的值與有效輻射亮度值之差為最小的情況下的、表格的值與各像素的有效輻射亮度值之差相對于各像素的有效輻射亮度值的比率的平均數(shù)為規(guī)定的比率以下，最小亮度值推定部17a就推定a的值恰當。在這種情況下，最小亮度值推定部17a通過上述式(5-6)推定最小值。上述規(guī)定的比率優(yōu)選為10％，更優(yōu)選為5％，進一步優(yōu)選為1％。

在表格的值與有效輻射亮度值之差不為規(guī)定的比率以下的情況下，最小亮度值推定部17a使式(5-1)中的a的值從上述的初始值變化而進行同樣的比較。

圖22的(a)是表示查找表的例子的圖。圖22的(b)是表示最小亮度值推定部17a制作的表格的例子的圖。圖22的(c)是對示出有效輻射亮度值的信號強度的例子進行表示的圖。圖22的(d)是表示圖22的(c)所示的信號強度的例子和示出最小亮度值推定部17a推定出的有效輻射亮度值的信號強度的例子的圖表。

在圖22的(d)所示的圖表中，橫軸表示相機20的像素單元中的偏振元件的主軸的角度，縱軸為示出像素單元中的像素的有效輻射亮度值的信號強度。圖22的(d)所示的例子中，像素單元包含與以主軸方向0°為起點逐個相差45°的4個偏振元件對應的4個像素。此外，圖22的(d)所示的例子為光在空氣(折射率n1＝1.0)與角膜(折射率n2＝1.376)的界面以入射角15°射入的情況。

在存儲部90中預先存儲有圖22的(a)所示那樣的查找表。最小亮度值推定部17a如上述那樣設定式(5-1)中的a的值，制作圖22的(b)所示那樣的y的表格。進一步，最小亮度值推定部17a從y的表格提取圖22的(c)所示那樣的、最接近的像素單元中包含的像素的各個有效輻射亮度值的值。所提取的值和與該值對應的偏振光子的主軸方向在圖22的(d)中以“*”表示。另一方面，像素單元中包含的各像素的實際的有效輻射亮度值和與各像素對應的偏振光子的主軸方向在圖22的(d)中以“○”表示。

在圖22的(d)中，0°附近和90°附近的“*”的位置與“○”的位置非常一致，另一方面，65°附近和155°附近的“*”的位置與45°和135°的“○”的位置相差很大。因此，上述的比率大于10％。在這種情況下，最小亮度值推定部17a使式(5-1)的a的值變化而再次制作y的表格，從y的表格提取最接近各個實際的有效輻射亮度值的值，進行同樣的比較。

(其它推定方法)

最小亮度值推定部17a也可以利用上述的第一和第二推定方法以外的推定方法推定像素單元內(nèi)的像素可取的有效輻射亮度值的最小值。例如，最小亮度值推定部17a也可以通過對各個像素單元中分別含有的多個像素的有效輻射亮度值應用以與該像素對應的偏振元件的主軸方向的角度為變量的多項式而推定上述最小值。在這種情況下，作為多項式的例子，可以列舉將三角函數(shù)進行泰勒展開而得到的多項式。根據(jù)泰勒展開，sinx和cosx分別能夠如以下的式(5-7)和(5-8)那樣表示。

[數(shù)學式5]

[數(shù)學式6]

在式(5-7)和(5-8)中，x為偏振元件的主軸方向，n為任意的整數(shù)。優(yōu)選n為3以上。

此外，例如最小亮度值推定部17a也可以利用任意的插補法推定表示像素單元中包含的各像素的有效輻射亮度值的函數(shù)，并使用該函數(shù)推定上述最小值。作為插補法的例子，可以列舉樣條插補、多項式插補、三角函數(shù)插補或三次內(nèi)插等。

(實施方式6)

基于圖23～圖25對本發(fā)明的實施方式6說明如下。

圖23是表示具備本實施方式的圖像處理裝置10d的電子信息設備2的結(jié)構的框圖。如圖23所示，圖像處理裝置10d具備擴散反射光成分計算部18(圖像生成部)代替最小亮度值選擇部17，在這方面與圖像處理裝置10b不同。

擴散反射光成分計算部18確定像素單元各自的有效輻射亮度值的最大值ioutmax和最小值ioutmin。進一步，擴散反射光成分計算部18根據(jù)以下的式(6-1)計算像素單元各自的擴散反射光成分ik。

ik＝(ioutmin-a×ioutmax)/(1-a)(6-1)

此處，ioutmin和ioutmax分別是像素單元中包含的像素的有效輻射亮度值的最小值和最大值。ioutmin和ioutmax既可以為與實施方式5同樣推定的值，也可以為實際的像素的有效輻射亮度值。

此外，式(6-1)中的a是p偏振成分的反射率與s偏振成分的反射率的比率。如上所述，a依賴于射向眼球e的光的入射角。利用從相機20的透鏡至眼球e的中心的距離r和眼球e的半徑r，能夠計算眼球e的圖像上的各點的上述入射角。在本實施方式中，預先在存儲部90中存儲有焦點與眼球e一致的情況下的距離r，擴散反射光成分計算部18使用該距離r計算上述入射角和a。

距離r的求取方法具體而言如下所述。在相機20為固定焦點透鏡的相機的情況下，以在用戶手持電子信息設備2看畫面的情況下使得焦點與用戶的臉部一致的方式設計。在這種情況下，在用戶以使得眼球e的圖像包含于相機20拍攝的圖像的規(guī)定的范圍內(nèi)的方式拍攝包含自身的眼睛的區(qū)域時，相機20的透鏡與眼球e的距離r和相機20的透鏡的焦點距離大致相等。此外，在相機20具有自動對焦功能的情況下，能夠求取眼球e成像的2種透鏡間距離，使用貝塞爾法計算距離r。此外，相機20包括2個拍攝元件，在為能夠從不同的位置同時拍攝多個圖像的相機的情況下，能夠通過三角測量從各個拍攝元件拍攝到的圖像計算距離r。

此處，在入射角小的情況下，s偏振成分與p偏振成分的反射率之差為幾十％左右那么小。因此，存在由于像素間或鏡頭間的參差不齊的影響而不能正確地計算a的值，式(6-1)的計算結(jié)果成為ik≤0(擴散反射光成分消失)的情況。

在這種情況下，將a的值變?yōu)榕c比實際的入射角大的角度對應的a的值，執(zhí)行式(6-1)的計算即可。例如，對與比實際的入射角每大規(guī)定的角度(例如10°)的角度對應的a的值依次再次執(zhí)行式(6-1)的計算即可。不過，在這種情況下，映射圖像的去除的精度下降。這樣的使a的值變化再進行的再計算可以在例如認證部15的認證失敗的情況下執(zhí)行。此外，在這樣的再計算中，也可以代替將a的值變?yōu)榕c比實際的入射角大的角度對應的值，而變?yōu)榕c比實際的半徑r或距離r小的半徑或距離對應的值。

此外，關于距離r，也可以使用預先設想的值計算上述入射角和a。例如如果電子信息設備2為智能手機，則設想在用戶手持電子信息設備2的狀態(tài)下進行認證。在這種情況下，預想距離r為20cm～30cm左右。因此，即使不利用測距裝置等實際測定距離r，也能夠使用預想的距離r計算上述入射角。

在這種情況下，也可以準備多種距離r。即，也可以按多種r中的每種r計算入射角和a，并進一步計算擴散反射光成分ik而執(zhí)行認證。如果為上述的例子，則圖像處理裝置10d既可以對距離r為20cm的情況和為30cm的情況分別執(zhí)行認證，也可以進一步對距離r為25cm的情況執(zhí)行認證。

以下對式(6-1)進行說明。像素單元中包含的像素的有效輻射亮度值中包含擴散反射光成分和正反射光成分。在本實施方式中，正反射光成分包括第1正反射光成分和第2正反射光成分。此外，在本實施方式中，第1正反射光成分和第2正反射光成分均具有依賴于偏振元件的主軸方向的成分。在這種情況下，第1正反射光成分is和第2正反射光成分ip分別由以下的式(6-2)和(6-3)表示。

is＝is0+is0×cos2x(6-2)

ip＝ip0+ip0×cos2(x-π/2)(6-3)

此處，is0和ip0分別是第1正反射光成分和第2正反射光成分的、不依賴于偏振元件的主軸方向的成分。此外，由于第2正反射光成分的相位比第1正反射光成分的相位延遲90°，所以在式(6-3)中從x減去π/2。另外，在式(6-2)和(6-3)中，也可以將cos函數(shù)換成sin函數(shù)。

像素單元中包含的像素的有效輻射亮度值iout由以下的式(6-4)表示。

iout＝ik+is+ip＝ik+is0+ip0+(is0-ip0)cos2x(6-4)

iout在cos2x＝1時最大，在cos2x＝-1時最小。因此，式(6-1)中的ioutmax和ioutmin分別由以下的式(6-5)和(6-6)表示。

ioutmax＝ik+2×is0(6-5)

ioutmin＝ik+2×ip0(6-6)

此外，根據(jù)菲涅耳定律，is0與ip0的關系由以下的式(6-7)表示。

ip0＝a×is0(6-7)

因此，通過將式(6-7)代入式(6-6)，得到以下的式(6-8)。

ioutmin＝ik+2×a×is0(6-8)

通過關于ik解由式(6-5)和(6-8)構成的聯(lián)立方程，得到式(6-1)。

圖24是表示圖像處理裝置10d的處理的流程圖。圖像處理裝置10d的處理除代替步驟sc2執(zhí)行步驟sc8(圖像生成步驟)以外與圖像處理裝置10b的處理相同。在步驟sc8中，擴散反射光成分計算部18根據(jù)式(6-1)對各個像素單元分別計算擴散反射光成分ik，將計算出的值決定為與像素單元對應的單位區(qū)域的亮度值。

此外，關于上述的改變a的值的再計算，例如如以下那樣執(zhí)行即可。即，對去除映射圖像后的眼球的圖像的代碼與注冊的代碼的漢明距離設置比認證中使用的閾值(以下，記作認證閾值)大的閾值(以下，記作分支閾值)。在圖24的步驟sc6中，如果上述漢明距離為分支閾值以上，則擴散反射光成分計算部18再次執(zhí)行步驟sc8的處理。此時，執(zhí)行上述的改變a的值的再計算。另一方面，在步驟sc6中，如果上述漢明距離為認證閾值以上且小于分支閾值，則黑眼珠檢測部11再次執(zhí)行步驟sc4的處理。另外，如果上述漢明距離小于認證閾值則認證成功。

如上所述，本實施方式的擴散反射光成分計算部18基于像素單元各自含有的多個像素的有效輻射亮度值，確定該像素單元的有效輻射亮度值的最大值和最小值。擴散反射光成分計算部18使用所確定的最大值和最小值，以及與該像素單元對應的眼球e的表面的、p偏振成分的反射率與s偏振成分的反射率的比率a，計算該像素單元的擴散反射光成分ik。進一步，擴散反射光成分計算部18將計算出的擴散反射光成分決定為與像素單元對應的單位區(qū)域的亮度值。由此，圖像處理裝置10d能夠?qū)⑷コ瓷涔獬煞值闹辽僖徊糠趾蟮臄U散反射光成分決定為各單位區(qū)域各自的亮度值。

圖25是表示像素單元中包含的像素的有效輻射亮度值、該像素單元中包含的像素可取的有效輻射亮度值的推定值和擴散光成分的推定值的例子的圖表。圖25的(a)是射向眼球e的入射角為30°的光在眼球e反射后的反射光所入射的像素單元的圖表。圖25的(b)是射向眼球e的入射角為20°的光在眼球e反射后的反射光所入射的像素單元的圖表。圖25的(c)是射向眼球e的入射角為10°的光在眼球e反射后的反射光所入射的像素單元的圖表。在圖25的(a)～(c)所示的圖表中，橫軸是與像素單元中包含的各個像素分別對應的偏振元件的主軸方向，縱軸是像素的有效輻射亮度值。此外，在圖25所示的例子中，令空氣的折射率為1.0，令眼球e的角膜的折射率為1.376。

首先，考慮圖25的(a)所示的、與射向眼球e的入射角為30°的光的反射光對應的像素單元。此時，當以ioutmax＝1的方式將有效輻射亮度值標準化時，ioutmin＝0.60。此外，在入射角為30°的光的反射光，a＝0.40。

在這種情況下，擴散反射光成分ik使用式(6-1)如以下那樣計算。

ik＝(ioutmin-a×ioutmax)/(1-a)

＝(0.60-0.40×1.0)/(1.0-0.40)

≈0.33

接著，考慮圖25的(b)所示的、與射向眼球e的入射角為20°的光的反射光對應的像素單元。此時，當以ioutmax＝1的方式將有效輻射亮度值標準化時，ioutmin＝0.79。此外，在入射角為20°的光的反射光，a＝0.688。

在這種情況下，擴散反射光成分ik使用式(6-1)如以下那樣計算。

ik＝(ioutmin-a×ioutmax)/(1-a)

＝(0.79-0.688×1.0)/(1.0-0.688)

≈0.33

接著，考慮圖25的(c)所示的、與射向眼球e的入射角為10°的光的反射光對應的像素單元。此時，當以ioutmax＝1的方式將有效輻射亮度值標準化時，ioutmin＝0.94。此外，在入射角為20°的光的反射光，a＝0.91。

在這種情況下，擴散反射光成分ik使用式(6-1)如以下那樣計算。

ik＝(ioutmin-a×ioutmax)/(1-a)

＝(0.94-0.91×1.0)/(1.0-0.91)

≈0.33

因此，圖25所示的例子中，在射向眼球e的光的入射角為10°、20°和30°中的任一者的情況下，擴散反射光成分ik在以ioutmax＝1的方式標準化的情況下為0.33。因為在任一角度，ik的值均大致一致，因此認為上述的ik的值正確。

(實施方式7)

以下對本發(fā)明的實施方式7進行說明。本實施方式的圖像處理裝置除由擴散反射光成分計算部18進行的處理的內(nèi)容以外與圖像處理裝置10d的結(jié)構相同，因此省略框圖和流程圖的圖示。

本實施方式的擴散反射光成分計算部18根據(jù)以下的式(7-1)計算像素單元各自的擴散反射光成分ik。

ik＝ioutmin-ip(7-1)

關于式(7-1)，進行以下說明。

在本實施方式中，第1正反射光成分is具有依賴于偏振元件的主軸方向的成分，另一方面，第2正反射光成分ip不依賴于偏振元件的主軸方向。具體而言，在本實施方式中，擴散反射光成分計算部18根據(jù)以下的式(7-2)計算is。

is＝ioutmax-ioutmin(7-2)

此外，ik由以下的式(7-3)表示。

ik＝ioutmax-(is+ip)(7-3)

通過使用式(7-2)將式(7-3)變形，獲得以下的式(7-4)。

ik＝ioutmin-ip(7-4)

ip是能夠使用式(6-7)計算的值。因此，擴散反射光成分計算部18能夠根據(jù)式(7-4)和(6-7)計算擴散反射光成分ik。

如上所述，本實施方式的擴散反射光成分計算部18計算2種正反射光成分，將從像素單元中包含的像素的有效輻射亮度值的最大值中減去計算出的正反射光成分而得到的值決定為與該像素單元對應的單位區(qū)域的亮度值。擴散反射光成分計算部18執(zhí)行這樣的處理的情況下，圖像處理裝置10d也能夠?qū)⑷コ瓷涔獬煞值闹辽僖徊糠趾蟮臄U散反射光成分決定為單位區(qū)域各自的亮度值。

(實施方式8)

基于圖26和圖27對本發(fā)明的實施方式8說明如下。

圖26是表示具備本實施方式的圖像處理裝置10e的電子信息設備3的結(jié)構的框圖。如圖26所示，電子信息設備3在代替圖像處理裝置10d具有圖像處理裝置10e這方面和具備偏振光照射部40這方面與實施方式7的電子信息設備2不同。

偏振光照射部40對被寫體照射偏振光。例如偏振光照射部40也可以包括led等的光源和僅使特定的方向的偏振光透射的偏振濾光片。

圖像處理裝置10e在具備映像有無判定部19這方面與圖像處理裝置10d不同。映像有無判定部19判定被寫體的表面的正反射光成分是否為規(guī)定的強度以下。換言之，映像有無判定部19判定是否在被寫體產(chǎn)生映像。

在映像有無判定部19判定為在被寫體未產(chǎn)生映像的情況下，通過偏振光照射部40對被寫體照射偏振光。此外，此時亮度值信息獲取部16(亮度值信息再獲取部)在偏振光照射部40向被寫體照射偏振光的狀態(tài)下再次獲取被寫體的有效輻射亮度值。

在本實施方式中，映像有無判定部19對與眼球e對應的各個像素單元分別計算有效輻射亮度值的最小值與最大值之比。進一步，映像有無判定部19計算與眼球e對應的像素單元整體的上述比的平均數(shù)，如果該平均為規(guī)定的值以上則判定為未產(chǎn)生映像，如果小于規(guī)定的值則判定為產(chǎn)生映像。

當射向被寫體的光的入射角小時，與該入射角對應的像素單元中包含的像素的有效輻射亮度值的最小值與最大值的比率大。上述規(guī)定的值為作為射向被寫體的入射角設想的最小角度的、有效輻射亮度值的最小值與最大值的比率即可。具體而言，上述規(guī)定的值例如可以為0.94。該值是關于射向眼球e的入射角為10°的光的反射光，使用菲涅耳定律計算出的有效輻射亮度值的最小值與最大值的比率。

圖27是表示圖像處理裝置10e的處理的流程圖。如圖27所示，在圖像處理裝置10e中，亮度值信息獲取部16獲取被寫體的有效輻射亮度值(sc1)后，映像有無判定部19判定是否產(chǎn)生了映像(sd1，映像判定步驟)。在產(chǎn)生映像的情況下(在sd1為是)，圖像處理裝置10e與圖像處理裝置10b同樣地進行步驟sc2以后的處理。

另一方面，在未產(chǎn)生映像的情況下(在sd1為否)，亮度值信息獲取部16在從偏振光照射部40對被寫體照射偏振光的狀態(tài)下再次獲取被寫體的有效輻射亮度值(sd2，亮度值信息再獲取步驟)。在這種情況下，圖像處理裝置10e使用在步驟sd2中獲取的被寫體的有效輻射亮度值進行步驟sc2以后的處理。

在圖像處理裝置10e中，在眼球e未產(chǎn)生映像的情況下，在通過偏振光照射部40使映像產(chǎn)生的狀態(tài)下，亮度值信息獲取部16獲取包含眼球e的被寫體的有效輻射亮度值。擴散反射光成分計算部18從亮度值信息獲取部16獲取的有效輻射亮度值中，使用根據(jù)菲涅耳定律計算的比率a去除正反射光成分而生成拍攝圖像，進行認證。因此，在眼球e為與本物的眼球不同的物質(zhì)、具體而言由具有與角膜的折射率(n＝1.376)不同的折射率的物質(zhì)形成的偽造物的情況下，個人認證容易失敗。

另外，電子信息設備3并非一定具備偏振光照射部40。例如也可以是通過無線或有線與電子信息設備3可通信地連接的其它裝置具備偏振光照射部40。此外，在上述的處理中在步驟sc1和sd2中，亮度值信息獲取部16獲取了被寫體的有效輻射亮度值。但是，在步驟sd2獲取被寫體的有效輻射亮度值的功能塊(亮度值信息再獲取部)也可以與亮度值信息獲取部16不同。

此外，如上所述，圖像處理裝置10e在具備映像有無判定部19這方面與圖像處理裝置10d不同。換言之，圖像處理裝置10e具有在圖像處理裝置10d追加映像有無判定部19的結(jié)構。但是，本實施方式的圖像處理裝置也可以具有在使用菲涅耳定律的其它圖像處理裝置、例如圖像處理裝置10、10a中追加映像有無判定部19的結(jié)構。

(實施方式9)

本發(fā)明的一個方式的圖像處理裝置也可以執(zhí)行上述的處理中兩個以上的處理。

例如，本發(fā)明的一個方式的圖像處理裝置也可以在執(zhí)行實施方式1、2、4～7中說明的圖像處理中的一個而認證失敗的情況下執(zhí)行所執(zhí)行的圖像處理或所執(zhí)行的圖像處理以外的其它圖像處理而進行再次認證。通過再次的認證而認證還是失敗的情況下，圖像處理裝置也可以再次獲取被寫體的有效輻射亮度分布或再次拍攝被寫體的圖像，進一步，如果需要則再次測定至被寫體的距離。此外，圖像處理裝置在即使進一步同時或依次執(zhí)行其它圖像處理，多次獲取被寫體的有效輻射亮度分布或拍攝被寫體的圖像而認證也不成功的情況下，也可以利用通過該其它圖像處理生成的拍攝圖像進行認證。

此外，在上述的各實施方式中，在認證失敗的情況下，改變由黑眼珠檢測部11檢測的黑眼珠的范圍而進行再次認證。但是，本發(fā)明的一個方式的圖像處理裝置也可以構成為在認證失敗1次以上的情況下，亮度值信息獲取部16再次獲取(拍攝)被寫體的有效輻射亮度值。此外，圖像處理裝置在即使同時或依次執(zhí)行其它圖像處理，多次獲取被寫體的有效輻射亮度分布而認證也不成功的情況下，也可以利用通過該其它圖像處理生成的拍攝圖像進行認證。

此外，本發(fā)明的一個方式的圖像處理裝置也可以同時執(zhí)行實施方式6的圖像處理和其它實施方式(即實施方式1、2、4、5和7中的任意的一個以上的實施方式)的圖像處理。

圖29是表示同時執(zhí)行實施方式6的圖像處理和其它圖像處理的圖像處理裝置的處理的流程的流程圖。在圖29所示的處理中，步驟sc1、sc5和sc6的處理與上述的實施方式中說明的內(nèi)容相同，因此此處不作詳細說明。

在圖29所示的處理中，圖像處理裝置在獲取被寫體的亮度值信息(sc1)之后，同時進行通過實施方式6的圖像處理決定各單位區(qū)域的亮度值而得到的第一去除后圖像的生成(sd1)和通過其它實施方式的圖像處理決定各單位區(qū)域的亮度值而得到的第二去除后圖像的生成(sd2)。之后，圖像處理裝置對第一去除后圖像的各單位區(qū)域判定亮度值是否為規(guī)定的閾值以上(sd3)。在亮度值為閾值以上的情況下(sd3中是)，該單位區(qū)域的亮度值不變。另一方面，在亮度值不為閾值以上的情況下(sd3中否)，該單位區(qū)域的亮度值變?yōu)榈诙コ龍D像的對應的位置的單位區(qū)域的亮度值。圖像處理裝置對所有單位區(qū)域執(zhí)行步驟sd3的判定，根據(jù)判定結(jié)果執(zhí)行步驟sd4的處理之后，使用所得到的圖像進行認證(sc5)。進一步，圖像處理裝置進行是否認證成功的判定(sc6)，在認證成功的情況下(在sc6為是)結(jié)束處理，在未成功的情況下(在sc6為否)再次返回步驟sd1，再次生成第一去除后圖像。具體而言，在步驟sc6為否的情況下，圖像處理裝置再次執(zhí)行圖24所示的步驟sc11以后的處理。另外，在步驟sc6為否的情況下，也可以不是僅返回步驟sd1，再次生成第一去除后圖像，而是返回步驟sd1和sd2這兩者，再次生成第一去除后圖像和第二去除后圖像這兩者。

如上所述，在實施方式6的圖像處理中，在射向眼球的光的入射角小的單位區(qū)域，存在擴散反射光成分消失的問題。因此，該圖像處理裝置在通過實施方式6的圖像處理決定各單位區(qū)域的亮度值之后，判定各單位區(qū)域的亮度值是否為規(guī)定的閾值以上。對亮度值為上述閾值以上的單位區(qū)域，直接采用該亮度值。另一方面，對亮度值不為上述閾值以上的單位區(qū)域，采用上述其它實施方式的圖像處理的亮度值作為該單位區(qū)域的亮度值。由此，該圖像處理裝置能夠防止擴散反射光成分的消失。

(其它事項)

通常，“鏡面反射光”這一用語僅用于向視點(例如用戶的眼睛或拍攝元件等)的方向射出的可見光。但是在本說明書中，“鏡面反射光”這一用語作為表達除了向視點方向射出的可見光以外，還包含紅外線的概念的用語使用。

此外，在上述的實施方式1～3中，作為圖像處理裝置10等裝載于便攜式信息終端1等的例子進行說明。但是，這些實施方式的圖像處理裝置10等也與其它實施方式的圖像處理裝置10b等一樣，也可以裝載于與便攜式信息終端1等不同的電子信息設備2等。電子信息設備2、3除了上述的智能手機以外，也可以為具有個人認證功能的對講機(interphone)或汽車的門等。

此外，在上述的實施方式1～3中，s偏振光計算部12使用測距裝置30測定的、從相機20的透鏡至眼球e的表面的距離來確定與像素對應的射向眼球e的光的入射角。但是，s偏振光計算部12例如也可以基于焦點與眼球e匹配的狀態(tài)下的眼球e的圖像的大小計算上述距離，使用該距離確定與像素對應的射向眼球e的光的入射角。此外，例如s偏振光計算部12也可以預先設想從相機20的透鏡至眼球e的表面的距離(例如在便攜式信息終端1為智能手機的情況下，為20cm～30cm)，使用設想的距離確定與像素對應的射向眼球e的光的入射角。在這種情況下，也可以將上述距離設想多個，使用各個距離確定與像素對應的射向眼球e的光的入射角而進行映像去除。此外，在這種情況下，便攜式信息終端1并不一定具備測距裝置30。

此外，在參照圖3進行的說明中，對映射圖像存在“去除”的記載。進一步，在圖3自身中也存在“去除s波p波”的記載。但是，在本發(fā)明的一個方式中，圖像處理裝置并不一定完全去除映射圖像，只要能夠去除形成映射圖像的正反射光成分的至少一部分、即減少映像即可。

此外，圖28是表示相機20的像素單元的配置的圖。圖28的(a)是表示由9個像素構成的像素單元以相互不重疊的方式配置的狀態(tài)的圖。圖28的(b)是表示由4個像素構成的像素單元以相互不重疊的方式配置的狀態(tài)的圖。圖28的(c)是表示由9個像素構成的像素單元以部分重疊的方式配置的狀態(tài)的圖。圖28的(d)是表示由4個像素構成的像素單元以部分重疊的方式配置的狀態(tài)的圖。在圖28的(a)～(d)中，以點線圍成的區(qū)域、以虛線圍成的區(qū)域和點劃線圍成的區(qū)域分別表示不同的像素單元。

在上述的各實施方式中，在相機20中1個像素僅包含于1個像素單元。換言之，如圖28的(a)和(b)所示，像素單元彼此以相互不重疊的方式配置。但是，在本發(fā)明的一個方式中，1個像素也可以包含于2個以上的像素單元中。即，也可以如圖28的(c)和(d)所示那樣，像素單元以部分重疊的方式配置。

在像素單元部分重疊的情況下，與像素單元不重疊的情況相比較，像素單元的數(shù)目多。因此，在像素單元部分重疊的情況下，能夠期待更多地去除正反射光成分。

此外，與1個像素單元中包含的像素對應的偏振元件的主軸方向的種類越多越能夠恰當?shù)厝コ瓷涔獬煞?。但是，由于與1種主軸方向?qū)匦枰辽?個像素，所以如果主軸方向的種類多，則像素單元中包含的像素的數(shù)目增大。

當像素單元中包含的像素的數(shù)增大時，如圖28的(a)和(b)所示，在像素單元以相互不重疊的方式配置的情況下產(chǎn)生拍攝圖像的分辨率下降的問題。在實用上，優(yōu)選與1個像素單元中包含的像素對應的偏振元件的主軸方向的種類為2種以上且9種以下。

此外，在上述的各實施方式中，圖像處理裝置10、10a～10e包括確定黑眼珠區(qū)域的黑眼珠檢測部11。但是，圖像處理裝置10、10a～10e也可以包括確定用戶的角膜、虹膜或瞳孔區(qū)域的角膜/虹膜/瞳孔檢測部來代替黑眼珠檢測部11。虹膜/瞳孔檢測部確定角膜、虹膜或瞳孔區(qū)域的處理與黑眼珠檢測部11檢測黑眼珠區(qū)域的處理一樣，在虹膜認證等領域是已知的。角膜/虹膜/瞳孔檢測部根據(jù)實施方式將與所確定的角膜、虹膜或瞳孔區(qū)域?qū)南袼氐奈恢眯畔l(fā)送至最小亮度值選擇部17、17a或擴散反射光成分計算部18以及認證部15等。圖像處理裝置10、10a～10e具備的其它模塊的處理與上述的各實施方式中說明的處理相同。

以下對黑眼珠檢測部11(或角膜/虹膜/瞳孔檢測部)檢測黑眼珠區(qū)域(或角膜、虹膜或瞳孔區(qū)域)的處理的例子進行簡要說明。首先，黑眼珠檢測部11(或角膜/虹膜/瞳孔檢測部)對拍攝元件的各像素獲取的有效輻射亮度值進行銳化、邊緣檢測和2值化。在邊緣檢測中，例如能夠使用索貝爾(sobel)濾光片。此外，在2值化中，例如能夠使用移動平均法或部分圖像分割法。黑眼珠檢測部11(或角膜/虹膜/瞳孔檢測部)對2值化后的有效輻射亮度值進行霍夫(hough)變換，將圓形的區(qū)域作為黑眼珠(或角膜/虹膜/瞳孔區(qū)域)進行檢測。

此外，在上述的各實施方式中，將半徑r作為眼球e的半徑進行了說明。但是，半徑r也可以是角膜的曲率半徑。

此外，以下對實施方式1中被寫體包含兩眼的眼球e的情況進行說明。在這種情況下，如以下那樣規(guī)定各數(shù)值。

·rd：將2個眼球e的中心彼此連結(jié)的線段的中間點與相機20的透鏡之間的距離

·r1：一個眼球e的中心與相機20的透鏡之間的距離

·l：一個眼球e的中心與上述中間點之間的距離

此處，rd是由測距裝置30測定的已知的值，r1不能由測距裝置30直接測定。此外，l的計算方法將在后面敘述。另外，rd并不一定由測距裝置30測定，也可以與實施方式6中說明的r一樣，根據(jù)與僅使用相機20的計算方法計算。

圖30是用于說明被寫體包含兩眼的眼球e的情況的圖。在這種情況下，r1的值能夠根據(jù)以下的式(10-1)計算。

r1＝sqrt(rd²+(l/2)²)(10-1)

此處，sqrt(rd²+(l/2)²)表示rd²+(l/2)²的平方根。通過將r1代入上述的式(1-1)和(1-2)中的r，利用式(10-1)計算r1，在實施方式1的圖像處理裝置10中，能夠進行被寫體為兩眼的眼球e的情況下的處理。

以下說明l的計算方法。在l的計算中，如以下那樣規(guī)定各數(shù)值。

·α：角膜的中心及端部與眼球e的中心形成的角

·h1：圖像中的、一個眼球e的角膜的半徑的像素數(shù)

·h2：圖像中的、兩個眼球e的角膜的中心間的距離的像素數(shù)

這些值中，α為通常角膜在半徑r的圓中所占的比例，因此例如能夠為35°。另外，α的值也可以為其它值，例如為20°以上50°以下的范圍內(nèi)的任意的值。此外，h1和h2能夠從圖像求取。

在這種情況下，l的值能夠根據(jù)以下的式(10-2)計算。

l＝h2×(r×sinα)/h1(10-2)

通過將根據(jù)式(10-2)計算出的l的值代入式(10-1)能夠計算r1的值。

此外，在上述的各實施方式中，以角膜的折射率為n＝1.376進行說明。但是，角膜的折射率的值并不限定于上述的例子，例如也可以為1.335、1.337、1.3375、1.37或1.38，還可以進一步為其它的值。

(利用軟件進行的實現(xiàn)例)

圖像處理裝置10、10a～10e既可以通過在集成電路(ic芯片)等形成的邏輯電路(硬件)來實現(xiàn)，也可以使用cpu(centralprocessingunit：中央處理器)通過軟件來實現(xiàn)。

在后者的情況下，圖像處理裝置10、10a～10e包括：執(zhí)行作為實現(xiàn)各功能的軟件的程序的命令的cpu；計算機(或者cpu)可讀取地存儲有上述程序和各種數(shù)據(jù)的rom(readonlymemory：只讀存儲器)或者存儲裝置(將它們稱為“存儲介質(zhì)”)；將上述程序展開的ram(randomaccessmemory：隨機存取存儲器)等。于是，通過計算機(或者cpu)從上述存儲介質(zhì)讀取并執(zhí)行上述程序，達到本發(fā)明的一個方式的目的。作為上述存儲介質(zhì)，能夠使用“非臨時的有形的介質(zhì)”，例如，磁帶、光盤、卡、半導體存儲器、可編程的邏輯電路等。此外，上述程序也可以經(jīng)能夠傳送該程序的任意的傳送介質(zhì)(通信網(wǎng)絡和廣播波等)將該程序供給至計算機。另外，本發(fā)明的一個方式也能夠以通過電子的傳送將上述程序具體化的嵌在載波中的數(shù)據(jù)信號的方式實現(xiàn)。

(總結(jié))

本發(fā)明的方式1的圖像處理方法包括：獲取由攝像元件(受光元件22)拍攝到的被攝體(眼球e)的圖像的步驟(s1)，其中，該攝像元件以與主軸方向相互不同的多個偏振元件(21a～21o)對應的多個像素為一個像素單元并將該像素單元二維地排列；和使用上述攝像元件的輸出來計算依賴于射向上述被攝體的入射角(θ)的s偏振光的亮度分布的步驟(sa1、sa2、sb1)，其中，該射向所述被攝體的入射角(θ)由與上述攝像元件的上述像素單元的二維的位置對應的上述被攝體上的位置決定。

根據(jù)上述的方法，例如在令被攝體為眼球的情況下，拍攝該眼球時的射向眼球的入射角由眼球上的位置決定。即，在考慮將眼球上的位置與眼球的中心連結(jié)的第一假想線(圖6所示的直線l1)和將眼球上的上述位置與具備上述攝像元件的相機的透鏡的中心連結(jié)的第二假想線(圖6所示的直線l2)的情況下，第一假想線與第二假想線形成的角度為射向眼球的入射角。

另一方面，在攝像元件中，二維地排列有以與主軸方向相互不同的多個偏振元件對應的多個像素為單位的像素單元。眼球上的位置、該位置的射向眼球的入射角與攝像元件的像素單元的二維的位置相互對應。此外，因為像素單元與主軸方向相互不同的多個偏振元件對應，所以構成像素單元的多個像素的輸出根據(jù)來自眼球的反射光中包含的偏振光的眼球上的分布狀態(tài)而變化。特別是在與主軸方向相互不同的多個偏振元件對應的多個像素的輸出中反映出s偏振光的亮度。即，在攝像元件的輸出中反映出來自眼球的反射光中包含的s偏振光的眼球上的分布狀態(tài)。因而，能夠使用上述攝像元件的輸出計算依賴于射向眼球的入射角的s偏振光的亮度分布。

這樣求得的s偏振光的亮度分布在活體的眼球與眼球的模造品呈現(xiàn)不同的分布。由此，例如在將眼球的模造品作為被攝體拍攝的情況下，其s偏振光的亮度分布與眼球的分布不同，因此能夠判定被攝體不是眼球。因而，方式1的圖像處理方法例如能夠被用于判別被攝體是不是眼球。

此外，上述那樣計算出的s偏振光的亮度分布例如還能夠被用于去除由于外部光的影響而映入眼球的物體的像。

因而，根據(jù)方式1的圖像處理方法，能夠提高虹膜認證的精度。

本發(fā)明的方式2的圖像處理方法優(yōu)選在上述方式1中還包括從上述圖像的亮度分布中減去上述s偏振光的亮度分布的步驟。

在上述的方法中，在眼球中映入景色或者人物那樣的其它物體的情況下，來自眼球的反射光中，與其它物體對應的反射光主要是鏡面反射光，該鏡面反射光中包含上述s偏振光。因而，根據(jù)上述的方法，能夠通過從眼球的圖像的亮度分布中減去s偏振光的亮度分布，減去映入眼球的不需要的噪聲圖像。

本發(fā)明的方式3的圖像處理方法優(yōu)選在上述方式1或2中還包括根據(jù)菲涅耳定律基于上述s偏振光的亮度分布計算依賴于射向上述被攝體的入射角的p偏振光的亮度分布的步驟。

在上述的方法中，在眼球中映入其它物體的情況下的來自眼球的上述鏡面反射光中，多不僅含有s偏振光而且含有p偏振光。p偏振光的亮度分布也在活體的眼球與眼球的模造品呈現(xiàn)不同的分布。因而，根據(jù)上述的方法，例如能夠提高被攝體是不是眼球的判別的精度。

本發(fā)明的方式4的圖像處理方法優(yōu)選在上述方式3中還包括從上述圖像的亮度分布中減去上述s偏振光的亮度分布和上述p偏振光的亮度分布的步驟。

根據(jù)上述的方法，能夠通過從眼球的圖像的亮度分布中減去s偏振光的亮度分布和p偏振光的亮度分布，進一步減去映入眼球的不需要的噪聲圖像。

本發(fā)明的方式5的圖像處理方法優(yōu)選在上述方式1至4中的任一方法中，在計算上述s偏振光的亮度分布的步驟中，令上述入射角為布儒斯特角的情況下，確定與布儒斯特角對應的上述像素單元，通過從所確定的像素單元中包含的像素的亮度值的最大值減去最小值而計算布儒斯特角的s偏振光的亮度值，根據(jù)菲涅耳定律，以上述布儒斯特角的s偏振光的亮度值為起點，計算布儒斯特角以外的入射角的s偏振光的亮度值。

上述的方法中，已知在布儒斯特角，鏡面反射光中幾乎不含p偏振光，而主要含有s偏振光。因而，在構成與布儒斯特角對應的像素單元的多個像素的輸出、即亮度值中，反映出s偏振光的透射率相對于主軸方向相互不同的多個偏振元件的變化。因此，能夠通過從該亮度值的最大值減去最小值而計算布儒斯特角的s偏振光的亮度值。

對于眼球，表示相對于入射角的s偏振光的亮度分布的函數(shù)遵循菲涅耳定律，是已知的，因此只要能夠計算布儒斯特角的s偏振光的亮度值，就能夠基于理論計算布儒斯特角以外的入射角的s偏振光的亮度值。

本發(fā)明的方式6的圖像處理方法優(yōu)選在上述方式1至5中的任一方法中，對上述攝像元件中包含的多個像素單元重復進行通過從上述像素單元中包含的像素的亮度值的最大值減去最小值而計算s偏振光的亮度值的步驟，并將計算出的s偏振光的亮度值分別與對應于多個像素單元的上述入射角對應起來，由此計算上述s偏振光的亮度分布。

根據(jù)上述的方法，能夠如已說明的那樣，通過從像素單元中包含的像素的亮度值的最大值減去最小值而計算s偏振光的亮度值。通過對攝像元件中包含的多個像素單元重復進行該步驟，將計算出的s偏振光的亮度值分別與對應于多個像素單元的入射角對應起來，由此能夠基于實測值計算上述s偏振光的亮度分布。

另外，基于實測值計算s偏振光的亮度分布的本方式的方法也可以在基于理論計算s偏振光的亮度分布的上述方式的方法不能順利進行的情況下執(zhí)行。

本發(fā)明的方式7的圖像處理裝置(10)包括s偏振光計算部(12)，該s偏振光計算部(12)對于由攝像元件(受光元件22)拍攝到的被攝體(眼球e)的圖像，使用上述攝像元件的輸出計算依賴于射向上述被攝體的入射角的s偏振光的亮度分布，其中，所述攝像元件以與主軸方向相互不同的多個偏振元件對應的多個像素為一個像素單元并將該像素單元二維地排列，上述射向上述被攝體的入射角由與上述像素單元的二維的位置對應的上述被攝體上的位置決定。

根據(jù)上述的結(jié)構，能夠獲得與方式1相同的效果。

本發(fā)明的方式8的圖像處理程序是用于使計算機作為上述方式7的圖像處理裝置發(fā)揮作用的圖像處理程序，并且是用于使計算機作為上述s偏振光計算部發(fā)揮作用的圖像處理程序。

本發(fā)明的各方式的圖像處理裝置也可以利用計算機實現(xiàn)，在這種情況下，通過使計算機作為上述圖像處理裝置具備的各部(軟件要素)運行而由計算機實現(xiàn)上述圖像處理裝置的圖像處理程序和存儲有該圖像處理程序的計算機可讀取的存儲介質(zhì)也屬于本發(fā)明的一個方式的范疇。

本發(fā)明的一個方式并不限定于上述的各實施方式，而能夠在權利要求所示的范圍內(nèi)進行各種變更，將在不同的實施方式中分別公開的技術手段適當?shù)亟M合而得到的實施方式也包含于本發(fā)明的一個方式的技術范圍。進一步，通過將各實施方式中分別公開的技術方式進行組合，能夠形成新的技術特征。

(相關申請的相互參照)

本申請對2016年4月28日提出申請的日本專利申請：日本特愿2016-091832和2017年4月4日提出申請的日本專利申請：日本特愿2017-074535主張優(yōu)先權，通過參照這兩個申請，其全部內(nèi)容包含于本說明書中。

附圖標記的說明

10、10a、10b、10c、10d、10e圖像處理裝置

15認證部

16亮度值信息獲取部

17最小亮度值選擇部(圖像生成部)

17a最小亮度值推定部(圖像生成部)

18擴散反射光成分計算部(圖像生成部)

19映像有無判定部

40偏振光照射部