專利名稱：圖像處理裝置、圖像處理方法、程序及電子裝置的制作方法
圖像處理裝置、圖像處理方法、程序及電子裝置
背景技術(shù)：
本發(fā)明涉及圖像處理裝置、圖像處理方法、程序及電子裝置，具體地，涉及在基于所攝像圖像檢測到諸如人手的皮膚暴露的部分的情況下適當使用的圖像處理裝置、圖像處理方法、程序及電子裝置。已經(jīng)提出了一種皮膚檢測技術(shù)，其中，從通過對人進行攝像而獲得的圖像中檢測諸如臉或手的皮膚暴露的區(qū)域(下文中，稱為“皮膚區(qū)域”)(例如，參照日本未審查專利申請公開第2006-47067號)。在這種皮膚檢測技術(shù)中，獲得通過在用波長λ 1的光進行照射的狀態(tài)下對被攝物 (人)進行攝像所獲得的第一圖像，以及通過在用比波長λ 1長的波長λ 2的光進行照射的狀態(tài)下對被攝物進行攝像所獲得的第二圖像。此外，通過從第一圖像的亮度值中減去第二圖像的亮度值而獲得的差分大于預(yù)定閾值的區(qū)域，被檢測為皮膚區(qū)域。根據(jù)人類皮膚的反射特性來確定波長λ 1和λ 2。S卩，確定波長λ 1和λ 2，使得當照射人類皮膚時，其反射率彼此不同，并且當照射除了人類皮膚之外的其它部分(例如， 頭發(fā)或衣服)時，其反射率大致相同。具體地，例如，波長λ 1為870nm，并且波長λ2為 950nmo

發(fā)明內(nèi)容
通常，在皮膚檢測技術(shù)中，如圖34所示，波長λ 1的光和波長λ 2的光交替照射被攝物，并且對被攝物進行攝像，以獲得第一圖像和第二圖像。但是，在這種情況下，如果被攝物移動，則由于被攝物位置在第一圖像和第二圖像中變化，所以很難高精度地執(zhí)行皮膚檢測。因此，優(yōu)選地，即使在被攝物移動的情況下，仍高精度地檢測皮膚區(qū)域。根據(jù)本發(fā)明的實施方式，提供了一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置，包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；第一生成部，安裝有至少具有接收第一波長的光的第一光接收元件以及接收第二波長的光的第二光接收元件的圖像傳感器，并基于當用第一和第二波長的光照射被攝物時，入射至圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；第二生成部，在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及檢測部，基于第一和第二圖像檢測皮膚區(qū)域。第一生成部可以基于入射至圖像傳感器的、來自被攝物的反射光來生成第一鑲嵌圖像，改圖像傳感器包括第一和第二光接收元件、接收R(紅色)成分的第三光接收元件、接收G(綠色)成分的第四光接收元件及接收B (藍色)成分的第五光接收元件。第一生成部可以基于當沒有用第一和第二波長的光照射被攝物時，入射至圖像傳感器的、來自被攝物的反射光來生成第二鑲嵌圖像，并且第二生成部可以在構(gòu)成第二鑲嵌圖像的各個像素中，基于對應(yīng)于第三至第五光接收元件中的每個的像素的像素值，生成通過第三內(nèi)插處理所獲得的RGB圖像。此外，圖像處理裝置可以包括調(diào)整部，該調(diào)整部基于 RGB圖像，在滿足用于檢測皮膚區(qū)域的皮膚可檢測條件的范圍內(nèi)調(diào)整第一生成部的參數(shù)。第一生成部可以通過根據(jù)預(yù)定參數(shù)對被攝物進行攝像來生成第一鑲嵌圖像，以及調(diào)整部可以在滿足構(gòu)成RGB圖像的像素的亮度值和基于亮度值所計算的計算值中的一個變?yōu)樾∮诘扔赗GB圖像所能獲得的最大亮度值的一半的皮膚可檢測條件的范圍內(nèi)，調(diào)整第一生成部的參數(shù)。圖像處理裝置可以還包括第一入射限制部，限制除第一波長之外的波長的光的入射，并且使第一波長的光透過；以及第二入射限制部，限制除第二波長之外的波長的光的入射，并且使第二波長的光透過。第一生成部安裝有至少具有接收通過第一入射限制部獲得的第一波長的光的第一光接收元件以及接收通過第二入射限制部獲得的第二波長的光的第二光接收元件的圖像傳感器。第一生成部可以基于當沒有用第一和第二波長的光照射被攝物被時，入射至圖像傳感器的、來自被攝物的反射光，生成第二鑲嵌圖像，并且第二生成部可以在構(gòu)成第二鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第四內(nèi)插處理所獲得的第三圖像。此外，檢測部可以第三圖像的所有區(qū)域中，檢測包括如下像素的預(yù)定區(qū)域，在該像素中，構(gòu)成第三圖像的每個像素的像素值大于等于預(yù)定閾值。圖像處理裝置可以還包括控制照射部的照射的控制部，并且在控制部的控制下執(zhí)行照射部的照射的情況下，檢測部基于第二生成部生成的第一和第二圖像來檢測皮膚區(qū)域，并且在控制部的控制下不執(zhí)行照射部的照射的情況下，檢測部基于第二生成部生成的第三圖像來檢測預(yù)定區(qū)域。根據(jù)本發(fā)明另一個實施方式，提供了一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置的圖像處理方法，圖像處理裝置包括照射部；第一生成部，安裝有至少具有接收第一波長的光的第一光接收元件以及接收與第一波長不同的第二波長的光的第二光接收元件的圖像傳感器；第二生成部；以及檢測部；方法包括通過照射部，用第一波長的光和第二波長的光照射被攝物；通過第一生成部，當用第一和第二波長的光照射被攝物時，基于入射至圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；通過第二生成部， 在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及通過檢測部，基于第一和第二圖像，檢測皮膚區(qū)域。根據(jù)本發(fā)明再一個實施方式，提供了一種程序，使控制從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置的計算機具有如下各項功能，圖像處理裝置包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；以及第一生成部，安裝有至少具有接收第一波長的光的第一光接收元件和接收第二波長的光的第二光接收元件的圖像傳感器，并且當用第一和第二波長的光照射被攝物時，基于入射至圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像，各項功能包括第二生成部，在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及檢測部，基于第一和第二圖像，檢測皮膚區(qū)域。
根據(jù)上述實施方式，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；基于當用第一和第二波長的光照射被攝物時，入射至至少具有接收第一波長的光的第一光接收元件和接收第二波長的光的第二光接收元件的圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，并且在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；并且基于所生成的第一和第二圖像檢測皮膚區(qū)域。根據(jù)本發(fā)明再一個實施方式，一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的電子裝置，包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；第一生成部，安裝有至少具有接收第一波長的光的第一光接收元件和接收第二波長的光的第二光接收元件的圖像傳感器，并且當用第一和第二波長的光照射被攝物時，基于入射至圖像傳感器的來自被攝物的反射光，生成第一鑲嵌圖像；第二生成部，在構(gòu)成第一鑲嵌圖像的各個像素中， 基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像， 以及基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；檢測部，基于第一和第二圖像，檢測皮膚區(qū)域；以及執(zhí)行部，根據(jù)所檢測的皮膚區(qū)域執(zhí)行處理。根據(jù)上述實施方式，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；基于當以第一和第二波長的光照射被攝物時，入射至至少具有接收第一波長的光的第一光接收元件和接收第二波長的光的第二光接收元件的圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，并且在構(gòu)成第一鑲嵌圖像的各個像素中，基于對應(yīng)于第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；并且基于第一和第二圖像檢測皮膚區(qū)域。此外，根據(jù)所檢測的皮膚區(qū)域執(zhí)行處理。根據(jù)本發(fā)明再一個實施方式，一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物； 攝像部，對被攝物進行攝像，生成基于第一波長的光的第一圖像，并生成基于第二波長的光的第二圖像；以及檢測部，基于所生成的第一和第二圖像檢測皮膚區(qū)域。此處，照射部根據(jù)預(yù)定頻率改變第一波長光的亮度和第二波長光的亮度，從而照射被攝物，并且攝像部提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分，從而生成第一和第二圖像。照射部可以根據(jù)預(yù)定頻率交替地改變第一波長的光的亮度和第二波長的光的亮度，從而照射被攝物，以及攝像部可以提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的交流成分，從而生成第一和第二圖像。照射部可以同時執(zhí)行根據(jù)第一頻率交替改變第一波長的光的亮度從而照射被攝物的處理以及根據(jù)與第一頻率不同的第二頻率交替改變第二波長的光的亮度從而照射被攝物的處理，以及攝像部通過提取在用第一和第二波長的光照射的狀態(tài)下通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于第一頻率的交流成分來生成第一圖像，并且通過提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于第二頻率的交流成分來生成第二圖像。照射部可以交替執(zhí)行根據(jù)第三頻率交替改變第一波長的光的亮度從而照射被攝物的處理以及根據(jù)第三頻率交替改變第二波長的光的亮度從而照射被攝物的處理，以及攝像部可以通過提取在用第一波長的光照射的狀態(tài)下通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于第三頻率的交流成分來生成第一圖像，并且通過提取在用第二波長的光照射的狀態(tài)下通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于第三頻率的交流成分來生成第二圖像。根據(jù)本發(fā)明再一個實施方式，一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置的圖像處理方法，圖像處理裝置包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；攝像部，對被攝物進行攝像，生成基于第一波長的光的第一圖像，并且生成基于第二波長的光的第二圖像；以及檢測部，根據(jù)所生成的第一和第二圖像檢測皮膚區(qū)域；方法包括通過照射部，根據(jù)預(yù)定頻率改變第一波長的光的亮度和第二波長的光的亮度，從而照射被攝物；以及通過攝像部，提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分來生成第一和第二圖像。根據(jù)本發(fā)明再一個實施方式，一種用于控制從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置的程序，圖像處理裝置包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物；攝像部，對被攝物進行攝像，生成基于第一波長的光的第一圖像，并且生成基于第二波長的光的第二圖像；以及檢測部，根據(jù)所生成的第一和第二圖像檢測皮膚區(qū)域，程序使圖像處理裝置的計算機執(zhí)行包括以下步驟的處理通過控制照射部，根據(jù)預(yù)定頻率改變第一波長的光的亮度和第二波長的光的亮度，從而照射被攝物；以及通過控制攝像部，提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分，從而生成第一和第二圖像。在上述實施方式中，根據(jù)預(yù)定頻率改變第一波長的光的亮度和第二波長的光的亮度，從而照射被攝物，并且提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分來生成第一和第二圖像。根據(jù)本發(fā)明再一個實施方式，提供了一種從圖像中檢測表示人類皮膚的皮膚區(qū)域電子裝置，包括照射部，用第一波長的光和與第一波長不同的第二波長的光照射被攝物； 攝像部，對被攝物進行攝像，生成基于第一波長的光的第一圖像，并且生成基于第二波長的光的第二圖像；檢測部，基于所生成的第一和第二圖像，檢測皮膚區(qū)域，以及執(zhí)行部，根據(jù)所檢測的皮膚區(qū)域執(zhí)行處理。此處，照射部根據(jù)預(yù)定頻率改變第一波長的光的亮度和第二波長的光的亮度，從而照射被攝物，以及攝像部提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分，從而生成第一和第二圖像。在上述實施方式中，根據(jù)預(yù)定頻率改變第一波長光的亮度和第二波長光的亮度， 從而照射被攝物，并且提取通過對被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于預(yù)定頻率的成分，從而生成第一和第二圖像。根據(jù)上述實施方式，能夠高精度地檢測皮膚區(qū)域。


9
圖1是示出了根據(jù)本發(fā)明的信息處理系統(tǒng)的結(jié)構(gòu)實例的框圖；圖2是示出了人類皮膚的光譜反射特性的實例的示圖；圖3是示出了圖像傳感器中所安裝的濾光板的第一實例的示圖；圖4是示出了在圖3的濾光板中的光透過特性的實例的示圖；圖5是示出了圖像處理裝置的結(jié)構(gòu)實例的示圖；圖6是示出了通過計算部和二值化部所執(zhí)行的處理的細節(jié)的示圖；圖7是示出了皮膚檢測處理的流程圖；圖8是示出了圖像傳感器中所安裝的濾光板的第二實例的示圖；圖9是示出了在圖8的濾光板中的光透過特性的實例的示圖；圖10是示出了在外部光圖像中直方圖的第一實例的示圖；圖11是示出了皮膚檢測調(diào)整處理的流程圖；圖12是示出了外部光圖像中的直方圖的第二實例的示圖；圖13是示出了外部光圖像中的直方圖的第三實例的示圖；圖14是示出了現(xiàn)有技術(shù)的R、G以及B濾光片的透過特性的實例的示圖；圖15是示出了現(xiàn)有技術(shù)的頂截止濾光片的透過特性的實例的示圖；圖16是示出了將現(xiàn)有技術(shù)中的頂截止濾光片安裝在現(xiàn)有技術(shù)的R、G以及B濾光片中的情況下所獲得的透過特性的實例的示圖；圖17是示出了安裝在圖像傳感器中的濾光板的第三實例的示圖；圖18是示出了根據(jù)拜耳(Bayer)排列所排列的濾光板的實例的示圖；圖19是示出了安裝有λ 1濾光片和λ 2濾光片的頂截止濾光片的實例的示圖；圖20是示出了安裝在圖像傳感器中的濾光板的第四實例的示圖；圖21是示出了根據(jù)本發(fā)明的小模塊的實例的示圖；圖22是示出了安裝有小模塊被安裝的電視機的實例的示圖；圖23是示出了 LED檢測處理的流程圖；圖M是示出了 LED檢測調(diào)整處理的流程圖；圖25A 圖25D是示出了顯示在顯示器上的圖像的實例的示圖；圖沈是示出了與對應(yīng)于第一實施方式的亮度變化不相關(guān)的照射和攝像的時序的示圖；圖27是示出了與對應(yīng)于第四實施方式的亮度變化相關(guān)的照射和攝像的時序的示圖；圖觀是示出了根據(jù)第四實施方式的CMOS圖像傳感器的結(jié)構(gòu)實例的框圖；圖四是示出了根據(jù)第四實施方式的λ 1圖像和λ 2圖像的生成處理的流程圖；圖30是示出了與對應(yīng)于第五實施方式的亮度變化相關(guān)的照射和攝像的時序的示圖；圖31是示出了根據(jù)第五實施方式的CMOS圖像傳感器的結(jié)構(gòu)實例的框圖；圖32是示出了根據(jù)第五實施方式的λ 1圖像和λ 2圖像的生成處理的流程圖；圖33示出了計算機的結(jié)構(gòu)實例的框圖；以及圖34是示出了在現(xiàn)有技術(shù)的皮膚檢測技術(shù)中的照射和攝像時序的示圖。
具體實施例方式下文中，將描述本發(fā)明的實施方式。將按照下面的順序進行描述。1.第一實施方式(在從鑲嵌圖像生成λ 1圖像和λ 2圖像的情況下的實例)2.第二實施方式(在基于外部光圖像調(diào)整相機22的增益的情況下的實例)3.第三實施方式(檢測LED位置的電視機的實例)4.第四實施方式(在以不同頻率交替(alternately)改變具有波長λ 1的光的亮度和具有波長λ 2的光的亮度用于同時照射的情況下的實例)5.第五實施方式(在以相同頻率交替改變具有波長λ 1的光的亮度和具有波長 λ2的光的亮度用于交替照射的情況下的實例)1.第一實施方式[信息處理系統(tǒng)1的結(jié)構(gòu)實例]圖1是示出了根據(jù)本發(fā)明實施方式的信息處理系統(tǒng)1的結(jié)構(gòu)實例的示圖。信息處理系統(tǒng)1根據(jù)使用用戶手部的手勢(或姿態(tài))執(zhí)行預(yù)定處理，并且包括發(fā)光裝置21、相機22及圖像處理裝置23。為了允許信息處理系統(tǒng)1執(zhí)行預(yù)定處理，用戶在相機22的透鏡表面前面改變他們手的形狀或移動他們的手。此時，信息處理系統(tǒng)1識別用戶手的形狀或移動，并根據(jù)識別結(jié)果執(zhí)行預(yù)定處理。在第一實施方式中，假設(shè)用戶在相機22的透鏡表面的前面改變他們手的形狀，并且用戶將他們的手置于比他們面部、胸部等更接近相機22的透鏡表面的位置并執(zhí)行諸如他們手的形狀的改變或移動他們手的動作。發(fā)光裝置21包括發(fā)射波長λ 1的光(例如，870 [nm]的近紅外光)的LED (發(fā)光二極管)21 和LED 21 ，以及發(fā)射與波長λ 1不同的波長λ 2的光(例如，950[nm]的近紅外光)的 LED 21、和 LED 21b2。下文中，在不需要在LED 21 和LED 21 之間進行區(qū)分的情況下，將其簡稱作 "LED 21a”，并且在不需要在LED Zlb1和LED 21 之間進行區(qū)分的情況下，將其簡稱作“LED 21b”。LED 21a的數(shù)目和LED 21b的數(shù)目分別不限于2個。發(fā)光裝置21允許LED 2Ia和LED 21b在圖像處理裝置23的控制下例如同時發(fā)光。在使用波長λ 1或λ 2的光照射對波長λ 1和λ 2具有相同反射率的被攝物(例如，具有100 [%]反射率的鏡面等)的情況下，調(diào)整LED 21a和LED21b的光輸出，使得通過相機22的攝像所獲得的圖像中的對應(yīng)像素的亮度值相同。此外，在LED 21a中波長λ 1和LED 21b中波長λ 2的組合中，例如，當用波長入1 的光照射人類皮膚時的反射率大于當用波長λ2的光照射人類皮膚時的反射率，并且當用光照射除人類皮膚之外的某物時的反射率幾乎不改變。即，基于人類皮膚的光譜反射特性
確定組合。接下來，圖2示出了人類皮膚的光譜反射特性。不管人類皮膚的顏色(人種差異)或狀態(tài)(曬黑等)等的差異，光譜反射特性具
有一般性。在圖2中，橫軸表示照射人類皮膚的照射光的波長，并且縱軸表示照射人類皮膚的照射光的反射率。
總所周知，照射人類皮膚的照射光的反射率在800[nm]波長附近有峰，從約 900[nm]的波長快速降低，在1000[nm]波長附近具有最小值，隨后再次增大。具體地，例如，如圖2所示，通過用870[nm]波長的光照射人類皮膚所獲得的反射光的反射率約為63[% ]，并且通過用950 [nm]波長的光照射人類皮膚所獲得的反射光的反射率約為50[% J0這是人類皮膚所特有的。在除人類皮膚之外的被攝物(例如，頭發(fā)、衣服等)的情況下，反射率的變化在800 1000[nm]附近主要是平滑的。在第一實施方式中，在光譜反射特性方面，例如，將波長λ 1為870[nm]并且波長 λ 2為950 [nm]的組合用作波長λ 1和波長λ 2的組合。在該組合中，人類皮膚反射率之間的差異變得比較大，并且除人類皮膚之外的部分的反射率之間的差異變得比較小。波長λ 1和波長λ 2的組合不限于870 [nm]的波長和950 [nm]的波長，例如，只要組合滿足下述關(guān)系，就可以采用任意組合。λ 1 < λ 2630 [nm]彡 λ 1 彡 1000 [nm]900 [nm]彡 λ 2 彡 1100[nm]返回圖1，相機22除了透鏡之外還包括諸如CXD或CMOS的圖像傳感器。如圖3所示，將棋盤狀地排列λ 濾光片(對應(yīng)于圖3中的“1”)和λ2濾光片 (對應(yīng)于圖3中的“2”)的濾光板31安裝在相機22的圖像傳感器的正面。如圖4所示，λ 1濾光片具有發(fā)光光譜的峰值波長為λ 1(此處，λ l=870[nm])的透過光(波長λ 1的光)的透過特性。此外，λ 2濾光片具有發(fā)光光譜的峰值波長為λ 2(此處，λ 2 = 950[nm])的透過光(波長λ 2的光)的透過特性。因此，相機22在構(gòu)成圖像傳感器的多個光接收元件中僅接收波長λ 1的光和波長 λ 2的光。此外，在構(gòu)成圖像傳感器的多個光接收元件中，安裝有λ 1濾光片的光接收元件對所接收的波長λ 1的光進行光電轉(zhuǎn)換，以獲得像素值X (λ 1)作為對應(yīng)于光接收元件的像素的像素值。此外，在構(gòu)成圖像傳感器的多個光接收元件中，安裝有λ2濾光片的光接收元件對所接收的波長λ 2的光進行光電轉(zhuǎn)換，以獲得像素值X (λ幻作為對應(yīng)于光接收元件的像素的像素值。S卩，相機22的圖像傳感器生成鑲嵌圖像，其中，棋盤狀地排列通過對所接收的波長λ 1的光進行光電轉(zhuǎn)換而獲得的具有像素值χ (λ 1)的像素，以及通過對所接收的波長 λ 2的光進行光電轉(zhuǎn)換而獲得的具有像素值X (λ幻的像素。隨后，相機22使用在構(gòu)成鑲嵌圖像的各個像素的像素值中對應(yīng)于安裝有λ 1濾光片的光接收元件的像素的像素值X (λ 1)，執(zhí)行將接收到波長λ 1的光的情況下所獲得的像素值X (λ 1)內(nèi)插在對應(yīng)于安裝有λ 2濾光片的光接收元件的像素中的λ 內(nèi)插處理， 并將作為結(jié)果而獲得的λ 1圖像提供至圖像處理裝置23。此外，相機22使用在構(gòu)成鑲嵌圖像的各個像素的像素值中對應(yīng)于安裝有λ 2濾光片的光接收元件的像素的像素值X U 2)，執(zhí)行將在接收到波長λ2的光的情況下所獲得的像素值X (λ 2)內(nèi)插在對應(yīng)于安裝有λ 1濾光片的光接收元件的像素中的λ 2內(nèi)插處理，并將作為結(jié)果而獲得的λ 2圖像提供至圖像處理裝置23。圖像處理裝置23基于從相機22提供的λ 圖像和λ 2圖像，計算通過從構(gòu)成入1圖像的像素的像素值(例如，亮度值)中減去對應(yīng)于構(gòu)成λ 1圖像的像素的、構(gòu)成λ 2圖像的像素的像素值所獲得的差分。隨后，圖像處理裝置23基于所計算的差分檢測λ 1圖像(或λ 2圖像)上的皮膚區(qū)域。圖像處理裝置23基于所檢測的皮膚區(qū)域來識別用戶手的形狀等，并且根據(jù)識別結(jié)果執(zhí)行預(yù)定處理。[圖像處理裝置23的結(jié)構(gòu)實例]圖5示出了圖像處理裝置23的結(jié)構(gòu)實例。圖像處理裝置23包括控制部41、計算部42以及二值化部43。控制部41控制相機22的攝像時序及攝像時間，以及發(fā)光裝置23的發(fā)光時序和發(fā)光時間。此外，例如，控制部41控制計算部42和二值化部43。計算部42使用LPF(低通濾波器)對來自相機22的λ 1圖像和λ 2圖像執(zhí)行平滑處理。隨后，計算部42在平滑處理之后計算λ 圖像和λ 2圖像之間的差分，并且將通過將所計算的差分用作像素值的像素所構(gòu)成的差分圖像提供至二值化部43。在這方面，相機22可以將所生成的鑲嵌圖像提供至計算部42，并且計算部42可以通過對來自相機22的鑲嵌圖像執(zhí)行λ 1內(nèi)插處理來生成λ 1圖像，并且可以通過對來自相機22的鑲嵌圖像執(zhí)行λ 2內(nèi)插處理來生成λ 2圖像。隨后，計算部42可以使用LPF對所計算的λ 1圖像和λ 2圖像執(zhí)行平滑處理等。二值化部43對來自計算部42的差分圖像進行二值化，基于作為結(jié)果而獲得的二值化皮膚圖像，檢測λ 1圖像(或λ 2圖像)上的皮膚區(qū)域，并且將檢測結(jié)果提供至控制部 41。此處，構(gòu)成差分圖像63的像素的像素值也可以通過構(gòu)成λ 1圖像61的像素中的對應(yīng)像素的亮度值來歸一化(相除)，用于二值化。此外，二值化部43也可以使用λ2圖像 62代替λ 1圖像61來對差分圖像63進行歸一化，用于二值化。圖6示出了通過計算部42和二值化部43所執(zhí)行的處理的細節(jié)。將包括皮膚區(qū)域61a和非皮膚區(qū)域61b(除皮膚區(qū)域61a之外的區(qū)域)的λ 圖像61以及包括皮膚區(qū)域6 和非皮膚區(qū)域62b (除皮膚區(qū)域6 之外的區(qū)域)的λ 2圖像 62，從相機22提供至計算部42。計算部42使用LPF對從相機22提供的λ 1圖像61和λ 2圖像62執(zhí)行平滑處理。隨后，計算部42計算在平滑處理之后的λ 1圖像61與平滑處理之后的λ 2圖像62中對應(yīng)像素的像素值(例如，亮度值)之間的差分，產(chǎn)生將差分用作像素值的差分圖像63，隨后，將結(jié)果提供至二值化部43。二值化部43對來自計算部42的差分圖像63執(zhí)行二值化，其中，在構(gòu)成差分圖像 63的像素的像素值中，將大于等于用于二值化的二值化閾值的像素值設(shè)定為“1”，并且將小于等于二值化閾值的像素值設(shè)定為“0”。此處，由于差分圖像63中的皮膚區(qū)域63a包括將皮膚區(qū)域61a與皮膚區(qū)域6 之間的差分用作像素值的像素，所以構(gòu)成皮膚區(qū)域63a的像素的像素值比較大。此外，由于差分圖像63中的非皮膚區(qū)域6 包括將非皮膚區(qū)域61b與非皮膚區(qū)域 62b之間的差分用作像素值的像素，所以構(gòu)成非皮膚區(qū)域63b的像素的像素值比較小。因此，通過二值化部43所執(zhí)行的二值化，差分圖像63被轉(zhuǎn)換成包括構(gòu)成皮膚區(qū)域63a的像素的像素值被設(shè)定為“1”的皮膚區(qū)域64a以及構(gòu)成非皮膚區(qū)域63b的像素的像素值被設(shè)定為“0”的非皮膚區(qū)域64b的二值化皮膚圖像64。此外，二值化部43將通過二值化所獲得的二值化皮膚區(qū)域64上的皮膚區(qū)域6 提供至控制部41。[通過信息處理系統(tǒng)1執(zhí)行的皮膚檢測處理的細節(jié)]接下來，將參照圖7的流程圖描述通過信息處理系統(tǒng)1執(zhí)行的皮膚檢測處理。在步驟Sl中，LED 21a和LED 21b在控制部41的控制下以相同的照射時序來照射被攝物。相機22接收從使用來自LED 21a的波長λ 1的光以及來自LED 21b的波長λ 2 的光照射的被攝物所反射的光，并且對所接收的反射光進行光電轉(zhuǎn)換，從而生成鑲嵌圖像。在步驟S2中，相機22基于所生成的鑲嵌圖像執(zhí)行λ 1內(nèi)插處理，并且將作為結(jié)果而獲得的λ 1圖像提供至計算部42。此外，相機22基于所生成的鑲嵌圖像執(zhí)行λ 2內(nèi)插處理，并且將作為結(jié)果而獲得的λ 2圖像提供至計算部42。在步驟S3中，計算部42使用LPF對來自相機22的λ 1圖像和λ 2圖像執(zhí)行平滑處理。隨后，計算部42計算平滑處理后的λ 2圖像與λ 2圖像之間的差分，并且將包括將所計算的差分用作像素值的像素的差分圖像提供至二值化部43。在步驟S4中，二值化部43通過對來自計算部42的差分圖像進行二值化來生成二值化皮膚圖像。在步驟S5中，二值化部43基于所生成的二值化皮膚圖像來檢測λ 1圖像(或λ 2 圖像)上的皮膚區(qū)域，隨后，將檢測結(jié)果提供至控制部41。在步驟S6中，控制部41根據(jù)來自二值化部43的檢測結(jié)果執(zhí)行處理，即，例如，根據(jù)來自二值化部43的皮膚區(qū)域的形狀來變更諸如電視機(未示出)的頻道的處理。這樣， 皮膚檢測處理結(jié)束。如上所述，在皮膚檢測處理中，從通過將圖3所示的濾光板31安裝在相機22的圖像傳感器的正面所獲得的鑲嵌圖像生成用于皮膚區(qū)域檢測的λ 1圖像和λ2圖像。因此，不需要使LED 21a和LED 21b在皮膚檢測處理中以不同時序發(fā)光，因此，很容易控制LED 21a和LED 21b。此外，例如，在LED 21a和LED 21b以不同時序發(fā)光的情況下，可以防止λ 1圖像中被攝物的位置與λ2圖像中被攝物的位置由于被攝物的移動而造成的不重合。此外，例如，如在使用為了通過僅接收波長λ 1的光來生成λ 1圖像而安裝僅使波長λ 1的光透過的第一透過濾光片的第一相機以及為了通過僅接收波長λ2的光來生成 λ 2圖像而安裝僅使波長λ 2的光透過的第二透過濾光片的第二相機的情況一樣，可以防止λ 1圖像和λ2圖像中被攝物的位置由于不一致而不重合。因此，在皮膚檢測處理中，由于λ 1圖像和λ 2圖像中被攝物的位置沒有不重合， 所以可以防止皮膚檢測的精度被劣化。2.第二實施方式但是，在使用圖3所示的濾光板31的情況下，具有對應(yīng)于所接收的波長λ 1的光強度的灰度級的λ 1圖像以及具有對應(yīng)于所接收的波長λ 2的光強度的灰度級的λ 2圖像被獲得，但是很難獲得每個像素均包括R(紅色)值、G(綠色)值及B(藍色)值的RGB圖像。
因此，作為安裝在相機22的圖像傳感器的正面上的濾光板，除了 λ 1濾光板和λ 2 濾光板之外，還可以采用濾光板71，其中，安裝有僅使R成分透過的R濾光片、僅使G成分透過的G濾光片以及僅使B成分透過的B濾光片。[使用濾光板的排列的實例]圖8示出了安裝有λ 1濾光片、λ 2濾光片、R濾光片、G濾光片以及B濾光片的濾光板71的實例。在濾光板71中，如圖8所示，將R濾光片(圖8中的“R”)每隔兩個像素排列在奇數(shù)行中，并且將λ 濾光片和λ 2濾光片交替排列在R濾光片之間。此外，在濾光片71中， 如圖8所示，G濾光片(圖8中的“G”)和B濾光片(圖8中的“B”)交替排列在偶數(shù)行中。S卩，通過用λ 1濾光片或λ 2濾光片代替在以所謂拜耳排列所排列的R濾光片、G 濾光片以及B濾光片中被排列在奇數(shù)行中的G濾光片來獲得濾光板71。圖9是示出了構(gòu)成圖8所示的濾光板71的每個濾光片的透過特性的實例的示圖。 在圖9中，橫軸表示波長，并且縱軸表示量子效率。在相機22中，如果使用如圖8所示的濾光板71，則對基于通過濾光板71所接收的反射光而生成的鑲嵌圖像執(zhí)行RGB內(nèi)插處理，從而使得可以生成RGB圖像。S卩，例如，相機22使用在構(gòu)成所生成的鑲嵌圖像的各個像素的像素值中對應(yīng)于安裝有R濾光片的光接收元件的像素的像素值，將在接收到R成分的情況下所獲得的像素值內(nèi)插在對應(yīng)于除安裝有R濾光片之外的濾光片的光接收元件的像素中。此外，例如，相機22使用在構(gòu)成所生成的鑲嵌圖像的各個像素的像素值中對應(yīng)于安裝有G濾光片的光接收元件的像素的像素值，將在接收到G成分的情況下所獲得的像素值內(nèi)插在對應(yīng)于除安裝有G濾光片之外的濾光片的光接收元件的像素中。此外，例如，相機22使用在構(gòu)成所生成的鑲嵌圖像的各個像素的像素值中對應(yīng)于安裝有B濾光片的光接收元件的像素的像素值，將在接收到B成分的情況下所獲得的像素值內(nèi)插在對應(yīng)于除安裝有B濾光片之外的濾光片的光接收元件的像素中。因此，相機22生成在每個像素中具有R值、G值以及B值的RGB圖像。以與安裝有濾光板31的情況類似的方式，從鑲嵌圖像生成λ 1圖像和λ 2圖像。此外，在圖像處理裝置23中，例如，在LED 21a和LED 21b關(guān)閉的狀態(tài)下，基于根據(jù)通過相機22的攝像所獲得的鑲嵌圖像而生成的RGB圖像來調(diào)整相機22的增益等，因此， 可以高精度地檢測皮膚，而不會受到諸如日光或熒光的外部光的影響。即，例如，相機22將在LED 21a和LED 21b關(guān)閉的狀態(tài)下所獲得的RGB圖像提供至控制部41。此外，控制部41基于來自相機22的RGB圖像執(zhí)行調(diào)整相機22的增益及發(fā)光裝置 21中LED 21a或LED 21b的照射光量的皮膚檢測調(diào)整處理?？刂撇?1使用來自相機22的RGB圖像作為外部光圖像關(guān)于外部光圖像來生成構(gòu)成外部光圖像的像素的像素值(例如，亮度值)的直方圖，并基于所生成的直方圖來調(diào)整相機22的增益。即，例如，控制部41基于所生成的直方圖，即使在λ 圖像和λ2圖像中生成的噪聲、LED 21a和LED 21b的照射光量發(fā)生變化等的情況下，仍在能夠高精度地檢測皮膚區(qū)域的范圍內(nèi)調(diào)整相機22的增益，而不會發(fā)生相機22的飽和(雪盲，whiteout等)。
圖10示出了通過控制部41生成的直方圖的實例。在圖10中，橫軸表示亮度值，縱軸表示外部光圖像中具有橫軸中亮度值的像素總數(shù)。此處，假設(shè)相機22生成將亮度值表示為28( = 256)的灰度級的外部光圖像。因此，橫軸表示從0至255范圍內(nèi)的亮度值?？刂撇?1基于來自相機22的外部光圖像生成如圖10所示的直方圖，并基于所生成的直方圖來計算表示構(gòu)成外部光圖像的像素的亮度值的平均值的平均亮度值。隨后，例如，控制部41基于所計算的平均亮度值，在能夠高精度地檢測皮膚區(qū)域的范圍內(nèi)(具體地，在所計算的平均亮度值變得小于等于能夠通過外部光圖像獲得的最大亮度值的一半的范圍內(nèi))調(diào)整相機22的增益。優(yōu)選地，控制部41調(diào)整相機22的增益，使得所計算的平均亮度值變?yōu)槟軌蛲ㄟ^外部光圖像獲得的最大亮度值的一半的亮度值。S卩，例如，如圖10所示，在計算出平均亮度值165(通過圖10中的粗垂直線表示) 的情況下，控制部41調(diào)整增益，使得平均亮度值165變?yōu)槟軌蛲ㄟ^外部光圖像獲得的最大亮度值255的一半的亮度值127 (通過圖10中的粗虛線表示)。在調(diào)整增益之后，控制部41控制發(fā)光裝置21的LED 21a和LED 21b，允許LED 21a 和LED 21b同時發(fā)光。此外，控制部41控制相機22，通過相機22對被攝物執(zhí)行攝像，并將從相機22輸出的λ 1圖像和λ 2圖像提供至計算部42。此外，控制部41控制計算部42和二值化部43，以基于λ 1圖像和λ 2圖像來檢測皮膚區(qū)域。在從二值化部43獲得表示可以檢測皮膚區(qū)域的檢測結(jié)果作為皮膚區(qū)域的檢測結(jié)果的情況下，控制部41執(zhí)行減小LED 21a和LED 21b的照射光量的調(diào)整，以獲得能夠高精度地檢測皮膚區(qū)域的必要最小照射光量。此外，由于隨著LED 21a和LED 21b的照射光量的過度減少而檢測不到皮膚區(qū)域， 所以在從二值化部43獲得表示檢測不到皮膚區(qū)域檢測結(jié)果作為皮膚區(qū)域的檢測結(jié)果的情況下，控制部41將相機22的增益調(diào)整至大于當前增益的增益，使得能夠檢測到皮膚區(qū)域。在相機22的增益和LED 21a和LED 21b的照射光量調(diào)整之后，為了執(zhí)行基于皮膚區(qū)域的檢測結(jié)果的處理，控制部41控制計算部42和二值化部43，以執(zhí)行基于λ 1圖像和 λ2圖像的皮膚區(qū)域檢測。隨后，控制部41執(zhí)行基于來自二值化部43的皮膚區(qū)域檢測結(jié)果的處理。即，例如， 控制部41基于來自二值化部43的檢測結(jié)果來識別用戶的手勢或姿態(tài)，并執(zhí)行對應(yīng)于所識別的手勢等的處理。[通過圖像處理裝置23執(zhí)行的皮膚檢測調(diào)整處理的細節(jié)]接下來，將參照圖11中的流程圖描述通過圖像處理裝置23執(zhí)行的皮膚檢測調(diào)整處理。在步驟S31中，控制部41控制發(fā)光裝置21和相機22，在發(fā)光裝置21的LED 21a 和LED 21b關(guān)閉的狀態(tài)下，通過相機22執(zhí)行被攝物的攝像，并且獲得通過攝像獲得的鑲嵌圖像。隨后，相機22使用在構(gòu)成鑲嵌圖像的各個像素的像素值中具有R值、G值以及B值中的任意一個的像素值，對所獲得的鑲嵌圖像執(zhí)行RGB內(nèi)插處理，并將作為結(jié)果而獲得的RGB圖像提供至控制部41作為外部光圖像。在步驟32中，例如，控制部41基于來自相機22的外部光圖像生成直方圖，并且基于所生成的直方圖來計算構(gòu)成外部光圖像的像素的亮度值的平均亮度值。隨后，控制部41基于所計算的平均亮度值來調(diào)整相機22的增益，使得所計算的平均亮度值變得小于等于能夠通過外部光圖像獲得的最大亮度值的一半。優(yōu)選地，控制部41調(diào)整相機22的增益，使得所計算的平均亮度值變?yōu)槟軌蛲ㄟ^外部光圖像獲得的最大亮度值的一半的亮度值。在步驟S33中，執(zhí)行圖7中的皮膚檢測處理。具體地，例如，相機22在LED 21a和 LED 21b接通的狀態(tài)下執(zhí)行被攝物的攝像。隨后，相機22將通過對作為結(jié)果而獲得的鑲嵌圖像執(zhí)行λ 1內(nèi)插處理所獲得的λ 1圖像以及通過執(zhí)行λ 2內(nèi)插處理所獲得的λ 2圖像提供至計算部42。計算部42基于來自相機22的λ 圖像和λ 2圖像生成差分圖像，并將其提供至二值化部43。二值化部43將來自計算部42的差分圖像轉(zhuǎn)換成二值化皮膚圖像，并基于轉(zhuǎn)換后的二值化皮膚圖像，測試皮膚區(qū)域檢測。隨后，二值化部43將表示是否能夠檢測皮膚區(qū)域的檢測結(jié)果提供至控制部41。在步驟S34中，控制部41基于來自二值化部43的檢測結(jié)果確定是否能夠檢測皮膚區(qū)域，并且在確定無法檢測皮膚區(qū)域的情況下，處理前進至步驟S35。在步驟S35中，控制部41確定在步驟S32中所調(diào)整的增益是否為可調(diào)整的最大增益，并且在確定其不是最大增益的情況下，處理前進至步驟S36。在步驟S36中，控制部41控制相機22，將相機22的增益調(diào)整至大于當前所設(shè)定的增益，隨后，處理返回至步驟S33。隨后，計算部42獲得調(diào)整增益之后通過相機22的攝像最新提供的λ 1圖像和λ2圖像，隨后，執(zhí)行相同的處理。此外，在步驟S35中確定在步驟S32中所調(diào)整的增益為可調(diào)整的最大增益的情況下，由于控制部41不能將增益調(diào)整的大于最大增益，所以處理前進至步驟S37。在步驟S37中，控制部41控制發(fā)光裝置21，將LED 21a和LED 21b的照射光量初始化為預(yù)定值，隨后，處理返回至步驟S31。隨后，控制部41重新執(zhí)行皮膚檢測調(diào)整處理。S卩，在處理前進至步驟S37的情況下，由于考慮到在步驟S39(將在隨后描述)中隨著LED 21a和LED 21b的照射光量過度減小而檢測不到皮膚區(qū)域，所以LED 21a和LED 21b的照射光量被初始化為預(yù)定值，以重新執(zhí)行皮膚檢測調(diào)整處理。另一方面，在步驟S34中確定控制部41能夠基于來自二值化部43的檢測結(jié)果檢測皮膚區(qū)域的情況下，處理前進至步驟S38。在這種情況下，二值化部43將表示能夠檢測皮膚區(qū)域的檢測結(jié)果、所生成的二值化皮膚圖像以及來自計算部42的差分圖像提供至控制部41。在步驟S38中，控制部41基于來自二值化部43的二值化皮膚圖像和差分圖像，確定LED 21a和LED 21b的照射光量是否為檢測皮膚區(qū)域的必要最小照射光量。S卩，例如，控制部41基于來自二值化部43的二值化皮膚圖像從來自二值化部43 的差分圖像中提取對應(yīng)于二值化皮膚圖像上的皮膚區(qū)域(例如，包括像素值為“1”的像素的區(qū)域)的皮膚區(qū)域。此外，在構(gòu)成所提取的差分圖像上的皮膚區(qū)域的像素的像素值幾乎與皮膚可檢測值(充分大于構(gòu)成來自計算部42的差分圖像上的非皮膚區(qū)域的像素的像素值的值)相同的情況下，控制部41確定LED 21a和LED 21b的照射光量為必要最小照射光量，并且在構(gòu)成所提取的差分圖像上的皮膚區(qū)域的像素的像素值大于皮膚可檢測值的情況下，控制部41 確定LED 21a和LED 21b的照射光量不是必要最小照射光量。具體地，例如，在構(gòu)成所提取的差分圖像上的皮膚區(qū)域的像素的像素值的平均值幾乎與皮膚可檢測值相同的情況下，控制部41確定LED 21a和LED 21b的照射光量為必要最小照射光量，并且在構(gòu)成所提取的差分圖像上的皮膚區(qū)域的像素的像素值的平均值大于皮膚可檢測值的情況下，控制部41確定LED 21a和LED 21b的照射光量不是必要最小照射光量。在步驟S38中，在控制部41確定LED 21a和LED 21b的照射光量不是皮膚區(qū)域檢測的必要最小照射光量的情況下，處理前進至步驟S39。在步驟S39中，控制部41控制發(fā)光裝置21執(zhí)行減小LED 21a和LED21b的照射光量、使其變?yōu)橛糜谄つw區(qū)域檢測的必要最小照射光量的調(diào)整。S卩，例如，控制部41調(diào)整LED 21a和LED 21b的照射光量，使得構(gòu)成通過相機22 的攝像所獲得的λ 1圖像和λ 2圖像上皮膚區(qū)域的像素的亮度值變?yōu)槟軌蛞愿呔葯z測皮膚區(qū)域的必要最小亮度值，即，使得構(gòu)成差分圖像上的皮膚區(qū)域的像素的像素值的平均值變得幾乎與皮膚可檢測值相同。在步驟S39中的處理結(jié)束之后，控制部41使處理返回步驟S33。在步驟S33中，計算部42通過根據(jù)調(diào)整了照射光量的LED 21a和LED 21b的接通來執(zhí)行相機22的攝像而獲得從相機22輸出的λ 1圖像和λ 2圖像，隨后，執(zhí)行相同的處理。在步驟S38中確定了 LED 21a和LED 21b的照射光量為皮膚區(qū)域檢測的必要最小照射光量的情況下，控制部41結(jié)束皮膚檢測調(diào)整處理，隨后，執(zhí)行圖7中所示的皮膚檢測處理。在上述皮膚檢測調(diào)整處理中，例如，控制部41調(diào)整相機22的增益，使得構(gòu)成外部光圖像的像素的亮度值的平均亮度值變?yōu)樽鳛橥ㄟ^相機22的攝像所獲得的最大亮度值的一半的亮度值。在這種情況下，由于增益能夠在能夠以高精度檢測皮膚區(qū)域的范圍內(nèi)被調(diào)整為最大，具體地，例如，在所計算的平均亮度值變得小于等于能夠通過外部光圖像獲得的最大亮度值的一半的情況下，所以控制部41能夠擴展(在維持皮膚區(qū)域的檢測精度的同時，能夠檢測皮膚區(qū)域的)可檢測距離。此外，在皮膚檢測調(diào)整處理中，由于為了獲得皮膚區(qū)域檢測的必要最小照射光量而減小了 LED 21a和LED 21b的照射光量，所以可以在維持皮膚區(qū)域的檢測精度的同時，降低LED 21a和LED 21b的照射所需電力，從而實現(xiàn)節(jié)能，。[第二實施方式的變形例]在皮膚檢測調(diào)整處理中，控制部41基于來自相機22的外部光圖像的直方圖來生成外部光圖像的平均亮度值，并且基于所生成的平均亮度值來調(diào)整相機22的增益，但是相機22的增益的調(diào)整方法不限于此。S卩，例如，如圖12所示，控制部41也可以調(diào)整相機22的增益，使得當表示在基于來自相機22的外部光圖像所生成的直方圖中像素數(shù)最大時的亮度值的峰值(此處，172)變得小于等于能夠通過外部光圖像獲得的最大亮度值的一半。在圖12所示的情況下，當亮度值255變?yōu)榉逯禃r，控制部41可以計算除了亮度值為255(飽和)的部分之外的峰值，并且可以基于所計算的峰值來調(diào)整相機22的增益。此外，例如，如圖13所示，控制部41可以調(diào)整相機22的增益，使得基于表示通過在基于來自相機22的外部光圖像所生成的直方圖中具有小亮度值的像素連續(xù)累加(相加) 所獲得的像素數(shù)的像素累加數(shù)所指定的亮度值變?yōu)樾∮诘扔谀軌蛲ㄟ^外部光圖像獲得的最大亮度值的一半。S卩，例如，控制部41能夠調(diào)整相機22的增益，使得當像素累加數(shù)變?yōu)閷?yīng)于直方圖中總像素數(shù)的80%的像素數(shù)時，所累加像素的亮度值(此處，20 變得小于等于能夠通過外部光圖像獲得的最大亮度值的一半。此外，在皮膚檢測調(diào)整處理中，控制部41基于外部光圖像的直方圖調(diào)整相機22的增益，但是，可以調(diào)整相機22的增益、光接收靈敏度以及曝光(光接收)時間等中的至少一個。但是，在第一實施方式中，為了獲得如圖9所示的透過特性，準備R濾光片、G濾光片以及B濾光片，并且準備圖8所示的濾光板71，但是，也可以通過使用現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片構(gòu)成具有如圖9所示的透過特性的濾光板71。接下來，將參照圖14 圖16描述使用現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片來準備與圖9所示的濾光板71的R濾光片、G濾光片以及B濾光片相同的濾光片的情況。圖14示出了現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片的透過特性的實例。圖15示出了通過現(xiàn)有技術(shù)的IR(紅外)截止濾光片遮擋的波長的實例。如圖15 所示，現(xiàn)有技術(shù)的頂截止濾光片遮擋約800[nm]以上波長的紅外光(參照圖15所示的兩點虛線的右側(cè))，而使波長短于約800 [nm]的光透過(參照圖15所示的兩點虛線的左側(cè))。圖16示出了在現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片的各正面上安裝現(xiàn)有技術(shù)的頂截止濾光片的情況下的透過特性的實例。由此，可以通過在現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片的各正面上安裝現(xiàn)有技術(shù)的頂截止濾光片，來實現(xiàn)具有如圖16所示透過特性的R濾光片、G濾光片以及B濾光片。此外，如果將現(xiàn)有技術(shù)的頂截止濾光片安裝在現(xiàn)有技術(shù)的R濾光片、G濾光片以及B濾光片的各正面，并且如圖8所示地排列λ 1濾光片和λ 1濾光片，則可以實現(xiàn)具有圖 9所示的透過特性的濾光板71。在這種情況下，由于使用現(xiàn)有技術(shù)的R濾光片、G濾光片、B濾光片以及頂截止濾光片，所以可以輕松實現(xiàn)濾光板71，無需為了獲得如圖9所示的透過特性而重新準備R濾光片、G濾光片以及B濾光片。濾光板中R濾光片、G濾光片、B濾光片、λ 1濾光片以及λ 2濾光片不限于如圖8 所示的排列，并且例如，可以準備具有如圖17所示的排列的新的濾光板81。此外，通過事實上使用具有現(xiàn)有技術(shù)的拜耳排列的濾光板，可以實現(xiàn)具有如圖9 所示的透過特性的濾光板。接下來，將參照圖18 圖20描述在按照原狀使用現(xiàn)有技術(shù)的拜耳排列的濾光板來實現(xiàn)具有如圖9所示的透過特性的濾光板的情況下的實例。
圖18示出了以現(xiàn)有技術(shù)的拜耳排列來排列的濾光板91的實例。在濾光板91中，棋盤狀地排列G濾光片(對應(yīng)于圖18中的“G”)，在奇數(shù)列中將 R濾光片(對應(yīng)于圖18中的“R”)交替排列在G濾光片之間，并且在偶數(shù)列中將B濾光片 (對應(yīng)于圖18中的“B”)交替排列在G濾光片之間。作為在濾光板91上包括水平方向上的兩個濾光片和垂直方向上的兩個濾光片的四個濾光片，存在一個R濾光片、一個B濾光片以及兩個G濾光片，并且G濾光片比R濾光片和B濾光片多一個濾光片。這是因為，對應(yīng)于G成分的綠色比較難被人看見。圖19示出了安裝有λ 1濾光片和λ 2濾光片的頂截止濾光片92的實例。在頂截止濾光片92中，分別以間隔一個像素的狀態(tài)棋盤式地排列λ 1濾光片(圖 19中的IR 870)和λ 2濾光片(圖19中的頂950)。在頂截止濾光片92中，未安裝λ 1 濾光片和λ 2濾光片的部分(圖19中的空白)具有如圖15所示的透過(遮擋)特性的頂截止濾光片的功能。通過以頂截止濾光片92覆蓋濾光板91的正面來建立如圖20所示的濾光板93。 濾光板93具有如圖9所示的透過特性。信息處理系統(tǒng)1可以小型化，以便安裝在諸如電視機的電子設(shè)備中。圖21示出了作為小型化的信息處理系統(tǒng)1的小模塊1'的實例。小模塊1'包括透鏡101，校正來自構(gòu)成光源組102(隨后將被描述)的LED的光，從而照射被攝物；光源組102，具有多個LED 21a和LED 21b ；基板103，包括構(gòu)成光源組 102的多個LED 2Ia和LED 21b被排列在其上的光源基板103a以及相機104及圖像處理部 105 (隨后將被描述)被排列在其上的處理基板10 ；相機104，以與圖1中相機22類似的方式構(gòu)成；圖像處理部105，以與圖1中的圖像處理裝置23類似的方式構(gòu)成；以及支撐組件 106，支撐透鏡101、光源基板103a以及處理基板103b。如圖22所示，例如，將小模塊1'安裝在電視機141的顯示器141a的上面，并執(zhí)行識別在電視機141的顯示器141a的前面出現(xiàn)的用戶手部的形狀等以及基于識別結(jié)果改變電視機141的音量、頻道等的處理。3.第三實施方式但是，安裝有小模塊1'的電視機141可以具有檢測用于電視機141的操作的遙控器121的位置的位置檢測裝置，以及檢測皮膚的皮膚檢測裝置的功能。圖22示出了具有位置檢測裝置功能的電視機141的結(jié)構(gòu)實例。電視機141在顯示電視節(jié)目的顯示器141a上安裝有小模塊1'。在電視機141中所安裝的小模塊1'基于通過被攝物的攝像所獲得的λ 1圖像，檢測用戶所操作的遙控器121的位置。S卩，例如，在用戶移動遙控器121同時使從遙控器121的LED 121a發(fā)射波長λ 1 的光的情況下，小模塊1'對被攝物進行攝像，并且對通過攝像所獲得的鑲嵌圖像執(zhí)行入1 內(nèi)插處理，隨后，檢測在作為結(jié)果而獲得的λ 1圖像中LED 121a的位置(遙控器121的位置)。隨后，小模塊1'在對應(yīng)于所檢測的LED 121a的位置的顯示器141a上的位置161 中顯示指針等。[通過電視機141執(zhí)行的LED檢測處理]
接下來，將參照圖23中的流程圖描述通過安裝在電視機141中的小模塊1'執(zhí)行的LED檢測處理。例如，在從遙控器121的LED 121a發(fā)射波長λ 1的光的狀態(tài)下，用戶在上下左右方向上移動遙控器121，從而移動顯示器141a上的指針。此外，在LED檢測處理中，光源組 102不變地處于關(guān)閉狀態(tài)。這與將參照圖M描述的LED檢測調(diào)整處理相同。在步驟S71中，相機104以與圖1中相機22類似的方式執(zhí)行攝像，并且對相機104 的圖像傳感器所接收的光進行光電轉(zhuǎn)換，以生成鑲嵌圖像。在步驟S72中，相機104基于所生成的鑲嵌圖像執(zhí)行λ 1內(nèi)插處理，生成作為結(jié)果而獲得的λ 1圖像，隨后，將其提供至圖像處理部105。在相機104的攝像范圍內(nèi)，LED 121a為發(fā)射波長λ 1的光的僅有的光源。因此，在λ 1圖像上的所有區(qū)域中構(gòu)成存在LED 121a的LED顯示區(qū)域的每個像素的像素值變得相對大于構(gòu)成除LED顯示區(qū)域之外的區(qū)域的每個像素的像素值。因此，在步驟S73中，圖像處理部105基于構(gòu)成來自相機104的λ 1圖像的像素的像素值是否大于等于預(yù)定LED閾值，嘗試在λ 1圖像上檢測顯示發(fā)射波長λ 1的光的LED 121a(來自其中的光)的LED顯示區(qū)域。在步驟S73中，圖像處理部105在來自相機104的λ 1圖像上的所有區(qū)域中檢測據(jù)確定像素值大于等于LED閾值的區(qū)域，作為LED顯示區(qū)域。在步驟S74中，圖像處理部105計算所檢測的LED顯示區(qū)域的中心作為λ 1圖像上的LED位置，并且對應(yīng)于所計算的LED位置在顯示器141a上的位置161處顯示指針。因此，用戶移動遙控器121的LED 121a，從而在顯示器141a上移動指針。如上所述，在LED檢測處理中，小模塊1'基于從遙控器121的LED121a發(fā)射的波長λ 1的光來計算遙控器121的LED 121a的位置。隨后，在顯示器141a上的指針根據(jù)所計算的LED 121a的位置而移動。因此，用戶可以使用遙控器121a作為用于在顯示器141a上移動指針的裝置。但是，在主要用來自外部光的波長λ 1的光照射相機104的情況下，由于來自外部光的波長λ 1的光，會發(fā)生LED位置的錯誤檢測。[通過電視機141執(zhí)行的LED檢測調(diào)整處理]接下來，將參照圖M的流程圖描述根據(jù)外部光來調(diào)整相機104的增益、不受外部光的任何影響地檢測LED位置的LED檢測調(diào)整處理。在這種情況下，例如，假設(shè)在相機104的圖像傳感器中，作為能夠生成RGB圖像的濾光片，安裝圖8中的濾光板。在步驟SlOl中，相機104執(zhí)行被攝物的攝像，并且獲得通過攝像所獲得的鑲嵌圖像。隨后，關(guān)于所獲得的鑲嵌圖像，相機22使用在構(gòu)成鑲嵌圖像的各個像素的像素值中具有R值、G值以及B值中的任意一種的像素值執(zhí)行RGB內(nèi)插處理，并且將作為結(jié)果而獲得的 RGB圖像提供至圖像處理部105，作為外部光圖像。在步驟S102中，圖像處理部105基于來自相機104的外部光圖像生成直方圖，并基于所生成的直方圖來計算構(gòu)成外部光圖像的像素的亮度值的平均亮度值。隨后，圖像處理部105基于所計算的平均亮度值，調(diào)整相機104的增益，使得所計算的平均亮度值變?yōu)樾∮诘扔谀軌蛲ㄟ^外部光圖像獲得的最大亮度值的一半。
優(yōu)選地，圖像處理部105調(diào)整相機104的增益，使得所計算的平均亮度值變?yōu)槟軌蛲ㄟ^外部光圖像獲得的最大亮度值的一半的亮度值。在步驟S103中，圖像處理部105通過執(zhí)行與圖23中的LED檢測處理相同的處理來嘗試檢測LED位置。在步驟S104中，圖像處理部105在能夠檢測LED位置的情況下使處理前進至步驟 S105，例如，對應(yīng)于所計算的LED位置在電視機141的顯示器141a上的位置161處顯示指針，使處理返回至步驟S103，隨后，執(zhí)行相同的處理。在步驟S104中，在檢測不到LED位置的情況下，圖像處理部105使處理前進至步驟S106。隨后，在步驟S106中，圖像處理部105控制相機104，從而將相機104的增益調(diào)整至大于當前所設(shè)定的增益，隨后，使處理返回步至驟S103。隨后，圖像處理部105獲得通過在增益調(diào)整后通過相機104執(zhí)行攝像所輸出的新的λ 1圖像，隨后執(zhí)行相同處理。如上所述，根據(jù)LED檢測調(diào)整處理，由于基于來自相機104的外部光圖像來調(diào)整相機104的增益，從而無論來自外部光的光如何也能夠檢測LED位置，所以無論外部光的光如何，都可以高精度地檢測LED位置。 在LED檢測處理和LED檢測調(diào)整處理中，檢測發(fā)射波長λ 1的光的LED 121a的位置，但是，在LED 121a發(fā)射波長λ 2的光來而不是波長λ 1的光的情況下，能夠類似地檢測 LED 121a的位置。在這種情況下，使用λ 2圖像而不是λ 1圖像來執(zhí)行LED 121a的位置檢測。此外，例如，在存在移動具有發(fā)射波長λ 1的光的第一 LED的遙控器的第一用戶以及移動具有發(fā)射波長λ 2的光的第二 LED的遙控器的第二用戶的情況下，在LED檢測處理中能夠檢測第一 LED和第二 LED的各個位置。具體地，例如，在檢測第一LED和第二LED的各個位置的情況下，相機104在LED檢測處理中在步驟S72中，將通過對所生成的鑲嵌圖像執(zhí)行λ 1內(nèi)插處理所獲得的λ 1圖像以及通過對所生成的鑲嵌圖像執(zhí)行λ 2內(nèi)插處理所獲得的λ 2圖像提供至圖像處理部105。隨后，在步驟S73中，圖像處理部105基于來自相機104的λ 1圖像執(zhí)行第一 LED 的位置檢測，并且基于來自相機104的λ 2圖像執(zhí)行第二 LED的位置檢測。在步驟S74中，圖像處理部105根據(jù)所檢測的第一 LED的位置移動相應(yīng)的第一指針，并且根據(jù)所檢測的第二 LED的位置移動相應(yīng)的第二指針。此外，以與LED檢測調(diào)整處理類似的方式，在步驟S103中，基于λ 1圖像嘗試第一 LED設(shè)備的位置檢測，并且基于λ 2圖像嘗試第二 LED設(shè)備的位置檢測。隨后，在步驟S104 中，例如，確定是否能夠檢測第一 LED和第二 LED的各個位置。由此，在能夠檢測第一 LED的位置和第二 LED的位置的情況下，例如，如圖25A 圖25D所示，通過在通過相機104的RGB內(nèi)插處理所獲得的RGB圖像上重疊第一 LED位置和第二 LED位置所獲得的圖像可以顯示在顯示器141a上。因此，例如，可以通過使用如上所述的電視機141和遙控器121來實現(xiàn)視頻游戲應(yīng)用。具體地，例如，如圖25D所示，在實現(xiàn)了第一用戶處于守備側(cè)并且第二用戶處于攻擊側(cè)的棒球視頻游戲的情況下，將第一 LED位置識別為守備側(cè)的手套位置，并且將第二 LED 位置識別為攻擊側(cè)的球棒位置。
此外，例如，如果將除第一 LED(LED 121a)之外的第二 LED安裝在遙控器121中， 則能夠根據(jù)通過LED檢測處理等所檢測的第一 LED和第二 LED位置之間的關(guān)系來確定遙控器121的姿態(tài)(例如，是否向上或向下握住操作面等)。因此，在這種情況下，由于可以根據(jù)遙控器121的姿態(tài)確定奧賽羅游戲的棋子、日本象棋棋子等的里返(reversing)操作，所以能夠使用電視機141和遙控器121實現(xiàn)奧賽羅游戲、日本象棋等的應(yīng)用。此外，由于可以根據(jù)遙控器121的姿態(tài)的改變來確定遙控器121旋轉(zhuǎn)的方向，所以如果遙控器121的姿態(tài)與電視機141頻道的切換操作、音量改變操作等相匹配，則可以根據(jù)遙控器121的移動來改變頻道或音量。此外，例如，可以使用如下事實，S卩，隨著從小模塊1'至遙控器121(LED 121a)的距離變短，LED顯示區(qū)域變大，基于LED顯示區(qū)域的檢測尺寸，測量從小模塊1'至遙控器 121 (LED 121a)的距離。[第三實施方式的變形例]在第三實施方式中，至少具有λ 1濾光片和λ 2濾光片的濾光板用于檢測LED的位置，但是可以進一步安裝使發(fā)光光譜的峰值波長為λ3(不同于入1和λ》的光(下文中，被稱作波長λ 3的光)透過的λ 3濾光片。S卩，例如，可以使用具有N個使λ 至λ N的不同波長的光透過的λ 1濾光片至 λ N濾光片的濾光板。在這種情況下，如果使用分別發(fā)射λ 1至λ N波長的光的第一至第N個LED，則可以在LED檢測處理和LED檢測調(diào)整處理中檢測到第一至第N個LED的位置。因此，例如，在實現(xiàn)能夠執(zhí)行第一用戶與第二用戶之間的拳擊視頻游戲的應(yīng)用的情況下，第一用戶的右手可以握住第一 LED設(shè)備，其左手可以握住第二 LED設(shè)備，第二用戶的右手可以握住第三LED設(shè)備，并且其左手可以握住第四LED設(shè)備。因此，在小模塊1'中，可以通過識別第一用戶右手和左手的位置及第二用戶右手和左手的位置來實現(xiàn)拳擊視頻游戲應(yīng)用。此外，在LED檢測處理和LED檢測調(diào)整處理中，在僅檢測發(fā)射波長λ 1的光的LED 121a的位置的情況下，可以在相機104的圖像傳感器中安裝至少具有λ 1濾光片而沒有 λ 2濾光片的濾光板。如上所述，例如，信息處理系統(tǒng)1執(zhí)行皮膚檢測處理，并且安裝在電視機141中的小模塊1'執(zhí)行LED檢測處理，但是，信息處理系統(tǒng)1和小模塊1'都可以執(zhí)行皮膚檢測處理和LED檢測處理。這類似地應(yīng)用于皮膚檢測調(diào)整處理及LED檢測調(diào)整處理。具體地，例如，在信息處理系統(tǒng)1中，控制部41控制發(fā)光裝置21，并且也可以在 LED 21a和LED 21b停止發(fā)光的狀態(tài)下執(zhí)行LED檢測處理，并且控制部41可以控制發(fā)光裝置21，以在執(zhí)行LED 21a和LED 21b發(fā)光的狀態(tài)下執(zhí)行皮膚檢測處理。由此，在能夠執(zhí)行皮膚檢測處理和LED檢測處理的情況下，根據(jù)用戶的偏好，信息處理系統(tǒng)1能夠選擇根據(jù)用戶手部的形狀或動作的空手(hands-free)操作以及通過遙控器(例如，圖22中的遙控器121)的運動的控制器操作中的任意一種。此外，如上所述，在第一用戶和第二用戶玩視頻游戲的情況下，例如，通過適當切換皮膚檢測處理和LED檢測處理，對于第一用戶，可以執(zhí)行空手操作，而對于第二用戶，可以執(zhí)行控制器操作。4.第四實施方式在上述第一至第三實施方式中，通過用波長λ 1的光和波長λ 2的光同時進行照射來執(zhí)行攝像。即，如圖26所示，通過用波長λ 1的光以恒定亮度照射預(yù)定時間段，并且同時用波長λ 2的光以恒定亮度照射預(yù)時序間來執(zhí)行攝像。此外，在構(gòu)成相機22的圖像傳感器中，λ 1濾光片或λ 2濾光片安裝在每個光接收元件中，并且基于從圖像傳感器輸出的鑲嵌圖像通過內(nèi)插處理來生成λ 1圖像和λ 2圖像。因此，在第一至第三實施方式中，可以通過一次攝像獲得λ 圖像和λ2圖像。此外，為了獲得相同的圖像，用于波長λ 和波長 λ 2的光接收元件可以分開安裝，并且可以為每個光接收元件安裝波長濾光片。另一方面，在此處將被描述的第四實施方式中，對于同時照射，以不同頻率交替改變具有波長λ 1的光的亮度和具有波長λ 2的光的亮度，從而執(zhí)行攝像。圖27示出了根據(jù)第四實施方式的與亮度改變相關(guān)的發(fā)光與攝像時序。S卩，在第四實施方式中，發(fā)射波長λ 1的光持續(xù)預(yù)定時間段，同時以預(yù)定頻率fl交替改變亮度，與此同時，發(fā)射波長λ 2的光持續(xù)預(yù)定時間，同時以預(yù)定頻率f2交替改變亮度，從而執(zhí)行攝像。頻率f 1和f2是任意的，但是可以適當設(shè)定，從而不與通過其它裝置(例如，紅外遙控器等) 所發(fā)射的紅外光頻率相干涉。此外，在構(gòu)成相機22的圖像傳感器中，通過光電轉(zhuǎn)換所獲得的電信號被分成兩部分，兩部分中的每部分通過用于頻率Π的窄帶濾光片或用于頻率f2的窄帶濾光片，因此， 生成λ 圖像和λ 2圖像。因此，在第四實施方式中，可以通過一次攝像獲得λ 圖像和 λ 2圖像。圖28示出了根據(jù)第四實施方式的對應(yīng)于構(gòu)成相機22的CMOS圖像傳感器的λ 1 圖像和λ2圖像的一個像素的結(jié)構(gòu)實例。CMOS圖像傳感器200主要包括光電二極管201、放大器202、fl窄帶濾光片203、 電容器204和208、二極管205和209、晶體管206和210以及f2窄帶濾光片207。在CMOS圖像傳感器200中，被攝物的光學(xué)圖像通過光電二極管201的光電轉(zhuǎn)換被轉(zhuǎn)換成電信號，并且放大器202所放大的電信號被分開進入fl窄帶濾光片203和f2窄帶濾光片207。此外，在對應(yīng)于被攝物的光學(xué)圖像的電信號中，僅有頻率fl的交流成分通過 fl窄帶濾光片203，并且由電容器204進行AC結(jié)合，并且根據(jù)信號大小的電荷通過二極管 205蓄積在晶體管206中。蓄積在晶體管206中的電荷為λ 1圖像的像素充電。類似地，在對應(yīng)于被攝物的光學(xué)圖像的電信號中，僅有頻率f2的交流成分通過f2窄帶濾光片207，并且由電容器208進行AC結(jié)合，并且根據(jù)信號大小的電荷通過二極管209蓄積在晶體管210 中。蓄積在晶體管210的電荷為λ2圖像的像素充電。如上所述，fl窄帶濾光片203和f2窄帶濾光片207分別僅使交流成分的頻率f 1 或頻率f2透過。換句話說，對應(yīng)于被攝物的光學(xué)圖像的電信號的直流成分被丟棄。但是，通常地，除了有意發(fā)射的波長λ 1和λ 2的照射光之外來自外部光的照射光都包括在來自被攝物的光學(xué)圖像中。由日光、各種照明光等帶來的外部光主要包括直流成分，同時包括少量交流成分。因此，通過fl窄帶濾光片203并蓄積在晶體管206中的電荷， 即，λ 1圖像可以通過去除外部光成分來獲得。類似地，λ 2圖像也可以通過去除外部光成分來獲得。
圖四是示出了直至根據(jù)第四實施方式生成了 λ 1圖像和λ 2圖像為止的處理(下文中，稱作λ 和λ 2圖像生成處理)的流程圖。在步驟S201中，發(fā)光裝置21控制LED 21a發(fā)射波長λ 1的光，同時以預(yù)定頻率Π 交替改變其亮度，并且控制LED 21b發(fā)射波長λ 2的光，同時以預(yù)定頻率f2交替改變亮度。在步驟S202中，相機22對用發(fā)光裝置21的波長λ 1和波長λ 2的光照射的被攝物進行攝像。即，構(gòu)成相機22的CMOS圖像傳感器200的光電二極管201將被攝物的光學(xué)圖像轉(zhuǎn)換成電信號。電信號在被放大器202放大后，分開進入fl窄帶濾光片203和f2窄帶濾光片207，并且fl窄帶濾光片203僅使電信號的頻率fl的交流成分透過至電容器204。 結(jié)果，對λ 1圖像的像素進行充電的電荷蓄積在晶體管206中。類似地，在步驟S204中，fl 窄帶濾光片207僅使電信號的頻率f2的交流成分透過至電容器208。結(jié)果，變?yōu)棣?2圖像的像素的電荷蓄積在晶體管210中。在步驟S203中，讀出變?yōu)棣?1圖像的像素的電荷，以生成λ 1圖像。類似地，在步驟S204中，讀出變?yōu)棣?2圖像的像素的電荷，以生成λ 2圖像。由此，生成了 λ 1圖像和λ 2圖像。執(zhí)行這些處理，而不是在根據(jù)第一實施方式的皮膚檢測處理中的步驟Sl和S2中的處理。由于此后的處理與上述皮膚檢測處理中步驟S3 及之后的處理相同，所以將省略其描述。在根據(jù)第四實施方式所獲得的λ 圖像和λ 2圖像中，由于去除了外部光成分 (直流成分)而沒有進行像素內(nèi)插處理，并且被攝物位置沒有不重合，所以即使在被攝物移動的情況下，也能高精度地檢測皮膚。5.第五實施方式在第五實施方式中，交替發(fā)射具有波長λ 1的光和具有波長λ 2的光，同時以相同頻率交替改變其亮度，從而執(zhí)行攝像。圖30示出了根據(jù)第五實施方式的與亮度變化相關(guān)的照射時序和攝像。即，在第五實施方式中，發(fā)射波長λ 1的光持續(xù)預(yù)定時間段，同時以預(yù)定頻率f3交替改變其亮度，從而執(zhí)行攝像，隨后，發(fā)射波長λ 2的光被持續(xù)預(yù)定時間段，同時以預(yù)定頻率f3交替改變其亮度，從而執(zhí)行攝像。此外，在構(gòu)成相機22的圖像傳感器中，通過光電轉(zhuǎn)換所獲得的電信號通過用于頻率f3的窄帶濾光片，從而交替生成λ 圖像和λ2圖像。因此，在第五實施方式中，可以通過進行兩次攝像來獲得λ 1圖像和λ 2圖像。圖觀示出了對應(yīng)于構(gòu)成根據(jù)第五實施方式的相機22的CMOS圖像傳感器的λ 1 圖像和λ2圖像的一個像素的結(jié)構(gòu)實例。CMOS圖像傳感器300主要包括光電二極管301、放大器302、f3窄帶濾光片303、 電容器304、二極管305以及晶體管306?？梢杂捎布蛙浖闹粊順?gòu)成f3窄帶濾光片 303。在CMOS圖像傳感器300中，被攝物的光學(xué)圖像通過光電二極管301的光電轉(zhuǎn)換來轉(zhuǎn)換。在放大器302所放大的電信號中，僅有頻率f3的直流成分通過f3窄帶濾光片303， 并且其電荷蓄積在晶體管306中。因此，當用波長λ 1的光照射時，蓄積在晶體管306中的電荷變?yōu)棣?1圖像的像素，并且當用波長λ 2的光照射時，蓄積在晶體管306中的電荷變?yōu)?λ 2圖像的像素。
f3窄帶濾光片303僅使f3頻率的交流成分透過。換句話說，對應(yīng)于被攝物的光學(xué)圖像的電信號的直流成分被丟棄。因此，通過f3窄帶濾光片303并蓄積在晶體管306中的電荷，g卩，λ 1圖像和λ 2圖像能夠通過去除外部光成分來獲得。圖32是示出了根據(jù)第五實施方式的λ 1和λ 2圖像生成處理的流程圖。在步驟S211中，發(fā)光裝置21控制LED 21a發(fā)射波長λ 1的光，同時以預(yù)定頻率f3 交替改變其亮度。在步驟S212中，相機22對用發(fā)光裝置21的波長λ 1的光照射的被攝物進行攝像。即，構(gòu)成相機22的CMOS圖像傳感器300的光電二極管301將被攝物的光學(xué)圖像轉(zhuǎn)換成電信號。電信號在被放大器302放大后輸入至f3窄帶濾光片303，并且f3窄帶濾光片303僅使電信號的頻率f3的交流成分透過至電容器304。結(jié)果，對λ 1圖像的像素充電的電荷蓄積在晶體管306中。在步驟S213中，讀出對λ 1圖像的像素充電的電荷，以生成λ 1圖像。在步驟S214中，發(fā)光裝置21控制LED 21b發(fā)射波長λ 2的光，同時以預(yù)定頻率f3 交替改變其亮度。在步驟S215中，相機22對用發(fā)光裝置21的波長λ 2的光照射的被攝物進行攝像。即，構(gòu)成相機33的CMOS圖像傳感器300的光電二極管301將被攝物的光學(xué)圖像轉(zhuǎn)換成電信號。電信號在被放大器302放大后輸入至f3窄帶濾光片303。在步驟S216中，f3窄帶濾光片303僅使電信號的頻率f3的交流成分透過至電容器304。結(jié)果，對λ 2圖像的像素進行充電的電荷蓄積在晶體管306中。如上所述，生成了 λ 1圖像和λ 2圖像。執(zhí)行這些處理，而不是根據(jù)第一實施方式的皮膚檢測處理中的步驟Sl和S2中的處理。由于此后的處理與上述皮膚檢測處理中步驟 S3以及其后的處理相同，所以將省略其描述。在根據(jù)第五實施方式所獲得的λ 圖像和λ 2圖像中，由于去除了外部光成分 (直流成分)而沒有像素內(nèi)插處理，所以可以高精度地檢測被攝物的皮膚。但是，如上所述的一系列處理可以通過專用硬件執(zhí)行，或者可以通過軟件執(zhí)行。在通過軟件執(zhí)行一系列處理的情況下，例如，構(gòu)成軟件的程序從記錄介質(zhì)安裝在(例如，安裝有各種程序以執(zhí)行各種功能的)所謂的嵌入式計算機、或通用計算機等中。[計算機的結(jié)構(gòu)實例]圖33示出了通過程序執(zhí)行如上所述的一系列處理的計算機的結(jié)構(gòu)實例。在計算機500中，CPU 501根據(jù)存儲在ROM 502和存儲部508中的程序執(zhí)行各種處理。在RAM 503中，適當?shù)卮鎯νㄟ^CPU 501所執(zhí)行的程序、數(shù)據(jù)等。CPU 501、ROM 502 以及RAM 503通過總線504彼此連接。此外，輸入和輸出接口 505通過總線504連接至CPU 501。包括鍵盤、鼠標、麥克風(fēng)等的輸入部506以及包括顯示器、揚聲器等的輸出部507連接至輸入和輸出接口 505。CPU 501根據(jù)從輸入部506輸入的指令執(zhí)行各種處理。隨后，CPU 501將處理結(jié)果輸出至輸出部 507。連接至輸入和輸出接口 505的存儲部508包括硬盤，例如，存儲待通過CPU 501執(zhí)行的程序或各種數(shù)據(jù)。通信部509通過諸如局域網(wǎng)、互聯(lián)網(wǎng)等執(zhí)行與外部裝置的通信。此外，程序可以通過通信部509來獲得，并且可以被存儲在存儲部508中。當安裝諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等的可移動介質(zhì)511時，連接至輸入和輸出接口 505的驅(qū)動器510驅(qū)動可移動介質(zhì)511，獲得在其上所記錄的程序、數(shù)據(jù)等。
26所獲得的程序或數(shù)據(jù)根據(jù)需要被傳送并存儲在存儲部508中。記錄(存儲)安裝在計算機中并且能夠由計算機執(zhí)行的程序的記錄介質(zhì)包括作為包括磁盤、光盤、磁光盤、半導(dǎo)體存儲器等的封裝介質(zhì)的可移動介質(zhì)511、程序被臨時或永久存儲的ROM 502、構(gòu)成存儲部508的硬盤等。根據(jù)需要通過稱作局域網(wǎng)、互聯(lián)網(wǎng)、數(shù)字衛(wèi)星廣播的有線或無線通信介質(zhì)通過作為諸如路由器、調(diào)制解調(diào)器等的接口的通信部509來向記錄介質(zhì)執(zhí)行程序的記錄。在該說明書中，對應(yīng)于如上所述的一系列處理的步驟可以以時間序列方式執(zhí)行， 或者可以并行或單獨地執(zhí)行。此外，在該說明書中，系統(tǒng)指的是包括多個設(shè)備或裝置的整個系統(tǒng)。本發(fā)明包含于2010年6月4日向日本專利局提交的日本在先專利申請第 2010-U9413號和2010年9月2日向日本專利局提交的日本在先專利申請第2010-196803 號的主題，其全部內(nèi)容結(jié)合于此作為參考。需要注意，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以存在各種修改、組合、再組合、 改進等，凡在所附權(quán)利要求及其等價物的范圍之內(nèi)，均應(yīng)包含在本發(fā)明的權(quán)利要求范圍之內(nèi)。
權(quán)利要求
1.一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置，包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物；第一生成部，安裝有至少具有接收所述第一波長的光的第一光接收元件以及接收所述第二波長的光的第二光接收元件的圖像傳感器，并基于用所述第一和第二波長的光照射所述被攝物時的入射至所述圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；第二生成部，在構(gòu)成所述第一鑲嵌圖像的各個像素中，基于對應(yīng)于所述第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于所述第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及檢測部，基于所述第一和第二圖像檢測所述皮膚區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述第一生成部基于入射至所述圖像傳感器的、來自所述被攝物的反射光來生成所述第一鑲嵌圖像，所述圖像傳感器包括所述第一和第二光接收元件、接收R紅色成分的第三光接收元件、接收G綠色成分的第四光接收元件及接收B藍色成分的第五光接收元件。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述第一生成部基于當沒有用所述第一和第二波長的光照射所述被攝物時，入射至所述圖像傳感器的、來自所述被攝物的反射光來生成第二鑲嵌圖像，其中，所述第二生成部在構(gòu)成所述第二鑲嵌圖像的各個像素中，基于對應(yīng)于所述第三至第五光接收元件中的每個的像素的像素值，生成通過第三內(nèi)插處理所獲得的RGB圖像， 以及其中，所述圖像處理裝置還包括調(diào)整部，所述調(diào)整部基于所述RGB圖像，在滿足用于檢測所述皮膚區(qū)域的皮膚可檢測條件的范圍內(nèi)調(diào)整所述第一生成部的參數(shù)。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述第一生成部通過根據(jù)預(yù)定參數(shù)對所述被攝物進行攝像來生成所述第一鑲嵌圖像，以及其中，所述調(diào)整部在滿足構(gòu)成所述RGB圖像的像素的亮度值和基于所述亮度值所計算的計算值中的一個變?yōu)樾∮诘扔谒鯮GB圖像所能獲得的最大亮度值的一半的皮膚可檢測條件的范圍內(nèi)，調(diào)整所述第一生成部的所述參數(shù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括第一入射限制部，限制除所述第一波長之外的波長的光的入射，并且使所述第一波長的光透過；以及第二入射限制部，限制除所述第二波長之外的波長的光的入射，并且使所述第二波長的光透過，其中，所述第一生成部安裝有至少具有接收通過所述第一入射限制部獲得的第一波長的光的第一光接收元件以及接收通過所述第二入射限制部獲得的第二波長的光的第二光接收元件的所述圖像傳感器。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述第一生成部基于當沒有用所述第一和第二波長的光照射所述被攝物被時， 入射至所述圖像傳感器的、來自所述被攝物的反射光，生成第二鑲嵌圖像，其中，所述第二生成部在構(gòu)成所述第二鑲嵌圖像的各個像素中，基于對應(yīng)于所述第一光接收元件的像素的像素值，生成通過第四內(nèi)插處理所獲得的第三圖像，以及其中，所述檢測部在所述第三圖像的所有區(qū)域中，檢測包括構(gòu)成所述第三圖像的各個像素中的像素值大于等于預(yù)定閾值的像素的預(yù)定區(qū)域。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，還包括控制所述照射部的照射的控制部，其中，在所述控制部的控制下執(zhí)行所述照射部的照射的情況下，所述檢測部基于所述第二生成部生成的所述第一和第二圖像來檢測所述皮膚區(qū)域，并且在所述控制部的控制下不執(zhí)行所述照射部的照射的情況下，所述檢測部基于所述第二生成部生成的所述第三圖像來檢測所述預(yù)定區(qū)域。
8.一種圖像處理裝置的圖像處理方法，所述圖像處理裝置包括照射部；第一生成部， 安裝有至少具有接收第一波長的光的第一光接收元件以及接收與所述第一波長不同的第二波長的光的第二光接收元件的圖像傳感器；第二生成部；以及檢測部；并且所述圖像處理裝置從圖像中檢測表示人類皮膚的皮膚區(qū)域；所述方法包括通過所述照射部，用所述第一波長的光和所述第二波長的光照射被攝物； 通過所述第一生成部，當用所述第一和第二波長的光照射所述被攝物時，基于入射至所述圖像傳感器的、來自所述被攝物的反射光，生成第一鑲嵌圖像；通過所述第二生成部，在構(gòu)成所述第一鑲嵌圖像的各個像素中，基于對應(yīng)于所述第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于所述第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及通過所述檢測部，基于所述第一和第二圖像檢測所述皮膚區(qū)域。
9.一種允許計算機控制圖像處理裝置的程序，所述圖像處理裝置包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物；以及第一生成部，安裝有至少具有接收所述第一波長的光的第一光接收元件和接收所述第二波長的光的第二光接收元件的圖像傳感器，并且基于用所述第一和第二波長的光照射所述被攝物時的入射至所述圖像傳感器的、來自所述被攝物的反射光，生成第一鑲嵌圖像，所述圖像處理裝置從圖像中檢測表示人類皮膚的皮膚區(qū)域，所述程序使所述計算機具有以下功能第二生成部，在構(gòu)成所述第一鑲嵌圖像的各個像素中，基于對應(yīng)于所述第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于所述第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像；以及檢測部，基于所述第一和第二圖像，檢測所述皮膚區(qū)域。
10.一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的電子裝置，包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物； 第一生成部，安裝有至少具有接收所述第一波長的光的第一光接收元件和接收所述第二波長的光的第二光接收元件的圖像傳感器，并且基于用所述第一和第二波長的光照射所述被攝物時的入射至所述圖像傳感器的、來自所述被攝物的反射光，生成第一鑲嵌圖像；第二生成部，在構(gòu)成所述第一鑲嵌圖像的各個像素中，基于對應(yīng)于所述第一光接收元件的像素的像素值，生成通過第一內(nèi)插處理所獲得的第一圖像，以及基于對應(yīng)于所述第二光接收元件的像素的像素值，生成通過第二內(nèi)插處理所獲得的第二圖像； 檢測部，基于所述第一和第二圖像，檢測所述皮膚區(qū)域；以及執(zhí)行部，根據(jù)所檢測的所述皮膚區(qū)域執(zhí)行處理。
11.一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置，包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物；攝像部，對所述被攝物進行攝像，生成基于所述第一波長的光的第一圖像，并生成基于所述第二波長的光的第二圖像；以及檢測部，基于所生成的第一和第二圖像檢測所述皮膚區(qū)域，其中，所述照射部根據(jù)預(yù)定頻率改變所述第一波長的光的亮度和所述第二波長的光的亮度，從而照射所述被攝物，以及其中，所述攝像部提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述預(yù)定頻率的成分，從而生成所述第一和第二圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，所述照射部根據(jù)預(yù)定頻率交替地改變所述第一波長的光的亮度和所述第二波長的光的亮度，從而照射所述被攝物，以及其中，所述攝像部提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述預(yù)定頻率的交流成分，從而生成所述第一和第二圖像。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中，所述照射部同時執(zhí)行根據(jù)第一頻率交替改變所述第一波長的光的亮度從而照射所述被攝物的處理以及根據(jù)與所述第一頻率不同的第二頻率交替改變所述第二波長的光的亮度從而照射所述被物的處理，以及其中，所述攝像部通過提取在用所述第一和第二波長的光照射的狀態(tài)下通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述第一頻率的交流成分來生成所述第一圖像，并且通過提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的所述電信號中對應(yīng)于所述第二頻率的交流成分來生成所述第二圖像。
14.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中，所述照射部交替執(zhí)行根據(jù)第三頻率交替改變所述第一波長的光的亮度從而照射所述被攝物的處理以及根據(jù)所述第三頻率交替改變所述第二波長的光的亮度從而照射所述被攝物的處理，以及其中，所述攝像部通過提取在用所述第一波長的光照射的狀態(tài)下通過對所述被攝物的所述光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述第三頻率的交流成分來生成所述第一圖像，并且通過提取在用所述第二波長的光照射的狀態(tài)下通過對所述被攝物的所述光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述第三頻率的交流成分來生成所述第二圖像。
15.一種圖像處理裝置的圖像處理方法，所述圖像處理裝置包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物；攝像部，對所述被攝物進行攝像， 生成基于所述第一波長的光的第一圖像，并且生成基于所述第二波長的光的第二圖像；以及檢測部，根據(jù)所生成的所述第一和第二圖像檢測所述皮膚區(qū)域；并且所述圖像處理裝置從圖像中檢測表示人類皮膚的皮膚區(qū)域；所述方法包括通過所述照射部，根據(jù)預(yù)定頻率改變所述第一波長的光的亮度和所述第二波長的光的亮度，從而照射所述被攝物；以及通過所述攝像部，提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述預(yù)定頻率的成分來生成所述第一和第二圖像。
16.一種用于控制圖像處理裝置的程序，所述圖像處理裝置包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物；攝像部，對所述被攝物進行攝像， 生成基于所述第一波長的光的第一圖像，并且生成基于所述第二波長的光的第二圖像；以及檢測部，根據(jù)所生成的所述第一和第二圖像檢測所述皮膚區(qū)域；并且所述圖像處理裝置從圖像中檢測表示人類皮膚的皮膚區(qū)域，所述程序使所述圖像處理裝置的計算機執(zhí)行包括以下步驟的處理 通過控制所述照射部，根據(jù)預(yù)定頻率改變所述第一波長的光的亮度和所述第二波長的光的亮度，從而照射所述被攝物；以及通過控制所述攝像部，提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述預(yù)定頻率的成分，從而生成所述第一和第二圖像。
17.—種從圖像中檢測表示人類皮膚的皮膚區(qū)域電子裝置，包括照射部，用第一波長的光和與所述第一波長不同的第二波長的光照射被攝物； 攝像部，對所述被攝物進行攝像，生成基于所述第一波長的光的第一圖像，并且生成基于所述第二波長的光的第二圖像；檢測部，基于所生成的第一和第二圖像檢測所述皮膚區(qū)域，以及執(zhí)行部，根據(jù)所檢測的所述皮膚區(qū)域執(zhí)行處理，其中，所述照射部根據(jù)預(yù)定頻率改變所述第一波長的光的亮度和所述第二波長的光的亮度，從而照射所述被攝物，以及其中，所述攝像部提取通過對所述被攝物的光學(xué)圖像進行光電轉(zhuǎn)換所獲得的電信號中對應(yīng)于所述預(yù)定頻率的成分，從而生成所述第一和第二圖像。
全文摘要
本發(fā)明公開了圖像處理裝置、圖像處理方法、程序及電子裝置。一種從圖像中檢測表示人類皮膚的皮膚區(qū)域的圖像處理裝置，包括照射部，用第一和第二波長光照射被攝物；第一生成部，安裝有至少具有接收第一波長光的第一光接收元件和接收第二波長光的第二光接收元件的圖像傳感器，并基于當用第一和第二波長光照射被攝物被時，入射至圖像傳感器的、來自被攝物的反射光，生成第一鑲嵌圖像；第二生成部，在構(gòu)成第一鑲嵌圖像的各個像素中，生成通過第一內(nèi)插處理所獲得的第一圖像以及通過第二內(nèi)插處理所獲得的第二圖像；以及檢測部，基于第一和第二圖像檢測皮膚區(qū)域。
文檔編號A61B5/00GK102266218SQ20111014136
公開日2011年12月7日 申請日期2011年5月27日 優(yōu)先權(quán)日2010年6月4日
發(fā)明者三谷論司, 安藤正博, 椛澤秀年, 清水隆范 申請人:索尼公司