專利名稱：圖像拾取裝置、顯示及圖像拾取裝置和電子裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用來獲取有關(guān)正與面板接觸或與之接近的任意物體的位置等的信息 的圖像拾取裝置和顯示及圖像拾取裝置，以及配備有這樣的顯示及圖像拾取裝置的電子裝置。
背景技術(shù)：
存在之前已知的用于檢測與顯示裝置的顯示表面接觸或接近的任意物體的位置 等的技術(shù)。該技術(shù)包括有關(guān)設(shè)有觸摸面板的顯示裝置的一般普遍流行的技術(shù)。觸摸面板可以是各種類型的，并且一般流行的類型是檢測電容。這種類型的面板 被配置為通過感測觸摸面板的表面電荷因手指觸摸該面板引起的任意改變來檢測任意物 體的位置等。因此，使用這種類型的觸摸面板允許用戶的直觀操作。這里，例如在專利文件1和專利文件2中，該申請的申請人提出了一種具有顯示部 件(顯示和圖像拾取面板)的顯示裝置，該顯示部件具有圖像顯示的顯示功能和物體圖像 拾取(檢測)的圖像拾取功能(檢測功能)。引文列表專利文件專利文件1 日本未審查專利申請?zhí)亻_2004-127272號公報專利文件2 日本未審查專利申請?zhí)亻_2006-276223號公報

發(fā)明內(nèi)容
利用以上專利文件1中所描述的顯示裝置，當(dāng)諸如手指之類的物體被使得與顯示 和圖像拾取面板接觸或接近時，例如，作為從顯示和圖像拾取面板照射并被物體反射的光 的反射光可以被用來基于任意捕獲的圖像來檢測物體的位置等。因此，利用這樣的顯示裝 置，不需要另外在顯示和圖像拾取面板上提供諸如觸摸面板之類的任何組件，并且利用簡 單的配置，就可以檢測任意物體的位置等。然而，當(dāng)作為物體的光反射的結(jié)果的反射光被如上所述地使用時，有時會引起外 部光和感光器的特性變化等這樣的問題。更具體地，將被接收到的光根據(jù)外部光的亮度而 發(fā)生強(qiáng)度變化，從而有時導(dǎo)致難以基于捕獲的圖像來檢測物體的位置等。此外，感光器的特 性變化等會產(chǎn)生固定噪聲，從而有時也導(dǎo)致難以基于捕獲的圖像來檢測物體的位置等。鑒于此，在以上專利文件2中，嘗試通過找到在發(fā)光狀態(tài)中獲得的圖像(利用照射 光的反射光獲得的圖像)與在非發(fā)光狀態(tài)中獲得的圖像之間的差來去除由上述外部光和 固定噪聲引起的這樣的影響。該嘗試被進(jìn)行來在不受外部光和固定噪聲影響的情況下檢測 任意物體的位置等。然而，在實際利用情況中，在上述在發(fā)光狀態(tài)中獲得的圖像與在非發(fā)光狀態(tài)中獲 得的圖像之間存在時間差。因此，例如當(dāng)物體在顯示和圖像拾取面板上高速移動時，該時間 差會在上述在發(fā)光狀態(tài)中獲得的圖像與在非發(fā)光狀態(tài)中獲得的圖像之間引起位移。如果具有這樣的位移，當(dāng)除了與物體的位置相對應(yīng)的原來預(yù)期的信號之外，還采用這兩個圖像之 間的差時，在另一不同位置生成偽信號。這樣，由于這樣的偽信號的存在，存在難以進(jìn)行穩(wěn) 定的物體檢測這樣的情況。注意，該偽信號具有在物體高速移動時被以較大面積生成的趨 勢，偽信號還具有在外部光較強(qiáng)時變強(qiáng)的趨勢。這樣，之前的技術(shù)難以在不論何種使用情況下穩(wěn)定地檢測與面板接觸或接近的物 體，因此還有改進(jìn)的空間。本發(fā)明是考慮上述問題提出的，并且其一個目的是提供一種不論在何種使用情況 下都能穩(wěn)定地完成物體檢測的圖像拾取裝置、顯示和圖像拾取裝置以及物體檢測方法，以 及設(shè)有這樣的顯示和圖像拾取裝置的電子裝置。根據(jù)本發(fā)明一個實施例的圖像拾取裝置，包括圖像拾取面板，圖像拾取面板設(shè)有 多個第一感光器、多個第二感光器和照射光源，所述照射光源發(fā)射包括用于檢測接近物體 的檢測光的光，所述檢測光的波長在預(yù)定波長范圍內(nèi)；以及圖像處理部件，所述圖像處理部 件對由所述圖像拾取面板通過對所述接近物體進(jìn)行圖像拾取所捕獲的信號執(zhí)行圖像處理， 從而獲得包括所述接近物體的位置、形狀或大小中的一個或多個的物體信息。在該裝置中， 所述第一感光器的光敏波長范圍包括所述檢測光的波長范圍。并且，在所述檢測光的波長 范圍中，所述第二感光器的光敏度比所述第一感光器的光敏度低。此外，所述圖像處理部件 通過處理來自所述第一和第二感光器的信號來獲得所述物體信息。根據(jù)本發(fā)明一個實施例的圖像拾取裝置，包括一種顯示和圖像拾取裝置，包括顯 示和圖像拾取面板，所述顯示和圖像拾取面板設(shè)有多個顯示元件、多個第一感光器和多個 第二感光器，發(fā)射包括用于檢測接近物體的檢測光的光，所述檢測光的波長位于預(yù)定的波 長范圍內(nèi)；以及圖像處理部件，所述圖像處理部件對由所述顯示和圖像拾取面板通過對接 近物體進(jìn)行圖像拾取捕獲的信號執(zhí)行圖像處理，從而獲得包括所述接近物體的位置、形狀 或大小中的一個或多個的物體信息。在該裝置中，所述第二感光器的光敏波長包括所述檢 測光的波長范圍。并且，在所述檢測光的波長范圍中，所述第二感光器的光敏度比所述第一 感光器的光敏度低。此外，所述圖像處理部件通過處理來自所述第一和第二感光器的信號 來獲得所述物體信息。根據(jù)本發(fā)明一個實施例的電子裝置包括設(shè)有圖像顯示功能和圖像拾取功能的上 述顯示和圖像拾取裝置。利用根據(jù)本發(fā)明一個實施例的圖像拾取裝置、顯示和圖像拾取裝置以及電子裝 置，由圖像拾取面板(顯示和圖像拾取面板)通過對接近物體進(jìn)行圖像拾取捕獲的信號被 進(jìn)行圖像處理，從而獲得有關(guān)接近物體的物體信息。具體地，物體信息例如利用基于由第一 感光器捕獲的圖像和由第二感光器捕獲的圖像獲得的合成圖像來獲取。在該示例中，由于 第一感光器每一個包括上述檢測光的波長范圍作為光敏波長范圍，所以當(dāng)接近物體在圖像 拾取面板上(或在顯示和圖像拾取面板上)移動時，由第一感光器捕獲的圖像除了產(chǎn)生接 近物體的檢測信號以外，還可能產(chǎn)生偽信號。另一方面，由于在上述檢測光的波長范圍中， 第二感光器的光敏度比第一感光器的光敏度低，所以由第二感光器捕獲的圖像也可能與利 用第一感光器的情況類似地差生偽信號，但是不產(chǎn)生接近物體的檢測信號。因此，即使當(dāng)接 近物體在圖像拾取面板上(或在顯示和圖像拾取面板上)移動時，利用基于由第一感光器 捕獲的圖像和由第二感光器捕獲的圖像獲得的合成圖像來獲取物體信息可以很好地防止在合成圖像中產(chǎn)生任何偽信號。利用根據(jù)本發(fā)明一個實施例的圖像拾取裝置、顯示和圖像拾取裝置或電子裝置， 圖像拾取面板(或顯示和圖像拾取面板)設(shè)有多個第一感光器和多個第二感光器，每一個 第一感光器在光敏波長范圍中包括用于檢測接近物體的檢測光的波長范圍，第二感光器在 檢測光的波長范圍中的光敏度比第一感光器的光敏度低，并且有關(guān)接近物體的物體信息通 過處理來自這樣的第一和第二感光器的信號來獲得，這使得即使例如當(dāng)接近物體在圖像拾 取面板上(或在顯示和圖像拾取面板上)移動時也能夠防止生成任意偽信號。因此，可以 穩(wěn)定地執(zhí)行物體檢測，而不論使用情況如何。


[圖1]圖1是示出本發(fā)明一個實施例的顯示及圖像拾取裝置的配置的框圖。[圖2]圖2是示出圖1的I/O顯示面板的示例性配置的框圖。[圖3]圖3是示出圖2的顯示區(qū)域(傳感器區(qū)域)中的示例性像素布置的平面 圖。[圖4]圖4是示出圖2的顯示區(qū)域(傳感器區(qū)域)中的主傳感器和輔助傳感器的 示例性布局的示意平面圖。[圖5]圖5是示出圖2的顯示區(qū)域(傳感器區(qū)域)中的主傳感器和輔助傳感器的 示例性布局的示意平面圖。[圖6]圖6是示出供檢測用的光源的發(fā)光波長范圍與分別由主傳感器和輔助傳感 器使用的檢測波長范圍之間的示例性關(guān)系的特性圖。[圖7]圖7是用于圖示出背光的接通/關(guān)斷狀態(tài)與顯示狀態(tài)之間的關(guān)系的時序 圖。[圖8]圖8是差分圖像指尖提取處理的流程圖。[圖9]圖9是用于圖示出圖8的差分圖像提取處理的時序圖。[圖10]圖10是用于圖示出差分圖像指尖提取處理的照片圖。[圖11]圖11是用于圖示出當(dāng)外部光明亮?xí)r的差分圖像指尖提取處理的示圖。[圖12]圖12是用于圖示出當(dāng)外部光暗淡時的差分圖像指尖提取處理的示圖。[圖13]圖13是用于圖示出作為差分圖像指尖提取處理的結(jié)果的感光信號的動態(tài) 范圍的示圖。[圖14]圖14是用于圖示出當(dāng)指尖是同時多個地存在的檢測目標(biāo)時的差分圖像指 尖提取處理的照片圖。[圖15]圖15是用于圖示出比較例的差分圖像提取處理的特性圖。[圖16]圖16是用于圖示出比較例的差分圖像提取處理的示意圖。[圖17]圖17是用于圖示出實施例的主傳感器中的差分圖像的特性圖。[圖18]圖18是用于圖示出該實施例的主傳感器中的差分圖像的示意圖。[圖19]圖19是用于圖示出實施例的輔助傳感器中的差分圖像的特性圖。[圖20]圖20是用于圖示出實施例的輔助傳感器中的差分圖像的示意圖。[圖21]圖21是用于圖示出要對實施例的主傳感器中的差分圖像和輔助傳感器中 的差分圖像執(zhí)行的合成處理的示意圖。
[圖22]圖22是用于圖示出本發(fā)明第一修改例的差分圖像指尖提取處理的特性 圖。[圖23]圖23是用于圖示出本發(fā)明第一修改例的差分圖像指尖提取處理的示意 圖。[圖24]圖24是用于圖示出本發(fā)明第二修改例的差分圖像指尖提取處理的示意 圖。[圖25]圖25是用于圖示出本發(fā)明第三修改例的差分圖像指尖提取處理的示意 圖。[圖26]圖26是用于圖示出利用指尖提取處理的結(jié)果的示例應(yīng)用的示圖。[圖27]圖27是用于圖示出利用指尖提取處理的結(jié)果的示例應(yīng)用的示圖。[圖28]圖28是用于圖示出利用指尖提取處理的結(jié)果的示例應(yīng)用的示圖。[圖29]圖29是用于圖示出利用指尖提取處理的結(jié)果的示例應(yīng)用的示圖。[圖30]圖30是以上各個實施例的顯示及圖像拾取裝置的透視圖，示出其在第一 應(yīng)用例中的外觀。[圖31]圖31的㈧是第二應(yīng)用例中的透視圖，示出當(dāng)從前方觀看時的外觀，以及 (B)是透視圖，示出從后方觀看時的外觀。[圖32]圖32是第三應(yīng)用例中的透視圖，示出其外觀。[圖33]圖33是第四應(yīng)用例中的透視圖，示出其外觀。[圖34]圖34的㈧是第五應(yīng)用例中打開狀態(tài)的正視圖，⑶是側(cè)視圖，(C)是關(guān) 閉狀態(tài)的正視圖，⑶是左視圖，(E)是右視圖，(F)是俯視圖，(G)是仰視圖。[圖35]圖35是示出供檢測用的光源的發(fā)光波長范圍與分別供主傳感器和輔助傳 感器使用的檢測波長范圍之間的另一示例性關(guān)系的特性圖。[圖36]圖36是示出本發(fā)明另一修改例的顯示及圖像拾取裝置的配置的框圖。[圖37]圖37是示出圖36中的顯示及圖像拾取裝置中每個像素的示例性配置的 電路圖。[圖38]圖38是用于圖示出圖36和圖37的顯示及圖像拾取裝置中的差分圖像指 尖提取處理的示圖。
具體實施例方式以下，將參考附圖來詳細(xì)描述本發(fā)明的一個實施例。[顯示及圖像拾取裝置的總體配置的示例]圖1是示出本發(fā)明一個實施例的顯示及圖像拾取裝置的總體配置的示圖。該顯示 及圖像拾取裝置被配置為包括I/O顯示面板20、背光15、顯示驅(qū)動電路12、感光驅(qū)動電路 13、圖像處理部件14和應(yīng)用程序執(zhí)行部件11。I/O顯示面板20由其上按矩陣布置了多個像素的液晶面板OXD ；液晶顯示器)配 置。I/O顯示面板20不僅具有顯示基于顯示數(shù)據(jù)預(yù)先確定的圖形、文本等的功能(顯示功 能)，還具有對與I/O顯示面板20接觸或與之接近的任意物體(接近物體)進(jìn)行圖像拾取 的功能(圖像拾取功能)(稍后描述)。此外，背光15例如通過布置多個發(fā)光二極管來配 置，并且是用于I/O顯示面板20的顯示和檢測用途的光源。如稍后所述，背光15被這樣配
8置來在與I/O顯示面板20的操作定時同步的預(yù)定定時高速執(zhí)行0N/0FF操作。顯示驅(qū)動電路12是負(fù)責(zé)驅(qū)動I/O顯示面板20 (驅(qū)動以用于線序 (line-sequential)顯示操作)來在I/O顯示面板20上顯示基于顯示數(shù)據(jù)的圖像(來執(zhí)行 顯示操作)的電路。感光驅(qū)動電路13 (圖像生成部件)是負(fù)責(zé)驅(qū)動I/O顯示面板20 (驅(qū)動它執(zhí)行線序 圖像拾取操作)來從I/O顯示面板20的各個像素獲取感光信號(圖像拾取信號)(來使物 體經(jīng)歷圖像拾取)的電路。此外，感光驅(qū)動電路13被這樣配置以通過相對于來自各個像素 的感光信號執(zhí)行預(yù)定圖像處理(圖像生成處理)來生成合成圖像。此外，所產(chǎn)生的合成圖像 例如基于幀被積累在幀存儲器13A中，并且之后被輸出給圖像處理部件14作為捕獲圖像。 還將更詳細(xì)地描述這樣的圖像生成處理。圖像處理部件14負(fù)責(zé)基于由感光驅(qū)動電路13提供的捕獲圖像(合成圖像)來執(zhí) 行預(yù)定的圖像處理(計算處理)，并且檢測和獲取有關(guān)接近物體的物體信息(例如，包括位 置坐標(biāo)數(shù)據(jù)和有關(guān)物體形狀和大小的數(shù)據(jù))。此外，將更詳細(xì)地描述這樣的檢測處理。應(yīng)用程序執(zhí)行部件11負(fù)責(zé)基于由圖像處理部件14導(dǎo)出的檢測結(jié)果根據(jù)任意預(yù)定 應(yīng)用軟件來執(zhí)行處理。例如，這樣的處理用來將所檢測到的物體的位置坐標(biāo)提供給顯示數(shù) 據(jù)以及給在I/O顯示面板20上進(jìn)行的顯示。這里注意，要由應(yīng)用程序執(zhí)行部件11生成的 顯示數(shù)據(jù)將被提供給顯示驅(qū)動電路12。[I/O顯示面板的詳細(xì)配置示例]通過參考圖2，接下來描述I/O顯示面板20的詳細(xì)配置示例。I/O顯示面板20被 配置為包括顯示區(qū)域(傳感器區(qū)域)21、顯示用H驅(qū)動器22、顯示用V驅(qū)動器23、傳感器讀 出用H驅(qū)動器25和傳感器用V驅(qū)動器24。顯示區(qū)域21是這樣的區(qū)域，其中來自背光15的光被調(diào)制用于發(fā)射照射光，并且與 該區(qū)域接近的任意物體經(jīng)歷圖像拾取。在該實施例中，照射光包括顯示光和來自用于檢測 任意最近將物體的紅外光源等(未示出)的檢測光(例如，紅外光)(以下同樣適用)。顯 示區(qū)域21包括液晶元件和感光傳感器的矩陣布置，其中每個液晶元件(稍后將描述的主傳 感器32和輔助傳感器33)是發(fā)光元件(顯示元件)，每個感光傳感器是感光器(圖像拾取 元件)。顯示用H驅(qū)動器22基于都由顯示驅(qū)動電路12提供的用于顯示驅(qū)動用的顯示信號 和控制時鐘，與顯示用V驅(qū)動器23 —起負(fù)責(zé)線序驅(qū)動顯示區(qū)域21中的像素的液晶元件。傳感器讀出用H驅(qū)動器25與傳感器用V驅(qū)動器24 —起負(fù)責(zé)線序驅(qū)動傳感器區(qū)域 21中的像素的感光器，并且獲取感光信號。[顯示區(qū)域中的每個像素的詳細(xì)配置示例]接著，將參考圖3至圖5來描述顯示區(qū)域21中的每個像素的詳細(xì)配置示例。首先，如在圖3中示例性地示出的，像素31由圖像拾取像素(感光部件)和包括液 晶像素的顯示像素(顯示部件)31RGB配置。顯示像素31RGB包括紅色(R)顯示像素31R、 綠色(G)顯示像素31G和藍(lán)色(B)顯示像素31B。感光部件還攜帶兩種的感光傳感器，即， 主傳感器32 (第一感光器)和輔助傳感器33 (第二感光器)。注意，盡管圖3示出一個一個 地布置顯示像素31RGB和感光傳感器，但是可替換地，多個顯示像素31RGB可以共享一個感 光傳感器。
例如，這樣的主傳感器32和輔助傳感器33優(yōu)選以1比1的比例如圖4的㈧和 (B)中所示地交替布置在顯示區(qū)域21上。作為一種可替換布置，如圖5中的(A)和(B)中 所示，例如，輔助傳感器33的數(shù)目可以少于主傳感器32。如果是該布置，則需要對來自輔 助傳感器33的感光信號執(zhí)行插值處理，從而使得處理變復(fù)雜化，并且要求根據(jù)信號和應(yīng)用 的類型警告任意可能的不完整的檢測是否會引發(fā)問題。注意，在圖4和圖5中，為了描述方 便，顯示像素31RGB未被示出。[光源中和感光傳感器中的波長范圍的配置示例]參考圖6，接下來描述光源中和感光傳感器中的波長范圍的配置示例。圖6示出檢 測用光源中的發(fā)光波長范圍(圖6的(A))與主傳感器32中和輔助傳感器33中的檢測波 長范圍(圖6的⑶和(C))之間的關(guān)系的一個示例。首先，如圖6的(B)中的標(biāo)號G21所示，在每個主傳感器32中，光敏波長范圍是位 于波長λ 1以上的長波長側(cè)的波長范圍。因此，這些主傳感器32每一個包括如圖6的(A) 中的標(biāo)號Gl所示的用于檢測任意接近物體的檢測光波長范圍Δ λ23(波長λ2至波長入3 的波長范圍)作為光敏波長范圍，并且被這樣配置來充當(dāng)用于檢測任意接近物體的感光傳 感器。這里，在主傳感器32中，檢測光的波長范圍Δ λ 23的光敏度比與該波長范圍不同的 預(yù)定波長范圍(在該示例中，為比波長λ2更短的波長的波長范圍)中的光敏度更高。另一方面，如圖6的(C)中的標(biāo)號G31指示的，在每個輔助傳感器33中，光敏波長 范圍是位于波長λ 2以下的短波長側(cè)的波長范圍。即，輔助傳感器33每一個具有的有關(guān)光 敏波長的光敏特性與上述主傳感器32不同。因此，在這些輔助傳感器33中，檢測光的波長 范圍Δ λ 23具有的光敏度比主傳感器32的(在該示例中，檢測光的波長范圍Δ λ23中光 敏度為0)更低。這樣，輔助傳感器33每一個被這樣配置來充當(dāng)用于檢測稍后描述的任意 偽信號的感光傳感器。此外，在輔助傳感器33中，檢測光的波長范圍△ λ 23具有的光敏度 比上述預(yù)定波長范圍(在該示例中，為比波長λ2短的波長的波長范圍)中的光敏度更低。 注意，在該示例中，波長范圍Δ λ12(波長λ 至波長λ2的波長范圍)是被主傳感器32 和輔助傳感器33兩者使用的光敏波長范圍。具體地，當(dāng)使用的檢測光是紅外光時，主傳感器32每一個可以被配置為包括該紅 外光的波長范圍作為光敏波長范圍，并且輔助傳感器33每一個可以被配置為包括可見光 等的波長范圍作為光敏波長范圍。然而，檢測光的波長范圍與主傳感器32和輔助傳感器33 中各自的光敏波長范圍之間的關(guān)系不限于此。例如，使用的檢測光可以是綠光，并且輔助傳 感器33中的光敏波長范圍可以僅包括紅光的波長范圍。然而，這種情況一定要注意的是， 輔助傳感器33每一個接收主傳感器32能夠接收到的波長的外部光，盡管其光敏波長范圍 優(yōu)選不包括任意檢測光的波長范圍。這是因為，如稍后所述，輔助傳感器33負(fù)責(zé)檢測從進(jìn) 入主傳感器32的外部光中產(chǎn)生的任意偽信號。檢測光的波長范圍與主傳感器32和輔助傳 感器33各自中的光敏波長范圍之間這樣的關(guān)系可以用任意現(xiàn)有濾色鏡的組合、光感傳感 器的光譜靈敏度的設(shè)計等來實現(xiàn)。這里，主傳感器32的光敏波長范圍可以是如圖6的(B)中的標(biāo)號G22所示的區(qū) 域，并且類似地，輔助傳感器33的光敏波長范圍可以是如圖6的(C)中的標(biāo)號G32所示的 區(qū)域。如果是該情況，則波長范圍Δ λ 12 (波長λ 至波長λ 2的波長范圍)和波長范圍 Δ λ 34 (波長λ 3至波長λ 4的波長范圍)將是主傳感器32和輔助傳感器33兩者的光敏
10波長范圍。接下來描述該實施例的顯示及圖像拾取裝置的優(yōu)點(diǎn)和缺點(diǎn)。[顯示及圖像拾取裝置的示例性基本操作]首先，描述顯示及圖像拾取裝置的基本操作，即其圖像顯示操作和物體圖像拾取 操作。利用顯示及圖像拾取裝置，由應(yīng)用程序執(zhí)行部件11提供的顯示數(shù)據(jù)被用作生成 顯示驅(qū)動電路12中的顯示用驅(qū)動信號的基礎(chǔ)。用所產(chǎn)生的驅(qū)動信號，I/O顯示面板20被 線序顯示驅(qū)動使得圖像顯示被執(zhí)行。此外，此時，背光15也被顯示驅(qū)動電路12驅(qū)動使得其 與I/O顯示面板20同步地被進(jìn)行接通/關(guān)斷操作。參考圖7，現(xiàn)在描述背光15的接通/關(guān)斷狀態(tài)與I/O顯示面板20的顯示狀態(tài)之 間的關(guān)系。在圖7中，橫軸表示時間，并且縱軸表示感光器被驅(qū)動進(jìn)行光接收的線的垂直位置。首先，當(dāng)圖像顯示被以1/60每秒的幀周期執(zhí)行時，例如，背光15在每個幀周期的 前半段(1/120秒)中被關(guān)斷(被置于關(guān)斷狀態(tài))，因此顯示不被執(zhí)行。另一方面，在每個幀 周期的后半時段中，背光15被接通(置于接通狀態(tài))，并且伴隨向每個像素供應(yīng)顯示信號， 圖像顯示被執(zhí)行相應(yīng)的幀時段。這樣，每個幀周期的前半段是沒有照射光從I/O顯示面板20射出的無照明時段， 而每個幀周期的后半段是有照射光從I/O顯示面板20射出的照明時段。這里，當(dāng)存在I/O顯示面板20的任意接近對象(例如，指尖)時，由于感光驅(qū)動電 路13為光接收進(jìn)行的線序驅(qū)動，該接近物體經(jīng)歷由I/O顯示面板20中的每個像素的感光 器進(jìn)行的圖像拾取。來自各個感光器的感光信號之后被提供給感光驅(qū)動電路13。在感光驅(qū) 動電路13中，一幀中的像素的感光信號被積累，并且之后被輸出給圖像處理部件14作為捕 獲圖像?；谒a(chǎn)生的捕獲圖像，圖像處理部件14執(zhí)行稍后描述的預(yù)定圖像處理(計算處 理)，從而檢測有關(guān)I/O顯示面板20的接近物體的信息(例如，位置坐標(biāo)數(shù)據(jù)和有關(guān)物體形 狀和大小的數(shù)據(jù))。[顯示及圖像拾取裝置中的指尖提取處理(差分圖像指尖提取處理)的示例性基 本操作]參考圖8至圖14，接下來描述由圖像處理部件14提取I/O顯示面板20的任意接 近物體(例如，指尖)的處理(指尖提取處理)的基本操作。圖8是由圖像處理部件14進(jìn) 行的指尖提取處理(稍后將描述的差分圖像指尖提取處理)，并且圖9是該差分圖像指尖提 取處理的一部分的時序圖。首先，在一個顯示幀周期中背光15被關(guān)斷的前半段的時段(無照明時段)中，I/O 顯示面板20對接近物體執(zhí)行圖像拾取處理。結(jié)果，圖像A(陰影圖像)被獲得(圖8的步 驟S11，圖9的定時tl至t2的時段)。接著，在顯示幀周期中背光15被接通的后半段的時段(照明時段)中，I/O顯示 面板20對接近物體執(zhí)行圖像拾取處理。結(jié)果，圖像B (作為使用照射光的反射光的結(jié)果的 反射圖像用圖像)被獲得(圖8的步驟S12，圖9的定時t3至t4的時段)。接著，使用圖像B和作為背光15被關(guān)斷的時段(無照明時段)中的圖像拾取的結(jié)果的圖像A(陰影圖像)，圖像處理部件14生成差分圖像C(圖8的步驟S13，圖9的定時t3 至t4的時段)。接著，圖像處理部件14使用這樣生成的差分圖像C作為基礎(chǔ)來執(zhí)行用于重心判定 的計算處理(步驟S14)，從而識別處接觸(接近)的中心(步驟S15)。之后，有關(guān)接近物 體的檢測結(jié)果從圖像處理部件14輸出給應(yīng)用程序執(zhí)行部件11，并且這是由圖像處理部件 14進(jìn)行的差分圖像指尖提取處理的結(jié)束。以這樣的方式，在差分圖像指尖提取處理中，指尖提取處理是基于差分圖像C來 執(zhí)行的，差分圖像C是使用利用了照射光的反射光的圖像B和不是利用照射光而是外部光 (環(huán)境光)的圖像A獲得的。因此，像圖10的差分圖像C的示例性照片圖像(photo image) 一樣，外部光的亮度的任意圖像被去除，并且在這樣沒有外部光的亮度的任何影響的情況 下，接近物體的檢測被執(zhí)行。此外，在與這樣的外部光的去除的同時，從發(fā)光元件的特征變 化等產(chǎn)生的任意固定噪聲可以被去除。具體地，如圖11的㈧的橫截面圖所示例性地示出的，當(dāng)入射的外部光強(qiáng)烈時，背 光15處于被接通狀態(tài)時的感光輸出電壓Vonl將如圖11的(B)中所示出的那個一樣。艮口， 在被手指觸摸的部分以外的部分，電壓取與外部光的亮度相對應(yīng)的值Va，而在被手指觸摸 的部分，在這樣觸摸的物體(手指)的表面上，電壓被降低至與反射來自背光15的光的反 射系數(shù)相對應(yīng)的值Vb。另一方面，背光15處于關(guān)斷狀態(tài)時的感光輸出電壓Voffl類似地， 在被手指觸摸的部分以外的部分取與外部光的亮度相對應(yīng)的電壓值Va，而在被手指觸摸的 部分，由于外部光被遮擋，該電壓取電平相當(dāng)?shù)偷闹礦c。此外，如圖12的㈧中的橫截面圖所述，在入射的外部光很弱(幾乎沒有)的狀態(tài) 中，背光15處于接通狀態(tài)時的感光輸出電壓Von2將像圖12的(B)中所示出的那個一樣。 即，在被手指觸摸的部分以外的部分，由于沒有外部光，電壓區(qū)電平相當(dāng)?shù)偷闹礦c。另一方 面，在被手指觸摸的部分，在那時被物體(手指)觸摸的表面上，電壓上升至與反射來自背 光15的光的反射系數(shù)相對應(yīng)的值Vb。然而，處于背光15為關(guān)斷狀態(tài)的狀態(tài)中的感光輸出 電壓Voff2，電壓仍然保持在電平相當(dāng)?shù)偷闹礦c，并且不論該部分是否被手指觸摸，不顯示 任何改變。這樣，從圖11和圖12的比較顯而易見，在不接觸面板的顯示區(qū)域21的部分，感光 輸出電壓在有和沒有外部光的情況下示出很大差異。另一面，在手指觸摸的部分，不論是否 存在外部光，背光15被接通時的電壓值Vb與背光15被關(guān)斷時的電壓值Vc幾乎處于相同 的狀態(tài)。因此，檢測被執(zhí)行來找到背光15被接通時的電壓與背光15被關(guān)斷時的電壓之間 的任何差異，并且與電壓值Vb與電壓值Vc之間的差異一樣，示出確定值或更大的差異的任 意部分可以被確定為與面板接觸或與與之鄰近的部分。這樣，技術(shù)進(jìn)入面板的外部光強(qiáng)烈， 以及即使幾乎沒有外部光，接觸或接近的檢測也可以在一致的條件下被另一滿意地執(zhí)行。此外，如圖13的㈧和⑶所示，感光輸出電壓的檢測所需要的動態(tài)范圍被如下 確定。這里，圖13的(A)示出面板的顯示區(qū)域21的觸摸的狀態(tài)，并且在該狀態(tài)中，面板表面 被手指f觸摸，并且具有幾乎100%的反射系數(shù)的圓形物體m被放在顯示區(qū)域21上。在這 樣的狀態(tài)中，掃描手指f和物體m的線的感光輸出電壓將處于圖13的(B)的狀態(tài)。此外， 在圖13的(B)中，電壓Von3是背光15被接通的狀態(tài)中的感光輸出電壓，并且電壓Voff3是背光15被關(guān)斷的狀態(tài)中的感光輸出電壓。如圖13的(B)中所示，在存在具有幾乎100%的反射系數(shù)的圓形物體m的部分，比 當(dāng)背光15被接通時將被檢測到的電壓Vd更高的電壓處于無觀測必要電平Vy，并且等于或 低于該電平的范圍Vx是需要檢測的動態(tài)范圍。因此這說明處于無觀測必要電平Vy的任意 信號都可以被視為具有與上溢(overflow)相同的強(qiáng)度。注意，在差分圖像指尖提取處理中，圖14的㈧至⑶的圖像(圖像A至C以及 圖像C的二值化圖像)例如說明以下內(nèi)容。即，對于被布置在I/O顯示面板20的顯示區(qū)域 21上的多個接近物體，例如有關(guān)每個接近物體的位置、形狀或大小的信息可以被獲得。[接近物體移動時的差分圖像指尖提取處理的示例]參考圖15至圖21，接下來與比較示例相比較地描述本發(fā)明的一個具體特征，即， 當(dāng)接近物體正在移動等時的差分圖像指尖提取處理。首先，利用圖15和圖16的比較示例，如圖15中的箭頭所示，當(dāng)接近物體在I/ 0顯示面板20的顯示區(qū)域21上為移動狀態(tài)時，觀測到以下問題。即，在與接近物體相 對應(yīng)的任何部分，觀測到陰影圖像AlOl的感光輸出信號Voff(AlOl)與利用反射光的圖 像BlOl的感光輸出信號Von(BlOl)之間的位移。此外，由于這樣的位置，在這兩個圖像 AlOl和BlOl的差分圖像ClOl ( = B101-A101)中，以及在其感光檢測信號V(ClOl)(= Von (BlOl) -Voff (AlOl))中，除了與物體的位置相對應(yīng)的原本預(yù)期的信號之外，還在另一不 同位置處生成偽信號F101。結(jié)果，這樣的偽信號FlOl的存在使得難以以良好的穩(wěn)定性檢測 接近物體。然而，在該實施例中，圖像處理部件14利用基于由主傳感器32獲得的捕獲圖像和 由輔助傳感器33獲得的捕獲圖像的合成圖像，來獲得有關(guān)接近物體的物體信息。具體地， 感光驅(qū)動電路13具體地針對每種主傳感器32和輔助傳感器33來生成利用反射光的圖像 B和陰影圖像A的差分圖像C( = B-A)。然后，圖像處理部件14利用合成圖像F來獲得物 體信息，其中合成圖像F基于都由主傳感器32獲得的利用反射光的圖像MB和陰影圖像MA 的差分圖像MC( = MB-MA ；第一差分圖像)和都由輔助傳感器33獲得的利用反射光的圖像 HB和陰影圖像HA的差分圖像HC( = HB-HA ；第二差分圖像)。更具體地，利用由主傳感器32獲得的捕獲圖像，例如如圖17和18中所示地生成 差分圖像MC。即，在主傳感器32中，由于檢測光的波長范圍Δ λ 23被包括在其感光波長范 圍中，當(dāng)接近物體在I/O顯示面板20的顯示區(qū)域21上移動時，例如，在差分圖像MC中，除 了與比較示例類似地生成接近物體的檢測信號以外，還生成偽信號FlOl。換而言之，在圖像 MA和MB的差分圖像MC中，并且在其感光檢測信號V (MC) ( = Von (MB) -Voff (MA))中，除了 與物體的位置相對應(yīng)的原來預(yù)期的信號以外，還在另一不同位置生成偽信號F101。另一方面，利用由輔助傳感器33獲得的捕獲圖像，例如如圖19和圖20所示地生 成差分圖像HC。即，在每個輔助傳感器33中，檢測光的波長范圍中的光敏度低于第一感 光器的光敏度(在該示例中，為0)。因此，與利用主傳感器32的情況類似地，在差分圖像 HC中生成偽信號F101，但是可以防止(在該示例中，避免)生成接近物體的檢測信號。換 而言之，盡管在圖像HA和HB的差分圖像HC( = HB-HA)中和其感光檢測信號V(HC)(= Von(HB)-Voff(HA))中生成偽信號F101，但是可以防止(在該示例中，避免)生成與物體的 位置相對應(yīng)的原來預(yù)期的信號。
接著，如圖21中示例性地示出的，感光驅(qū)動電路13基于由輔助傳感器33獲得的 差分圖像HC來生成預(yù)定的遮罩圖像(mask image)E0此外，感光驅(qū)動電路13將由主傳感器 32獲得的差分圖像MC與所生成的遮罩圖像F進(jìn)行與，從而生成合成圖像F。使用所生成的 合成圖像F，圖像處理部件14之后獲得有關(guān)接近物體的物體信息。此時，感光驅(qū)動電路13 例如對差分圖像HC施加二值化處理和圖像反轉(zhuǎn)處理，從而能夠生成遮罩圖像E。具體地， 利用二值化處理，差分圖像HC中具有值(閾值)或更大值的任意感光信號可以被視為偽信 號，并且可以被轉(zhuǎn)換成遮蓋偽信號的部分的圖像。這里，將具有閾值或更大值的任意信號處理為偽信號是為了消除面板上噪聲的影 響，以及對在輔助傳感器33側(cè)上的差分圖像HC中輕微出現(xiàn)檢測信號有所準(zhǔn)備，因為某些輔 助傳感器33可能具有不足以完全分離光譜特征的性能。因此，使檢測信號泄露到輔助傳感 器33最小化導(dǎo)致系統(tǒng)性能的提高。具體地，可以限制檢測光的波長范圍Δλ23，并且對于 輔助傳感器33，可以將靈敏度設(shè)置得相對于檢測光的波長范圍△ λ盡可能低。這里，由于 輔助傳感器33每一個負(fù)責(zé)檢測將通過外部光生成的任意偽信號，所以，其性能可以通過將 其對外部光的靈敏度增大為比檢測光的波長靈敏度相對高而得到提高。可替換地，除了使用這樣的遮罩圖像E生成合成圖像F的方法以外，還可以使用差 分圖像MC和差分圖像HC的差分圖像(=MC-HC)作為合成圖像F。以這樣的方式，利用基于由主傳感器32獲得的車分圖像MC和由輔助傳感器33獲 得的差分圖像HC獲得的合成圖像F，獲得物體信息。這樣，即使是接近物體在I/O顯示面 板20的顯示區(qū)域21上移動的情況，例如，也可以防止(或避免)在合成圖像F中生成偽信 號。如以上所述，在實施例中，I/O顯示面板20的顯示區(qū)域21設(shè)有多個主傳感器32， 每一個包括用來檢測接近物體的檢測光的波長范圍△ λ 23作為感光波長范圍。還設(shè)有多 個輔助傳感器33，在每一個輔助傳感器33中，檢測光的波長范圍的光敏度比主傳感器32中 的光敏度低。此外，利用基于由主傳感器32獲得的差分圖像MC和由輔助傳感器33獲得的 差分圖像HC獲得的合成圖像F，將獲得有關(guān)接近物體的物體信息。因此，即使接近物體例如 在I/O顯示面板20的顯示區(qū)域21上移動，也可以防止在合成圖像F中生成任何偽信號，從 而使得能夠以良好的穩(wěn)定性檢測物體，而不論是在何種使用情況中。而且，原則上，每種偽 信號生成樣式都可以被處理，從而在每種外部光情況下都令人滿意地使能操作。以下，將描述若干本發(fā)明的修改例。注意，與上述實施例中相同的任何組件被設(shè)置 相同的標(biāo)號并且在適當(dāng)時不再進(jìn)行描述。(第一修改例)圖22和圖23各自示例第一修改例的差分圖像指尖提取處理。在該修改例中，如圖22和圖23中示例性地示出的，感光驅(qū)動電路13基于由主傳 感器32獲得的利用反射光的圖像MB的差分圖像MHC和由輔助傳感器33獲得的利用反射 光的圖像HB的差分圖像MHC ( = ΜΒ-ΗΒ)來獲取物體信息。這使得能夠與上述實施例類似地，不論在什么使用情況中都能以良好的穩(wěn)定性檢 測任意物體。(第二修改例)圖24示出第二修改例中的差分圖像指尖提取處理。在該修改例中，圖像處理部件
1414被配置為通過順次處理分別針對主傳感器32和輔助傳感器33執(zhí)行生成差分圖像MC的 處理和生成差分圖像HC的處理。具體地，在該修改例中，如圖24中所示，在顯示區(qū)域21上，主傳感器32和輔助傳 感器33被以1比1的比例交替布置。此外，差分圖像MC和差分圖像HC分別由多個像素值 m0、hl、m2、h3、m4、h5 等配置。然后，針對上述順次處理，當(dāng)由與主傳感器32相鄰的輔助傳感器33獲得的差分像 素值等于或大于預(yù)定閾值Vth (H)時，感光驅(qū)動電路13確定輔助傳感器33具有差分值0，并 且輸出該值。另一方面，當(dāng)由與主傳感器32相鄰的輔助傳感器33獲得的差分像素值小于上述 閾值Vth(H)時，由主傳感器32導(dǎo)出的差分計算實際結(jié)果被輸出作為差分像素值。以這種 方式，要被執(zhí)行的處理變得與利用在以上實施例中描述的遮罩圖像E的遮罩處理等同。這樣，在該修改例中，可以在不需要特別地包括與主傳感器32和輔助傳感器33 — 起使用的幀存儲器的情況下獲得處理結(jié)果，并且可以高速獲得。(第三修改例)圖25示出第三修改例的差分圖像指尖提取處理。在該修改例中，為了實際地獲取 更高精度的結(jié)果，要針對輔助傳感器33和主傳感器32兩側(cè)執(zhí)行第二修改例的處理和插值處理。具體地，對于上述順次處理，感光驅(qū)動電路13針對位于與輔助傳感器33相對應(yīng)的 各個位置處的各個主傳感器32插值生成差分像素值。還針對位于與主傳感器32相對應(yīng)的 各個位置處的各個輔助傳感器33插值生成差分像素值。還考慮這樣插值生成的差分像素 值，順次處理將根據(jù)與閾值的比較的結(jié)果來執(zhí)行。這相應(yīng)地在輔助傳感器和主傳感器之間建立良好精度的相關(guān)性，使得處理結(jié)果可 以是理想的。并且利用這樣的方法，沒有特別的需要包括幀存儲器，而僅需要預(yù)先具有有關(guān) 一個或兩個傳感器的處理結(jié)果。此外，由于處理是基于傳感器來執(zhí)行的，所以由處理引起的 任何延遲將保持在與幾個傳感器有關(guān)的范圍以內(nèi)，使得處理可以以很高的速度執(zhí)行。注意，在該修改例中，如圖4的(A)和(B)中示例性地示出的，主傳感器32和輔助 傳感器33優(yōu)選以1比1的比例被交替布置在顯示區(qū)域21上。(應(yīng)用程序的執(zhí)行示例)參考圖26至圖29，接著將描述由應(yīng)用程序執(zhí)行部件11利用通過前述指尖提取處 理檢測到的有關(guān)物體的位置等的信息執(zhí)行應(yīng)用程序的若干示例。首先，圖26的(A)中所示的示例是指尖61觸摸I/O顯示面板20的表面并且觸摸 的路徑在屏幕上被顯示為圖畫線611的示例。此外，圖26的(B)中所示的示例有關(guān)使用手的形狀的手勢識別。具體地，觸摸(或 接近于)I/O顯示面板20的手62的形狀被識別，并且手被識別的形狀被顯示為圖像。響應(yīng) 于這樣的顯示物體的移動操作621，某種處理將被執(zhí)行。此外，圖27中示出的示例有關(guān)通過將手的狀態(tài)從握著的手63A改為打開的手63B 并且關(guān)于觸摸或接近使各個狀態(tài)中的手經(jīng)歷I/O顯示面板20上的圖像識別進(jìn)行的圖像識 別。該處理將基于這樣的圖像識別被執(zhí)行?；谶@樣的識別來執(zhí)行該處理例如使得能夠發(fā) 布放大命令。此外，利用這樣的命令的可能性，通過執(zhí)行這樣的圖像識別，通過個人計算機(jī)裝置與I/O顯示面板20的連接，例如，計算機(jī)裝置上的命令改變等操作可以以更自然的狀 態(tài)被輸入?？商鎿Q地，如圖28中所示例性地示出的，I/O顯示面板20可以多個地提供，并且 這樣的多個I/O顯示面板20可以通過某些傳送裝置連接到一起。然后，作為觸摸或接近的 檢測結(jié)果的任意圖像可以被發(fā)送給任意其它I/O顯示面板20以在其上顯示來在操作這些 顯示面板的用戶之間建立通信。即，在使得兩個I/O顯示面板20準(zhǔn)備好的情況下，例如，這 樣的將在這些面板之一上利用圖像識別完成的手65的形狀發(fā)送給用于顯示手642的形狀 的其余面板的處理，或者將在其余面板被手64觸摸之后顯示的路徑641發(fā)送給用于顯示的 另一面板的處理，有可能被執(zhí)行。這樣，通過發(fā)送將任意畫圖狀態(tài)的移動圖像，以及通過將 任意手寫文本、圖形等轉(zhuǎn)發(fā)給另一端的用戶，有可能存在新的通信工具。這樣的示例例如可 以包括將I/O顯示面板20應(yīng)用于移動電話終端的顯示面板。此外，如圖29中所示例性地示出的，通過用毛筆66像在I/O顯示面板20的表面 上書寫任意文本一樣得接觸它并且通過將被毛筆66觸摸的部分顯示為I/O顯示面板20上 的圖像661，可以用毛筆來進(jìn)行手寫輸入。如果是該情況，毛筆的詳細(xì)觸摸會被識別并被實 現(xiàn)。利用之前的手寫識別，例如，某些特定類型的數(shù)字轉(zhuǎn)換器已經(jīng)實現(xiàn)了對專用鋼筆的任意 傾斜的電場檢測，但是在該示例中，真實的毛筆所實際觸摸的表面本身被檢測使得信息輸 入被更真實地進(jìn)行。(模塊和應(yīng)用示例)參考圖30至圖34，接下來描述該實施例中和以上修改例中描述的顯示及圖像拾 取裝置的應(yīng)用示例。以上實施例等的顯示及圖像拾取裝置可以應(yīng)用于所有領(lǐng)域的電子裝 置，包括電視裝置、數(shù)碼相機(jī)、筆記本個人計算機(jī)、以移動電話為例的移動終端裝置或攝像 機(jī)。換而言之，以上實施例等的顯示及圖像拾取裝置可以應(yīng)用于所有領(lǐng)域的電子裝置，無論 將外部輸入的視頻信號或內(nèi)部生成的視頻信號顯示為圖像或視頻的何種裝置都可。這里， 以下電子裝置的示例不是僅有的一種可能，并且例如，通過將本發(fā)明的這些特征用作通過 檢測光來僅提取任意被反射的分量，監(jiān)視相機(jī)的應(yīng)用示例也是一種可能。(第一應(yīng)用例)圖30示出應(yīng)用了以上實施例等的任意顯示及圖像拾取裝置的電視裝置的外觀。 該電視裝置被配置為包括視頻顯示屏部件510，其例如包括前面板511和濾光鏡512，并且 視頻顯示屏部件510由以上實施例等的任意顯示及圖像拾取裝置配置。(第二應(yīng)用示例)圖31示出應(yīng)用了以上實施例等的任意顯示及圖像拾取裝置的數(shù)碼相機(jī)的外觀。 該數(shù)碼相機(jī)例如被配置為包括供閃光燈使用的發(fā)光部件521、顯示部件522、菜單切換器 523和閃光燈按鈕524，并且顯示部件522被配置為由以上實施例等的任意顯示及圖像拾取
裝置配置。(第三應(yīng)用例)圖32示出應(yīng)用了以上實施例等的任意顯示及圖像拾取裝置的筆記本個人計算機(jī) 的外觀。該筆記本個人計算機(jī)例如被配置為包括主體531、用于文本等的輸入操作的鍵盤 532以及用于圖像顯示的顯示部件533，并且顯示部件533由以上實施例等的任意顯示及圖 像拾取裝置配置。
(第四應(yīng)用例)圖33示出應(yīng)用了以上實施例等的任意顯示及圖像拾取裝置的攝像機(jī)的外觀。該 攝像機(jī)例如被配置為包括主體部件541、布置在主題部件541的前側(cè)表面上供物體成像用 的鏡頭542、在圖像拾取時使用的開始/停止開關(guān)543和顯示部件544。該顯示部件544由 以上實施例等的任意顯示及圖像拾取裝置配置。(第五應(yīng)用例)圖34示出應(yīng)用了以上實施例等的任意顯示及圖像拾取裝置的移動電話的外觀。 例如，該移動電話由通過耦接部件(鉸鏈部件)730耦接到下底座的上底座720配置，并且 包括顯示器740、副顯示器750、圖像燈760和相機(jī)770。顯示器740或副顯示器750由以上 實施例等的任意顯示及圖像拾取裝置配置。盡管已經(jīng)利用實施例、修改例和應(yīng)用例描述了本發(fā)明，但是本發(fā)明不限于這樣的 實施例等，并且可以構(gòu)想到大量其它修改例和變形例。作為一個示例，在上述實施例等中，如圖35的㈧中所示，波長范圍Δ λ 12(波長 λ 1至波長λ 2的波長范圍)和波長范圍Δ λ 34 (波長λ 3至波長λ 4的波長范圍)是主 傳感器32和輔助傳感器33兩者的光敏波長范圍。對于本發(fā)明的應(yīng)用，這肯定不是唯一的 可能。即，如圖35的(B)中所示例性地示出的，主傳感器32的發(fā)光波長可能與輔助傳感器 33的光敏波長范圍隔開，并且該配置被認(rèn)為是優(yōu)選的。注意，在圖35的(A)和(B)中，在不 包括用實箭頭指示的主傳感器32的光敏波長范圍的波長范圍中，主傳感器32每一個具有 的光敏度為0。類似地，在不包括用虛箭頭指示的輔助傳感器33的光敏波長范圍的波長范 圍中，輔助傳感器33每一個具有的光敏度為0。S卩，在圖35的(B)中，輔助傳感器33每一 個在主傳感器32的光敏波長范圍中表現(xiàn)的光敏度為0，而主傳感器32每一個在輔助傳感器 33的光敏波長范圍中表現(xiàn)的光敏度為0。這樣，如上所述，這兩種傳感器的光敏波長范圍相 互隔開(不相同)。此外，在以上實施例等中，例示了 I/O顯示面板20是設(shè)有背光15的液晶面板的情 況?？商鎿Q地，供顯示使用的背光也可以用作檢測光，或者可以提供專門供檢測使用的照射 光源。此外，當(dāng)這樣的照射光源被專門提供供檢測使用時，使用不包括可見光區(qū)域的波長范 圍的光(例如，紅外光)是更可取的。此外，在以上實施例中，例示了在I/O顯示面板20中，顯示元件每一個是液晶顯示 元件并且分離地提供感光器的情況。對于本發(fā)明的應(yīng)用，這肯定不是唯一的可能。具體地， 向圖36至圖38的其它修改例的顯示及圖像拾取裝置，例如，I/O顯示面板(I/O顯示面板 60)可以由光發(fā)射/接收元件(顯示圖像拾取元件)配置，例如能夠以時間共享方式執(zhí)行發(fā) 光操作和感光操作的有機(jī)EL(電致發(fā)光)元件。圖36是示出該修改例的顯示及圖像拾取裝置的配置示例的框圖。該顯示及圖像 拾取裝置被配置為包括I/O顯示面板60，顯示驅(qū)動電路82、包括幀存儲器83A的感光驅(qū)動 電路83、圖像處理部件84以及應(yīng)用程序執(zhí)行部件81。在這些組件中，顯示驅(qū)動電路82、幀 存儲器83A、感光驅(qū)動電路83、圖像處理部件84以及應(yīng)用程序執(zhí)行部件81分別與以上實施 例中所描述的顯示驅(qū)動電路12、幀存儲器13A、感光驅(qū)動電路13、圖像處理部件14和應(yīng)用程 序執(zhí)行部件11類似地操作，因此不再進(jìn)行描述。如上所述，I/O顯示面板60被配置為使用有機(jī)EL元件的有機(jī)EL顯示器，并且多個
17像素(顯示及圖像拾取裝置)按矩陣布置在顯示區(qū)域(傳感器區(qū)域)中。此外，在該示例 中，該面板包括像素的矩陣布置等，這些像素包括每一個充當(dāng)發(fā)光元件(顯示元件)和感光 器(圖像拾取元件上述主傳感器)的有機(jī)EL元件和每一個充當(dāng)發(fā)光元件(顯示元件)和 感光器(圖像拾取元件上述輔助傳感器)的有機(jī)EL元件。利用這樣的I/O顯示面板60， 與感光時段中光接收量相對應(yīng)地積累的任何信號電荷將通過驅(qū)動感光驅(qū)動電路83以進(jìn)行 光接收而被讀出。圖37示出圖36的顯示及圖像拾取裝置中的每個像素的電路配置示例(像素電路 的配置示例)。該像素電路被配置為包括有機(jī)EL元件91、有機(jī)EL元件91的寄生電容91A、 開關(guān)SWl到SW3、顯示數(shù)據(jù)信號線92、讀出行選擇線93和接收數(shù)據(jù)信號線94。在該像素電 路中，當(dāng)開關(guān)SWl在顯示時段(發(fā)光時段)中被設(shè)置為接通狀態(tài)時，用于圖像顯示的顯示數(shù) 據(jù)從顯示數(shù)據(jù)信號線92經(jīng)由開關(guān)SWl供應(yīng)給有機(jī)EL元件91，使得有機(jī)EL元件91執(zhí)行發(fā) 光操作。另一方面，利用有機(jī)EL元件91，在發(fā)光操作被停止的時段(感光時段)中，電荷根 據(jù)進(jìn)入傳感器區(qū)域的光的量在有機(jī)EL元件91中生成的寄生電容91A中被積累。之后，這 樣積累的電荷通過響應(yīng)于從讀出行選擇線93導(dǎo)出的信號的控制而被設(shè)置為接通狀態(tài)的開 關(guān)SW2被讀入接收數(shù)據(jù)信號線94。因此，在感光時段開始時，需要通過臨時將供復(fù)位用的開 關(guān)SW3置于接通狀態(tài)來在發(fā)光期間釋放寄生電容91A中積累的電荷。圖38圖示出圖36和圖37的顯示及圖像拾取裝置中的差分圖像指尖提取處理。具 體地，在使用上述有機(jī)EL元件的I/O顯示面板60中，例如，例示出執(zhí)行在顯示圖像的同時 檢測正要與I/O顯示面板60接觸或與之接近的任意物體(手指f)的處理的情況。在該示例 中，發(fā)光區(qū)域由屏幕中具體的多個水平行配置。這樣的發(fā)光區(qū)域在場時段(field period) 中在由圖中的箭頭指示的掃描方向上移動，使得該區(qū)域因視覺暫留而看起來像是被顯示在 整個屏幕上。另一方面，對于感光信號的讀出操作，發(fā)光區(qū)域的移動被用作通過位于發(fā)光區(qū)域 的中的讀出行和在垂直方向上某種程度上遠(yuǎn)離該發(fā)光區(qū)域的讀出行來順次執(zhí)行讀出操作 的提示。具體地，利用發(fā)光區(qū)域中的讀出行，所導(dǎo)致的讀出操作能夠檢測來自發(fā)光區(qū)域的光 的反射光，并且因此如圖38中所示，所產(chǎn)生的讀出數(shù)據(jù)將處于自發(fā)射接通的狀態(tài)(圖像B4 與利用反射光的圖像B)相對應(yīng)。另一方面，利用在垂直方向上某種程度上遠(yuǎn)離該發(fā)光區(qū)域 的讀出行，所導(dǎo)致的讀出操作不受來自發(fā)光區(qū)域的發(fā)光的影響，因此如圖38中所示，所產(chǎn) 生的讀出數(shù)據(jù)將處于自發(fā)射關(guān)斷的狀態(tài)(圖像A41和A42(以下，稱為圖像A4)與陰影圖 像A相對應(yīng))。這樣，在該修改例中，基于這些圖像獲得的差分圖像C4( = B4-A4)可以被用 作檢測任意接近物體(手指f)的基礎(chǔ)。還是利用這樣的配置，可以得到與以上實施例中所 實現(xiàn)的效果類似的效果。此外，在以上實施例等中，例示出設(shè)置了包括多個顯示元件和多個圖像拾取元件 的顯示及圖像拾取面板(I/O顯示面板20)的顯示及圖像拾取裝置。對于本發(fā)明的應(yīng)用，這 肯定不是唯一的可能。具體地，例如，本發(fā)明也可以應(yīng)用于未設(shè)置顯示元件而是設(shè)有包括多 個圖像拾取元件的圖像拾取面板的圖像拾取裝置。
權(quán)利要求
一種圖像拾取裝置，包括圖像拾取面板，所述圖像拾取面板設(shè)有多個第一感光器、多個第二感光器和照射光源，所述照射光源發(fā)射包括用于檢測接近物體的檢測光的光，所述檢測光的波長在預(yù)定波長范圍內(nèi)；以及圖像處理部件，所述圖像處理部件對由所述圖像拾取面板通過對所述接近物體進(jìn)行圖像拾取而捕獲的信號執(zhí)行圖像處理，從而獲得物體信息，所述物體信息包括所述接近物體的位置、形狀或大小中的一個或多個，其中所述第一感光器的光敏波長范圍包括所述檢測光的波長范圍，在所述檢測光的波長范圍中，所述第二感光器的光敏度比所述第一感光器的光敏度低，并且所述圖像處理部件通過處理來自所述第一和第二感光器的信號來獲得所述物體信息。
2.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中對于光敏波長，所述第二感光器具有與所述第一感光器的光敏特性不同的光敏特性。
3.根據(jù)權(quán)利要求2所述的圖像拾取裝置，其中所述第一感光器在所述檢測光的波長范圍中的光敏度高于所述第一感光器在與所述 檢測光的波長范圍不同的預(yù)定波長范圍中的光敏度，并且所述第二感光器在所述檢測光的波長范圍中的光敏度低于所述第二感光器在所述預(yù) 定波長范圍中的光敏度。
4.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中所述圖像處理部件利用基于由所述第一感光器捕獲的圖像和由所述第二感光器捕獲 的圖像而獲得的合成圖像，來獲得所述物體信息。
5.根據(jù)權(quán)利要求4所述的圖像拾取裝置，還包括圖像生成部件，所述圖像生成部件針對所述第一和第二感光器中的每一個，生成作為 利用反射光的圖像與陰影圖像之間的差的差分圖像，所述利用反射光的圖像是由所述圖像 拾取面板通過利用從所述檢測光得到的反射光對所述接近物體進(jìn)行圖像拾取而獲得的，所 述陰影圖像是由所述圖像拾取面板通過對所述接近物體的陰影進(jìn)行圖像拾取而獲得的，其 中所述圖像處理部件利用基于第一差分圖像和第二差分圖像而獲得的合成圖像來獲得 所述物體信息，所述第一差分圖像對應(yīng)于作為由所述第一感光器獲得的利用反射光的圖像 與由所述第一感光器獲得陰影圖像之間的差的差分圖像，所述第二差分圖像對應(yīng)于作為由 所述第二感光器獲得的利用反射光的圖像與由所述第二感光器獲得的陰影圖像之間的差 的差分圖像。
6.根據(jù)權(quán)利要求5所述的圖像拾取裝置，其中所述圖像生成部件基于所述第二差分圖像生成預(yù)定遮罩圖像，并且所述圖像處理部件利用所述第一差分圖像和所述遮罩圖像的合成圖像來獲得所述物 體信息。
7.根據(jù)權(quán)利要求5所述的圖像拾取裝置，其中所述圖像生成部件通過使所述第二差分圖像經(jīng)過二值化處理和圖像反轉(zhuǎn)處理來生成 所述遮罩圖像。
8.根據(jù)權(quán)利要求5所述的圖像拾取裝置，其中所述圖像處理部件利用作為所述第一差分圖像和所述第二差分圖像之間的差的差分 圖像來獲得所述物體信息。
9.根據(jù)權(quán)利要求5所述的圖像拾取裝置，其中所述圖像生成部件通過針對所述第一和第二感光器中的每一個的順次處理，來執(zhí)行生 成所述第一差分圖像的處理和生成所述第二差分圖像的處理。
10.根據(jù)權(quán)利要求9所述的圖像拾取裝置，其中所述圖像拾取面板按照以下方式配置所述第一感光器和所述第二感光器以1比1的 比例交替布置。
11.根據(jù)權(quán)利要求10所述的圖像拾取裝置，其中所述第一差分圖像由多個第一差分像素值構(gòu)成，并且所述第二差分圖像由多個第二差 分像素值構(gòu)成，并且在所述順次處理中，當(dāng)由與所述第一感光器中的一個第一感光器相鄰的第二感光器中的一個第二感光器 獲得的第二差分像素值等于或大于預(yù)定閾值時，所述圖像生成部件將來自該第一感光器的 第一差分像素值確定為0，然后輸出所確定的值，并且當(dāng)由與該第一感光器相鄰的第二感光器中的一個第二感光器獲得的第二差分像素值 小于所述閾值時，所述圖像生成部件輸出該第一感光器的實際差分計算結(jié)果作為所述第一 差分像素值。
12.根據(jù)權(quán)利要求11所述的圖像拾取裝置，其中在所述順次處理中，所述圖像生成部件執(zhí)行以下處理對所述第二感光器的每個位置插值生成所述第一差分像素值來作為第一插值差分像 素值；對所述第一感光器的每個位置插值生成所述第二差分像素值來作為第二插值差分像 素值；以及根據(jù)與所述閾值的比較結(jié)果并考慮所述第一和第二插值差分像素值來執(zhí)行所述順次處理。
13.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中所述圖像處理部件基于差分圖像來獲得所述物體信息，所述差分圖像是由所述多個第 一感光器通過利用從所述檢測光得到的反射光來對所述接近物體進(jìn)行圖像拾取而獲得的 利用反射光的圖像與由所述多個第二感光器通過利用從所述檢測光得到的反射光對所述 接近物體進(jìn)行圖像拾取而獲得的利用反射光的圖像之間的差。
14.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中所述第二感光器在所述檢測光的波長范圍中的光敏度是0。
15.根據(jù)權(quán)利要求14所述的圖像拾取裝置，其中所述第一感光器的感光波長范圍和所述第二感光器的感光波長范圍相互分離。
16.根據(jù)權(quán)利要求1所述的圖像拾取裝置，其中所述檢測光是紅外光，所述第一感光器的感光波長范圍包括所述紅外光的波長范圍，并且所述第二感光器的感光波長范圍包括可見光的波長范圍。
17.一種顯示和圖像拾取裝置，包括顯示和圖像拾取面板，所述顯示和圖像拾取面板設(shè)有多個顯示元件、多個第一感光器 和多個第二感光器，并且發(fā)射包括用于檢測接近物體的檢測光的光，所述檢測光的波長位 于預(yù)定的波長范圍內(nèi)；以及圖像處理部件，所述圖像處理部件對由所述顯示和圖像拾取面板通過對所述接近物體 進(jìn)行圖像拾取而捕獲的信號執(zhí)行圖像處理，從而獲得物體信息，所述物體信息包括所述接 近物體的位置、形狀或大小中的一個或多個，其中所述第一感光器的光敏波長范圍包括所述檢測光的波長范圍， 在所述檢測光的波長范圍中，所述第二感光器的光敏度比所述第一感光器的光敏度 低，并且所述圖像處理部件通過處理來自所述第一和第二感光器的信號來獲得所述物體信息。
18.根據(jù)權(quán)利要求17所述的顯示和圖像拾取裝置，其中所述顯示和圖像拾取面板設(shè)有發(fā)射包括所述檢測光的光的照射光源。
19.根據(jù)權(quán)利要求17所述的顯示和圖像拾取裝置，其中 所述顯示元件的每一個發(fā)射包括所述檢測光的光。
20.一種電子裝置，所述電子裝置具有設(shè)有圖像顯示功能和圖像拾取功能的顯示和圖 像拾取裝置，所述顯示和圖像拾取裝置包括顯示和圖像拾取面板，所述顯示和圖像拾取面板設(shè)有多個顯示元件、多個第一感光器 和多個第二感光器，并且發(fā)射包括用于檢測接近物體的檢測光的光，所述檢測光的波長位 于預(yù)定的波長范圍內(nèi)；以及圖像處理部件，所述圖像處理部件對由所述顯示和圖像拾取面板通過對所述接近物體 進(jìn)行圖像拾取而捕獲的信號執(zhí)行圖像處理，從而獲得物體信息，所述物體信息包括所述接 近物體的位置、形狀或大小中的一個或多個，其中所述第一感光器的光敏波長范圍包括所述檢測光的波長范圍， 在所述檢測光的波長范圍中，所述第二感光器的光敏度比所述第一感光器的光敏度 低，并且所述圖像處理部件通過處理來自所述第一和第二感光器的信號來獲得所述物體信息。
全文摘要
本發(fā)明公開了一種不論在何種使用情況中都可以穩(wěn)定地執(zhí)行物體檢測的圖像拾取裝置。I/O顯示面板(20)的顯示區(qū)域(21)設(shè)有多個主傳感器(32)和多個輔助傳感器(33)，每一個主傳感器(32)包括用來檢測任意接近物體的檢測光的波長范圍(Δλ23)作為光敏波長范圍，并且輔助傳感器(33)在檢測光的波長范圍中的光敏度比主傳感器(32)的光敏度低。并且，利用基于由主傳感器(32)獲得的差分圖像(MC)和由輔助傳感器(33)獲得的差分圖像(HC)獲得的合成圖像(F)，獲得有關(guān)接近物體的物體信息。因此，即使例如接近物體在I/O顯示面板(20)的顯示區(qū)域(21)上時，也可以防止在合成圖像F中生成任意偽信號。
文檔編號G09F9/00GK101903853SQ200980101438
公開日2010年12月1日 申請日期2009年10月14日 優(yōu)先權(quán)日2008年10月21日
發(fā)明者仲島義晴, 原田勉, 大森英幸, 山中剛, 松井靖幸, 水橋比呂志, 津崎亮一, 高間大輔 申請人:索尼公司