專利名稱：信息處理裝置、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置、信息處理方法和程序。具體而言，本發(fā)明涉及可以通過觸摸來操作以迅速和容易地執(zhí)行用戶期望的功能的信息處理裝置、用于與這樣的信息處理裝置一起使用的信息處理方法和實施這樣的信息處理方法的功能的程序。
背景技術(shù)：
可通過鼠標(biāo)來操作的信息處理裝置可以向?qū)λ氖髽?biāo)進(jìn)行的各所謂右擊和左擊操作分配不同的功能。通過指尖按壓一次并且立即釋放鼠標(biāo)上的右和左按鈕之一來實現(xiàn)這些操作中的各操作。了解上述類型的信息處理裝置，假設(shè)可通過鼠標(biāo)11來操作的光標(biāo)12如圖IA中所示在裝置的屏幕上顯示于圖標(biāo)13的位置。在這種情況下，左擊鼠標(biāo)11執(zhí)行選擇圖標(biāo)13的功能。如果如圖IB中所示右擊鼠標(biāo)11，則實現(xiàn)顯示圖標(biāo)13的上下文菜單14的功能。也就是說，可以向鼠標(biāo)11操作的光標(biāo)12的位置分配兩個功能。同時存在可以通過用指尖觸摸來操作的信息處理裝置。一種這樣的裝置通常利用重疊在它的顯示器上的觸摸屏來檢測觸摸該屏的物體的位置和/或移動、由此執(zhí)行向該位置和/或移動分配的功能。在配備有觸摸屏的信息處理裝置上，用戶可以如圖2A中所示用他的或者她的任一手指(在這個例子中為食指)觸摸觸摸屏上的與圖標(biāo)13對應(yīng)的位置比如一次。然后實現(xiàn)選擇圖標(biāo)13的功能或者執(zhí)行與圖標(biāo)13對應(yīng)的功能。然而在配備有觸摸屏的信息處理裝置上僅檢測手指觸摸觸摸屏的位置；未檢測觸摸手指的類型。隨之不能向單個觸摸位置分配多個功能。因而，無論如圖2A中所示食指觸摸該屏或者如圖2B中所示中指觸摸該屏，只要觸摸位置相同就執(zhí)行相同功能。如果向圖標(biāo)13的位置分配與在鼠標(biāo)可操作的信息處理裝置上的左擊對應(yīng)的功能，則可以不向圖標(biāo)13的位置分配與右擊對應(yīng)的功能。因此如果用戶想要執(zhí)行分配給右擊的顯示上下文菜單14的功能，則有必要如圖3A至3C中所示進(jìn)行復(fù)雜操作。具體而言，如果用戶想要執(zhí)行顯示上下文菜單14的功能，則用戶首先用他的或者她的任一手指(在圖3A至3C的例子中為食指)觸摸觸摸屏上的與圖標(biāo)13對應(yīng)的位置以執(zhí)行選擇圖標(biāo)13的功能。此后如圖:3B中所示，用戶使用他的或者她的任一手指來觸摸觸摸屏上的與圖標(biāo)21對應(yīng)的位置以執(zhí)行顯示上下文菜單14的功能。作為該操作的結(jié)果，如圖3C中所示顯示上下文菜單14。如上文所述，用戶需要用食指觸摸觸摸屏兩次以便執(zhí)行顯示上下文菜單14的功能。在有上述瓶頸時，需要一種能夠給觸摸屏上的相同觸摸位置分配多個功能以便迅速和容易地實現(xiàn)用戶期望的功能的觸摸可操作的信息處理裝置。一些觸摸可操作的信息處理裝置檢測觸摸觸摸屏的手指數(shù)目以便根據(jù)檢測到的手指的數(shù)目來實現(xiàn)不同功能(例如參見特開2001-134382號日本專利)。

發(fā)明內(nèi)容
然而迄今為止公開的觸摸可操作的信息處理裝置無一被設(shè)計成根據(jù)一個或多個手指的類型向相同觸摸位置分配不同功能以便迅速和容易地進(jìn)行用戶期望的功能。鑒于上述境況已經(jīng)做出本發(fā)明并且提供一種可以通過觸摸進(jìn)行操作來以迅速和容易的方式執(zhí)行用戶期望的功能的信息處理裝置等。在實現(xiàn)本發(fā)明時并且根據(jù)其一個實施例，提供一種信息處理裝置，該裝置包括檢測單元，用于檢測物體觸摸觸敏部件的位置作為觸摸位置；識別單元，用于基于觸摸位置和觸敏部件的圖像來識別觸摸觸敏部件的手指的類型；搜索單元，用于搜索功能表，該功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向手指的觸摸位置和類型的組合分配的功能之間的對應(yīng)，該搜索單元在功能表中搜索與檢測單元檢測到的觸摸位置和識別單元檢測到的手指類型相對應(yīng)的功能；以及執(zhí)行單元，用于執(zhí)行搜索單元通過搜索檢測到的功能。根據(jù)本發(fā)明其它實施例的信息處理裝置和程序?qū)?yīng)于上文概述的本發(fā)明的信息
處理裝置。根據(jù)如上文所示具體化的本發(fā)明，首先檢測物體觸摸觸敏部件的位置作為觸摸位置。然后基于觸摸位置和觸敏部件的圖像來識別觸摸觸敏部件的手指的類型。提供搜索功能表以限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向手指的觸摸位置和類型的組合分配的功能之間的對應(yīng)。在功能表中搜索與檢測到的觸摸位置和檢測到的手指類型相對應(yīng)的功能。然后執(zhí)行通過搜索檢測到的功能。當(dāng)如上文概述實施本發(fā)明時，可以使觸摸可操作的信息處理裝置迅速和容易地執(zhí)行用戶期望的功能。


圖IA和IB是示出了通常如何操作鼠標(biāo)的示意圖；圖2A和2B是示出了通常如何進(jìn)行觸摸操作的示意圖；圖3AJB和3C是示出了通常如何進(jìn)行觸摸操作以顯示上下文菜單的示意圖；圖4是示出了作為本發(fā)明第一實施例的信息處理系統(tǒng)的典型配置的示意圖；圖5是示出了圖4中包括的信息處理裝置的典型硬件結(jié)構(gòu)的框圖；圖6是示出了圖5的結(jié)構(gòu)中包括的CPU實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖；圖7是示出了典型功能表的列表圖；圖8A和8B是說明在存儲圖7的功能表時執(zhí)行的典型功能的示意圖；圖9是說明圖6中所示功能執(zhí)行處理部進(jìn)行的功能執(zhí)行過程的流程圖；圖10是示出了作為本發(fā)明第二實施例的信息處理系統(tǒng)的典型配置的示意圖；圖11是示出了圖10中包括的信息處理裝置的典型硬件結(jié)構(gòu)的框圖；圖12是示出了圖11的結(jié)構(gòu)中包括的CPU實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖；圖13是示出了圖11的結(jié)構(gòu)中包括的典型功能標(biāo)簽表的列表圖；圖14A、14B和14C是示出了圖11的結(jié)構(gòu)中包括的HMD上顯示的典型圖像的示意圖；圖15是說明圖12的功能執(zhí)行處理部進(jìn)行的標(biāo)簽顯示過程的流程圖；圖16是示出了圖10中的信息處理裝置的另一典型硬件結(jié)構(gòu)的框圖；圖17是示出了圖16的結(jié)構(gòu)中包括的CPU實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖；圖18是示出了圖16的結(jié)構(gòu)中包括的典型功能標(biāo)簽表的列表圖；圖19A和19B是示出了圖16的結(jié)構(gòu)中包括的HMD上顯示的典型圖像的示意圖；圖20是說明圖17的功能執(zhí)行處理部進(jìn)行的標(biāo)簽顯示過程的流程圖；圖21是說明從圖20的流程圖繼續(xù)的標(biāo)簽顯示過程的流程圖；圖22是示出了作為本發(fā)明第三實施例的信息處理系統(tǒng)的典型配置的示意圖；圖23是示出了圖22中包括的信息處理裝置的典型硬件結(jié)構(gòu)的框圖；圖M是示出了圖22的結(jié)構(gòu)中包括的觸摸屏監(jiān)視器的典型具體結(jié)構(gòu)的框圖；圖25是示出了圖23的結(jié)構(gòu)中包括的CPU實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖；圖沈是說明圖25的功能執(zhí)行處理部進(jìn)行的功能執(zhí)行過程的流程圖；圖27是說明手指信息的示意圖；并且圖觀是說明其它手指信息的示意圖。
具體實施例方式<第一實施例>[作為第一實施例的信息處理系統(tǒng)的典型配置]圖4是示出了作為本發(fā)明第一實施例的信息處理系統(tǒng)的典型配置的示意圖。如圖4中所示，信息處理系統(tǒng)30由信息處理裝置31和配備有相機32的護(hù)目鏡33 組成。在圖4中，圖IA至3C中已經(jīng)示出的那些部件由相同標(biāo)號表示，并且下文在多余時將省略它們的描述。在利用信息處理系統(tǒng)30時，用戶持有信息處理裝置31并且佩戴護(hù)目鏡33。用戶在通過護(hù)目鏡33注視裝置31之時對信息處理裝置31進(jìn)行觸摸操作。在信息處理系統(tǒng)30中，信息處理裝置31和相機32互連。信息處理裝置31可以通過用指尖觸摸來操作并且通常配有觸摸屏監(jiān)視器41。信息處理裝置31使圖標(biāo)13等出現(xiàn)于觸摸屏監(jiān)視器41上。用戶通過注視圖標(biāo)13等并且通過用指尖觸摸該屏上的相關(guān)位置來使信息處理裝置31執(zhí)行期望的功能。附接到護(hù)目鏡33的相機32拍攝包括觸摸屏監(jiān)視器41的圖像。圖像這樣拍攝的單位包括與觸摸屏監(jiān)視器41接觸的一個或者多個手指。相機32向信息處理裝置31發(fā)送獲取的圖像。[信息處理裝置的典型硬件結(jié)構(gòu)]圖5是示出了圖4中包括的信息處理裝置的典型硬件結(jié)構(gòu)的框圖。如圖5中所示，信息處理裝置31合并有CPU(中央處理單元)61。R0M(只讀存儲器)62和RAM(隨機存取存儲器)63經(jīng)由總線64連接到CPU 61。CPU 61也通過總線64和輸入/輸出端口 65來與觸摸屏監(jiān)視器41、操作按鈕66、揚聲器67、存儲部68、通信部69和驅(qū)動70連接。CPU 61根據(jù)代表用戶的操作的來自操作按鈕66的操作信息來執(zhí)行ROM 62中預(yù)裝的程序?？商鎿Q地，CPU 61可以從存儲部68向RAM 63中加載預(yù)裝程序以便執(zhí)行程序。以這種方式，CPU 61實現(xiàn)如后文將討論的流程圖中所示或者如后文也將描述的功能框圖中所示的過程。按照需要，CPU 61通常經(jīng)由總線64和輸入/輸出接口 65從觸摸屏監(jiān)視器41和 /或揚聲器67輸出它的處理的結(jié)果、通過通信部69發(fā)送結(jié)果或者在存儲部68中存儲或者以別的方式保持結(jié)果。觸摸屏監(jiān)視器41 (檢測裝置)通常由顯示設(shè)備81如CRT(陰極射線管)或者 LCD (液晶顯示器)和布置于顯示設(shè)備81上的無色透明觸摸屏82 (接觸裝置)組成。觸摸屏監(jiān)視器41使顯示設(shè)備81顯示圖標(biāo)13等作為CPU 61進(jìn)行的過程的結(jié)果。觸摸屏監(jiān)視器 41感測物體對觸摸屏82的觸摸并且向CPU 61饋送與物體接觸的位置作為觸摸位置。操作按鈕66是將由用戶操作的物理按鈕。在由用戶操作時，操作按鈕66向CPU 61供應(yīng)表示用戶的操作的操作信息。揚聲器67輸出代表CPU 61進(jìn)行的過程的結(jié)果的聲
曰O存儲部68通常由硬盤驅(qū)動(HDD)等組成。這樣，存儲部68存儲功能表91、手指信息92和其它數(shù)據(jù)。功能表91是如下所述的表，該表限定在一方面為各手指的觸摸位置和類型與另一方面為向討論的觸摸位置和手指類型的組合分配的功能之間的對應(yīng)。假設(shè)在操縱該實施例的手指中不包括拇指。也就是說，該實施例用于食指、中指、 無名指和小指這四個指頭。手指信息92是標(biāo)識用戶的各手指的信息。在本文中，假設(shè)手指信息92為用戶的各手指的圖像或者用于標(biāo)識各手指的形狀的信息。通常，用戶使用相機32 拍攝他的或者她的各手指的圖像來預(yù)先存儲手指信息92。通信部69與外部設(shè)備如相機32通信。例如通信部69接收從相機32發(fā)送的圖像并且將接收到的圖像饋送到RAM 63或者別處以供存儲。一件可拆卸介質(zhì)71按照需要附接到驅(qū)動70。驅(qū)動70向附接的可拆卸介質(zhì)71記錄數(shù)據(jù)或者再現(xiàn)其上記錄的數(shù)據(jù)。典型的可拆卸介質(zhì)71包括軟盤、CD-R0M(光盤只讀存儲器)、MO (磁光)盤、DVD (數(shù)字萬用盤)、磁盤和半導(dǎo)體存儲器。要由CPU 61執(zhí)行的程序可以存儲(即記錄)于可拆卸介質(zhì)71上。可以賦予這樣的可拆卸介質(zhì)71作為所謂的封裝軟件。在這種情況下，經(jīng)由驅(qū)動70向信息處理裝置31中
安裝程序?？商鎿Q地，要由CPU 61執(zhí)行的程序可以經(jīng)由通信或者廣播網(wǎng)絡(luò)下載到信息處理裝置31中并且安裝到內(nèi)部的存儲部68中。例如可以經(jīng)由數(shù)字廣播衛(wèi)星無線地或者通過網(wǎng)絡(luò)如LAN(局域網(wǎng))和因特網(wǎng)以有線方式從下載站點向信息處理裝置31傳送程序。[信息處理裝置的典型功能結(jié)構(gòu)]圖6是示出了信息處理裝置31的CPU 61實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖。如圖6中所示，功能執(zhí)行處理部100由位置獲取部101、手指類型識別部102(識別裝置)、功能識別部103(搜索裝置)和執(zhí)行部104(執(zhí)行裝置)組成。響應(yīng)于用指尖在觸摸屏82上的觸摸，功能執(zhí)行處理部100執(zhí)行向觸摸手指在屏上的位置及其類型分配的功能。具體而言，功能執(zhí)行處理部100的位置獲取部101獲取從觸摸屏監(jiān)視器41饋送的
7觸摸位置(例如在圖標(biāo)上)。位置獲取部101向手指類型識別部102和功能識別部103供應(yīng)這樣獲取的觸摸位置?；趶南鄼C32發(fā)送的圖像、預(yù)先存儲于存儲部68中的手指信息92和來自位置獲取部101的觸摸位置，手指類型識別部102識別觸摸觸摸屏802的手指的類型。具體而言， 如果存儲各手指的圖像作為手指信息92，則手指類型識別部102匹配手指信息92與從相機 32發(fā)送的圖像中的觸摸位置的周圍以便識別來自相機32的圖像中包括的手指的類型。手指類型識別部102繼續(xù)向功能識別部103供應(yīng)識別的手指類型(例如食指)。例如，可以根據(jù) Taehee Lee 禾口 Tobias Hollerer 在"Handy AR :Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking，，(參見 Proc. IEEE International Symposium on Wearable Computers (ISWC)(關(guān)于可穿戴計算|幾白勺國際會議)，Boston, ΜΑ, 2007年10月)中討論的技術(shù)來修改識別手指類型的方法。功能識別部103在預(yù)先存儲于存儲部68中的功能表91中搜索與從位置獲取部 102供應(yīng)的觸摸位置以及來自手指類型識別部102的手指類型相對應(yīng)的功能。功能識別部 103識別這樣通過搜索檢測到的功能作為要執(zhí)行的功能并且將代表該功能的信息發(fā)送到執(zhí)行部104。執(zhí)行部104執(zhí)行從功能識別部103饋送的信息所代表的功能。[效果說明]圖7是示出了功能表91的例子的列表圖。圖8Α和8Β是說明在圖7中的功能表 91存儲于存儲部68中時執(zhí)行的典型功能的示意圖。如圖7中所示，功能表91限定在一方面為各手指的觸摸位置和類型與另一方面為向觸摸位置和手指類型的組合分配的功能之間的對應(yīng)。在圖7的例子中，在一方面為觸摸位置“在圖標(biāo)上”和手指類型“食指”與另一方面為功能“執(zhí)行”之間建立了對應(yīng)。在相同例子中，在一方面為觸摸位置“在圖標(biāo)上”和手指類型“中指”與另一方面為功能“顯示菜單” 之間也建立了對應(yīng)。因此如圖8Α中所示，當(dāng)用戶用他的或者她的食指觸摸觸摸屏82上的與圖標(biāo)13的顯示位置相對應(yīng)的位置時，進(jìn)行執(zhí)行與圖標(biāo)13相對應(yīng)的應(yīng)用程序的功能。并且如圖8Β中所示，當(dāng)用戶用他的或者她的中指觸摸觸摸屏82上的與圖標(biāo)13的顯示位置相對應(yīng)的位置時，實現(xiàn)顯示上下文菜單14的功能。也就是說，當(dāng)圖7中所示功能表91存儲于存儲部68中時，要執(zhí)行的功能根據(jù)是用食指還是中指來觸摸觸摸屏82上的與圖標(biāo)13相對應(yīng)的相同位置而不同。在圖8Α和8Β中， 圖IA至3C中已經(jīng)示出的那些部件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。在信息處理系統(tǒng)30中，如上文所述，觸摸屏監(jiān)視器41檢測物體觸摸觸摸屏82的位置?；谟|摸位置和觸摸屏82的圖像，手指類型識別部102識別觸摸觸摸屏82的手指的類型。提供功能表91以限定在一方面為各手指的觸摸位置和類型與另一方面為向觸摸位置和手指類型的組合分配的功能之間的對應(yīng)。功能識別部103在功能表91中搜索與這樣檢測到的觸摸位置和這樣識別的手指類型相對應(yīng)的功能。執(zhí)行部104執(zhí)行通過搜索檢測到的功能。因此即使在用指尖觸摸觸摸屏82上的相同位置時，仍然根據(jù)手指的類型來執(zhí)行不同功能。因而有可能增加可以用涉及到手指觸摸該屏上的相關(guān)位置的單個動作來執(zhí)行的功能的數(shù)目。這允許迅速和簡單執(zhí)行用戶期望的功能。[信息處理裝置進(jìn)行的過程的說明]圖9是說明功能執(zhí)行處理部100進(jìn)行的功能執(zhí)行過程的流程圖。在圖9的步驟Sll中，位置獲取部101確定是否檢測到物體在觸摸屏82上的觸摸、 即是否從觸摸屏監(jiān)視器41供應(yīng)任何觸摸位置。如果在步驟Sll中確定檢測到物體在觸摸屏82上的觸摸，則到達(dá)步驟S12。在步驟S12中，位置獲取部101從觸摸屏監(jiān)視器41獲取觸摸位置并且將這樣獲取的觸摸位置饋送給手指類型識別部102和功能識別部103。在步驟S13中，手指類型識別部102獲取從相機32發(fā)送的圖像。在步驟S14中，手指類型識別部102基于預(yù)先存儲于存儲部68中的手指信息92、 從相機32得到的圖像和來自位置獲取部101的觸摸位置來識別觸摸觸摸屏82的手指的類型。手指類型識別部102將這樣識別的手指類型發(fā)送到功能識別部103。在步驟S15中，功能識別部103在預(yù)先存儲于存儲部68中預(yù)先存儲的功能表91 中搜索與從位置獲取部101饋送的觸摸位置和來自手指類型識別部102的手指類型相對應(yīng)的功能。在步驟S16中，功能識別部103確定是否已經(jīng)通過搜索檢測到與從位置獲取部101 饋送的觸摸位置和來自手指類型識別部102的手指類型相對應(yīng)的功能。如果在步驟S16中確定已經(jīng)檢測到功能，則功能識別部103識別檢測到的功能作為要執(zhí)行的功能并且向執(zhí)行部104供應(yīng)代表該功能的信息。然后將控制轉(zhuǎn)移到步驟S17。在步驟S17中，執(zhí)行部104執(zhí)行已經(jīng)從功能識別部103饋送其信息的功能。這使功能執(zhí)行過程結(jié)束。如果在步驟Sll中確定尚未檢測到物體在觸摸屏82上的觸摸或者如果在步驟S16 中確定未發(fā)現(xiàn)對應(yīng)的功能，則終止功能執(zhí)行過程。關(guān)于在步驟S14中識別的各手指類型完成圖9中的步驟S15至S17。<第二實施例>[作為第二實施例的信息處理系統(tǒng)的典型配置]圖10是示出了作為本發(fā)明第二實施例的信息處理系統(tǒng)的典型配置的示意圖。在圖10中，圖4中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖10中的信息處理系統(tǒng)120的配置與圖4中的信息處理系統(tǒng)30的配置主要不同在于以下兩點信息處理裝置31替換為信息處理裝置121，以及護(hù)目鏡33替換為頭戴式顯示器(head mount display, HMD) 122。在利用信息處理系統(tǒng)120時，用戶持有信息處理裝置121并且佩戴HMD 122。用戶不直接注視信息處理裝置121。取而代之，用戶在觀看相機32拍攝的并且顯示于HMD 122 上的裝置121的那些圖像之時對信息處理裝置121進(jìn)行觸摸操作。在信息處理系統(tǒng)120中，信息處理裝置121不僅連接到相機32而且連接到HMD 122。與圖4中的信息處理裝置31 —樣，信息處理裝置121可以通過用指尖觸摸來操作并且配有觸摸屏監(jiān)視器41等。并且如同圖4中的信息處理裝置31，信息處理裝置121使觸摸屏監(jiān)視器41顯示圖標(biāo)13等。
同樣，基于由相機31拍攝并且從相機31發(fā)送的圖像，信息處理裝置121在圖像中包括的手指觸摸觸摸屏監(jiān)視器41上的當(dāng)前位置的周圍時識別要執(zhí)行的功能并且將代表該功能的標(biāo)簽圖像疊加到手指的圖像上。信息處理裝置121將得到的圖像發(fā)送到HMD 122并且使HMD 122顯示圖像。用戶在查看觸摸屏監(jiān)視器41上顯示的圖標(biāo)13、標(biāo)簽圖像等之時用他的或者她的手指觸摸該屏上的相關(guān)位置。觸摸操作使信息處理裝置121執(zhí)行期望的功能。HMD 122連接到信息處理裝置121。HMD 122顯示從信息處理裝置121發(fā)送的圖像。[信息處理裝置的典型硬件結(jié)構(gòu)]圖11是示出了圖10中的信息處理裝置121的典型硬件結(jié)構(gòu)的框圖。在圖11中，圖5中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖11中的信息處理裝置121的結(jié)構(gòu)與圖5中的信息處理裝置的結(jié)構(gòu)主要不同在于以下兩點存儲部68中的功能表91替換為功能標(biāo)簽表131以及通信部69替換為通信部 132。功能標(biāo)簽表131限定在各手指的觸摸位置和類型、向討論的手指的觸摸位置和類型的組合分配的功能以及代表該功能的標(biāo)簽圖像中包括的文字(功能信息)之間的對應(yīng)。通信部132與外部設(shè)備如相機32和HMD 122通信。例如通信部132接收從相機 32發(fā)送的圖像并且將接收到的圖像轉(zhuǎn)發(fā)到RAM 63等以供存儲。同樣，通信部132從CPU 61接收從相機32發(fā)送的圖像或者各自疊加有標(biāo)簽圖像的圖像并且將接收到的圖像發(fā)送到 HMD 122以供顯示。[信息處理裝置的典型功能結(jié)構(gòu)]圖12是示出了圖11中的信息處理裝置121的CPU 61實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖。在圖12中，圖6中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖12中的功能執(zhí)行處理部140的結(jié)構(gòu)與圖6中的功能執(zhí)行處理部的結(jié)構(gòu)不同主要在于以下兩點手指類型識別部102替換為手指類型識別部141(識別裝置)以及新提供了標(biāo)簽顯示控制部142 (顯示控制裝置)?；趶南鄼C32發(fā)送的圖像和預(yù)先存儲于存儲部68中的手指信息92，功能執(zhí)行處理部140的手指類型識別部141識別圖像中包括的手指的類型和位置。也就是說，基于來自相機332的圖像和手指信息92，手指類型識別部141識別觸摸屏監(jiān)視器41上放置的手指的類型和位置。手指類型識別部141然后將識別的手指類型和手指位置供應(yīng)給標(biāo)簽顯示控制部142。與手指類型識別部102 —樣，手指類型識別部141基于從相機32發(fā)送的圖像、手指信息92和來自位置獲取部101的觸摸位置來識別觸摸觸摸屏82的手指的類型。如果預(yù)先識別觸摸屏監(jiān)視器41上放置的手指的類型和位置，則手指類型識別部 141可以被設(shè)置成通過使用先前識別的手指類型及其位置來識別觸摸觸摸屏82的手指的類型。在這種情況下，手指類型識別部141從先前識別的放置于觸摸屏監(jiān)視器41上的手指的類型之中識別與來自位置獲取部101的觸摸位置相對應(yīng)的手指類型作為觸摸觸摸屏82 的手指的類型。手指類型識別部141向功能識別部103供應(yīng)放置于觸摸屏監(jiān)視器41上的手指的類型。標(biāo)簽顯示控制部142在預(yù)先存儲于存儲部68中的功能標(biāo)簽表131中搜索與手指位置的周圍和從手指類型識別部141饋送的手指類型相對應(yīng)的包括在標(biāo)簽圖像中的位置。 標(biāo)簽顯示控制部142用檢測到的文字生成檢測到的文字的標(biāo)簽圖像。標(biāo)簽顯示控制部142 將與手指位置和手指類型相對應(yīng)的標(biāo)簽圖像疊加到從相機32發(fā)送并且經(jīng)由手指類型識別部141轉(zhuǎn)發(fā)的圖像的手指位置上。標(biāo)簽顯示控制部142繼續(xù)控制通信部132以將通過疊加得到的圖像發(fā)送到HMD 122以供顯示。[典型功能標(biāo)簽表]圖13是示出了典型功能標(biāo)簽表131的列表圖。如圖13中所示，功能標(biāo)簽表131限定在各手指的觸摸位置和類型、向討論的手指的觸摸位置和類型的組合分配的功能以及代表該功能的標(biāo)簽圖像中包括的文字之間的對應(yīng)。具體而言，在圖13的例子中，在手指的觸摸位置“在圖標(biāo)上”、手指類型“食指”、功能“執(zhí)行”和標(biāo)簽圖像中包括的文字“執(zhí)行”之間建立了對應(yīng)。在手指的觸摸位置“在圖標(biāo)上”、手指類型“中指”、功能“顯示菜單”和標(biāo)簽圖像中包括的文字“菜單”之間也建立了對應(yīng)。另外，在手指的觸摸位置“在圖標(biāo)上”、手指類型“無名指”、功能“復(fù)制”和標(biāo)簽圖像中包括的文字“復(fù)制”之間建立了對應(yīng)。并且在手指的觸摸位置“在圖標(biāo)上”、手指類型“小指”、功能“顯示屬性”和標(biāo)簽圖像中包括的文字“屬性”之間建立了對應(yīng)。[顯示于HMD上的典型圖像]圖14A、14B和14C是示出了圖11中的信息處理裝置121在HMD 122上顯示的典型圖像的示意圖。對于圖14A至14C中所示例子，假設(shè)圖13中表示的功能標(biāo)簽表131存儲于存儲部 68中。在用戶如圖14A中所示將他的或者她的食指放置在圖標(biāo)13的周圍上時，相機32 拍攝包括食指的圖像。然后在功能標(biāo)簽表131中搜索與食指和代表食指位置周圍的圖標(biāo)13 的上部相對應(yīng)的包括在標(biāo)簽圖像中的文字“執(zhí)行”。使HMD 122顯示如下圖像，在該圖像中將包括文字“執(zhí)行”的標(biāo)簽圖像161疊加到食指的位置上。同樣，在用戶如圖14B所示將他的或者她的中指放置在圖標(biāo)13的位置上時，相機 32拍攝包括中指的圖像。然后在功能標(biāo)簽表131中搜索與中指和代表中指位置周圍的圖標(biāo) 13的上部相對應(yīng)的包括在標(biāo)簽圖像中的文字“菜單”。使HMD 122顯示如下圖像，在該圖像中將包括文字“菜單”的標(biāo)簽圖像162疊加到中指的位置上。另外，在用戶如圖14C中所示將所有他的或者她的手指放置在圖標(biāo)13的周圍上時，相機32拍攝包括所有手指的圖像。然后在功能標(biāo)簽表131中搜索與所有手指和代表所有手指位置周圍的圖標(biāo)13的上部相對應(yīng)的包括在標(biāo)簽圖像中的文字。因而如圖14C中所示，使HMD 122顯示如下圖像，在該圖像中分別將包括文字“執(zhí)行”的標(biāo)簽圖像161、包括文
11字“菜單”的標(biāo)簽圖像162、包括文字“復(fù)制”的標(biāo)簽圖像163和包括文字“屬性”的標(biāo)簽圖像164疊加到食指、中指、無名指和小指的位置上。如上文所述，信息處理系統(tǒng)120使HMD 122顯示代表在放置于觸摸屏監(jiān)視器41上的給定手指觸摸當(dāng)前位置的周圍時執(zhí)行的功能的標(biāo)簽圖像，該標(biāo)簽圖像疊加于在包括觸摸屏監(jiān)視器41的圖像中的手指的位置上。因此通過在觸摸屏監(jiān)視器41的相關(guān)位置上放置期望的手指，用戶可以容易地識別在手指觸摸監(jiān)視器上的該位置的周圍時要執(zhí)行的功能。因而用戶即使在不熟悉向各種手指及其類型的組合分配的功能時仍然可以進(jìn)行期望的功能。 以這種方式，信息處理系統(tǒng)120允許用戶在利用期望的功能時進(jìn)行明顯更簡單的觸摸操作。[信息處理裝置進(jìn)行的典型過程的說明]圖15是說明功能執(zhí)行處理部140進(jìn)行的標(biāo)簽顯示過程的流程圖。在步驟S31中，手指類型識別部141獲取由相機32拍攝并且從相機32發(fā)送的圖像。在步驟S32中，基于預(yù)先存儲于存儲部68中的手指信息92和從相機32獲取的圖像，手指類型識別部141識別圖像中包括的手指的類型和位置。手指類型識別部141將這樣識別的手指類型和手指位置供應(yīng)給標(biāo)簽顯示控制部142。在步驟S33中，標(biāo)簽顯示控制部142在預(yù)先存儲于存儲部68中的功能標(biāo)簽表131 中搜索從手指類型識別部141饋送的并且與手指位置的周圍和手指類型相對應(yīng)的包括在圖像中的文字。在步驟S34中，標(biāo)簽顯示控制部142確定是否已經(jīng)通過搜索檢測到來自手指類型識別部141并且與手指位置的周圍和手指類型相對應(yīng)的包括在圖像中的文字。如果在步驟S34中確定已經(jīng)檢測到相關(guān)文字，則標(biāo)簽顯示控制部142生成包括檢測到的文字的標(biāo)簽圖像并且將控制轉(zhuǎn)移到步驟S35。在步驟S35中，標(biāo)簽顯示控制部142將在步驟S33中生成的標(biāo)簽圖像疊加到從相機32發(fā)送的圖像中的從功能識別部103饋送的手指位置上。然后將控制轉(zhuǎn)移到步驟S36。如果在步驟S34中確定未檢測到文字，則不向相機32拍攝的圖像上疊加標(biāo)簽圖像。在這種情況下，將控制轉(zhuǎn)移到步驟S36。關(guān)于在步驟S32中識別的各手指類型完成圖15中的步驟S33至S36。在步驟S36中，標(biāo)簽顯示控制部142控制通信部132以向HMD 122發(fā)送在上述步驟中從相機32發(fā)送的并且標(biāo)簽圖像未疊加于其上的圖像或者來自相機32并且標(biāo)簽圖像已經(jīng)疊加于其上的圖像以供顯示。功能執(zhí)行處理部140進(jìn)行的功能執(zhí)行過程與上文參照圖9說明的過程相同并且因此將不進(jìn)一步加以討論。[信息處理裝置的另一典型硬件結(jié)構(gòu)]圖16是示出了圖10中的信息處理裝置121的另一典型硬件結(jié)構(gòu)的框圖。在圖16中，圖11中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖16中的信息處理裝置121的結(jié)構(gòu)與圖11中的信息處理裝置的結(jié)構(gòu)主要不同在于以下一點存儲部68中的功能標(biāo)簽表131替換為功能標(biāo)簽表170。
在圖16的信息處理裝置121中，功能不僅分配給各手指的觸摸位置和類型的組合而且分配給多個手指的觸摸位置和類型的組合。具體而言，功能標(biāo)簽表170限定在一個或者多個手指的觸摸位置和類型、向這些手指的觸摸位置和類型的組合分配的功能以及代表該功能的標(biāo)簽圖像中包括的文字之間的對應(yīng)。[信息處理裝置的典型功能結(jié)構(gòu)]圖17是示出了圖16中的信息處理裝置121的CPU 61實施的功能執(zhí)行處理部180 的典型功能結(jié)構(gòu)的框圖。在圖17中，圖12中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖17中的信息處理裝置180的結(jié)構(gòu)與圖12中的信息處理裝置的結(jié)構(gòu)主要不同在于以下兩點功能識別部103替換為功能識別部181以及標(biāo)簽顯示控制部142替換為標(biāo)簽顯示控制部182。當(dāng)從位置獲取部101供應(yīng)有多個手指的觸摸位置時，功能執(zhí)行處理部180的功能識別部181基于從手指類型識別部141饋送的觸摸位置和手指類型來計算在每兩個鄰近手指之間的距離。與后文將討論的標(biāo)簽顯示控制部182 —樣，功能識別部181基于計算的距離來確定多個手指是否接合(join)。在發(fā)現(xiàn)觸摸觸摸屏82的多個手指相互接合時，功能識別部181在功能標(biāo)簽表170 中搜索與這些手指的位置和類型相對應(yīng)的功能。如果觸摸觸摸屏82的一個或者多個手指與其它手指分離，則功能識別部181在功能標(biāo)簽表170中搜索與分離手指的位置和類型相對應(yīng)的功能。功能識別部181識別通過搜索檢測到的功能作為要執(zhí)行的功能并且將代表該功能的信息發(fā)送到執(zhí)行部104。在從手指類型識別部141供應(yīng)有多個手指的位置和類型時，標(biāo)簽顯示控制部182 基于這些手指的位置和類型來計算在每兩個鄰近手指之間的距離。基于這樣計算的距離， 標(biāo)簽顯示控制部182確定多個手指是否相互接合。如果多個手指以相互接合的方式放置于觸摸屏82上，則標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與這些手指的位置和類型相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果一個或者多個手指以與其它手指分離的方式放置于觸摸屏82上，則標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與分離手指的位置和類型相對應(yīng)的包括在標(biāo)簽圖像中的文字。標(biāo)簽顯示控制部182繼續(xù)生成包括通過搜索檢測到的文字的標(biāo)簽圖像。標(biāo)簽顯示控制部182將與多個接合手指的位置和類型相對應(yīng)的功能的標(biāo)簽圖像疊加到與從手指類型識別部141供應(yīng)的這些手指的位置相對應(yīng)的在從相機32發(fā)送的圖像中的一個位置上。同樣，標(biāo)簽顯示控制部182將與其他手指分離的一個或者多個手指的位置和類型相對應(yīng)的功能的標(biāo)簽圖像疊加到從手指類型識別部141供應(yīng)的一個或者多個分離的手指在從相機32發(fā)送的圖像中的位置上。標(biāo)簽顯示控制部182然后控制通信部132 將疊加得到的圖像發(fā)送到HMD 122以供顯示。[典型功能標(biāo)簽表]圖18是示出了典型功能標(biāo)簽表170的列表。如圖18中所示，功能標(biāo)簽表170限定在至少一個手指的觸摸位置和類型、向手指的觸摸位置及其類型的組合分配的功能以及代表該功能的包括在標(biāo)簽圖像中的文字之間的對應(yīng)。具體而言，在圖18的例子中，在手指的觸摸位置“在圖標(biāo)上”、手指類型“食指”、功能“執(zhí)行”和標(biāo)簽圖像中包括的文字“執(zhí)行”之間建立了對應(yīng)。在手指的觸摸位置“在圖標(biāo)上”、手指類型“中指”、功能“顯示菜單”和標(biāo)簽圖像中包括的文字“菜單”之間建立了對應(yīng)。另外，在手指的觸摸位置“在圖標(biāo)上”、手指類型“食指和中指”、功能“復(fù)制”和標(biāo)簽圖像中包括的文字“復(fù)制”之間建立了對應(yīng)。[顯示于HMD上的典型圖像]圖19A和19B是示出了圖16中的信息處理裝置121在HMD 122上顯示的典型圖像的示意圖。對于圖19A和19B中的例子，假設(shè)圖18中所示功能標(biāo)簽表170存儲于存儲部68 中。同樣，在圖19A和19B中，圖14A至14C中已經(jīng)示出的那些部件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。當(dāng)用戶如圖19A中所示將他的或者她的相互分離的食指和中指放置在圖13的周圍上時，相機32拍攝包括分離的食指和中指的圖像。然后在功能標(biāo)簽表170中搜索與食指和食指觸摸其周圍的圖標(biāo)13相對應(yīng)的包括在標(biāo)簽圖像中的文字“執(zhí)行”。同樣在功能標(biāo)簽表170中搜索與中指和中指觸摸其周圍的圖標(biāo)13相對應(yīng)的包括在標(biāo)簽圖像中的文字“菜單”。然后使HMD 122顯示如下圖像，在該圖像中將包括文字“執(zhí)行”的標(biāo)簽圖像161疊加到食指的位置上而將包括字符“菜單”的標(biāo)簽圖像162疊加到中指的位置上。同樣在用戶如圖19B中所示將他的或者她的相互接合的食指和中指放置在圖標(biāo) 13的周圍上時，相機32拍攝包括接合的食指和中指的圖像。在功能標(biāo)簽表170中搜索與食指和中指以及食指和中指觸摸其周圍的圖標(biāo)13相對應(yīng)的包括在標(biāo)簽圖像中的文字“復(fù)制”。然后使HMD 122顯示如下圖像，在該圖像中將包括文字“復(fù)制”的標(biāo)簽圖像163疊加到與接合的食指和中指相對應(yīng)的位置上(例如在圖19A和19B的例子中疊加在食指與中指之間的中點上)。[信息處理裝置進(jìn)行的典型過程的說明]圖20和21是說明功能執(zhí)行處理部180進(jìn)行的標(biāo)簽顯示過程的流程圖。在步驟S41中，手指類型識別部141獲取由相機32拍攝并且從相機32發(fā)送的圖像。在步驟S42中，基于預(yù)先存儲于存儲部68中的手指信息92和從相機32獲取的圖像，手指類型識別部141識別圖像中包括的一個或者多個手指的類型和位置。手指類型識別部141將這樣識別的手指類型和手指位置供應(yīng)到標(biāo)簽顯示控制部182。在步驟S43中，基于從手指類型識別部141饋送的一個或者多個手指類型，標(biāo)簽顯示控制部182確定是否已經(jīng)識別多個鄰近手指的類型。鄰近手指的類型由“食指和中指”、 “中指和無名指”、“無名指和小指”、“食指、中指和無名指”、“中指、無名指和小指”或者“食指、中指、無名指和小指”組成。如果在步驟S43中確定已經(jīng)識別多個鄰近手指的類型，則到達(dá)步驟S44。在步驟 S44中，標(biāo)簽顯示控制部182基于從手指類型識別部141饋送的手指的位置及其類型來計算在每兩個鄰近手指之間的距離。具體而言，標(biāo)簽顯示控制部182計算在食指與中指之間、在中指與無名指之間或者在無名指與小指之間的距離。然后將控制轉(zhuǎn)移到步驟S45。如果在步驟S43中確定未識別多個鄰近手指的類型、即識別的手指是手指中的僅一個、食指以及無名指、食指以及小指或者中指以及小指，則將控制轉(zhuǎn)移到步驟S45。在步驟S45中，標(biāo)簽顯示控制部182取食指作為待處理的目標(biāo)手指。在步驟S46中，標(biāo)簽顯示控制部182確定手指類型識別部141是否已經(jīng)識別目標(biāo)手指的類型、即是否從手指類型識別部141供應(yīng)目標(biāo)手指的類型。如果在步驟S46中確定已經(jīng)識別目標(biāo)手指的類型，則到達(dá)步驟S47。在步驟S47中， 標(biāo)簽顯示控制部182確定手指類型識別部141是否識別目標(biāo)手指的右側(cè)手指的類型。具體而言，如果目標(biāo)手指是食指，則標(biāo)簽顯示控制部182確定是否識別中指。如果目標(biāo)手指是中指，則標(biāo)簽顯示控制部182確定是否識別無名指。如果目標(biāo)手指是無名指，則標(biāo)簽顯示控制部182確定是否識別小指。如果在步驟S47中確定識別目標(biāo)手指的右側(cè)手指的類型，則到達(dá)步驟S48。在步驟S48中，標(biāo)簽顯示控制部182確定在步驟S44中計算的在目標(biāo)手指與目標(biāo)手指的右側(cè)手指之間的距離是否少于閾值。如果在步驟S48中確定在目標(biāo)手指與目標(biāo)手指的右側(cè)手指之間的距離不少于閾值，則標(biāo)簽顯示控制部182確定目標(biāo)手指和目標(biāo)手指的右側(cè)手指不接合。在這種情況下，將控制轉(zhuǎn)移到步驟S49。如果在步驟S47中確定未識別目標(biāo)手指的右側(cè)手指，則將控制轉(zhuǎn)移到步驟S49。在步驟S49中，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“目標(biāo)手指”和觸摸位置“目標(biāo)手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。也就是說，如果識別目標(biāo)手指的類型、但是未識別目標(biāo)手指的右側(cè)手指的類型，或者如果識別目標(biāo)手指的類型和目標(biāo)手指的右側(cè)手指的類型、但是目標(biāo)手指和目標(biāo)手指的右側(cè)手指不接合，則在功能標(biāo)簽表170中搜索與手指類型“目標(biāo)手指”和觸摸位置“目標(biāo)手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的位置。在步驟S50中，標(biāo)簽顯示控制部182確定是否通過對功能標(biāo)簽表170的搜索檢測到與手指類型“目標(biāo)手指”和觸摸位置“目標(biāo)手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果在步驟S50中確定檢測到討論的文字，則標(biāo)簽顯示控制部182生成包括檢測到的文字的標(biāo)簽圖像并且將控制轉(zhuǎn)移到步驟S51。在步驟S51中，標(biāo)簽顯示控制部182將包括檢測到的文字的標(biāo)簽圖像疊加到目標(biāo)手指在從相機32發(fā)送的圖像中的位置上。然后將控制轉(zhuǎn)移到步驟S52。如果在步驟S50中確定未檢測到討論的文字、即在功能標(biāo)簽表170中未發(fā)現(xiàn)與手指類型“目標(biāo)手指”和觸摸位置“目標(biāo)手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字， 則將控制轉(zhuǎn)移到步驟S52。如果在步驟S46中確定手指類型識別部141未識別目標(biāo)手指的類型，則也將控制轉(zhuǎn)移到步驟S52。在步驟S52中，標(biāo)簽顯示控制部182確定目標(biāo)手指是否為無名指。如果在步驟S52 中確定目標(biāo)手指不是無名指，則到達(dá)步驟S53。在步驟S53中，標(biāo)簽顯示控制部182取當(dāng)前目標(biāo)手指的右側(cè)手指作為新目標(biāo)手指并且將控制轉(zhuǎn)移回到步驟S46。
當(dāng)如上文所述實現(xiàn)步驟S45至S53時，在與食指分離的中指旁邊的食指的位置、在均與中指分離的食指和無名指旁邊的中指的位置以及在均與無名指分離的中指和小指旁邊的無名指的位置各自疊加有向討論的手指的位置和類型分配的功能的標(biāo)簽圖像。如果在步驟S52中確定目標(biāo)手指是無名指，則將控制轉(zhuǎn)移到圖21的步驟S68。如果在步驟S48中確定在目標(biāo)手指與目標(biāo)手指的右側(cè)手指之間的距離少于閾值， 則標(biāo)簽顯示控制部182確定目標(biāo)手指和目標(biāo)手指的右側(cè)手指相互接合。在這種情況下，將控制轉(zhuǎn)移到步驟S54。在步驟SM中，標(biāo)簽顯示控制部182確定目標(biāo)手指是否為無名指。如果在步驟S54 中確定目標(biāo)手指不是無名指、即目標(biāo)手指是食指或者中指，則將控制轉(zhuǎn)移到步驟S55。在步驟S55中，標(biāo)簽顯示控制部182確定手指類型識別部141是否識別目標(biāo)手指的右側(cè)隔開一個的手指的類型。如果目標(biāo)手指是食指，則目標(biāo)手指的右側(cè)隔開一個的手指是無名指；如果目標(biāo)手指是中指，則目標(biāo)手指的右側(cè)隔開一個的手指是小指。如果在步驟S55中確定識別目標(biāo)手指的右側(cè)隔開一個的手指的類型，則到達(dá)圖21 的步驟S61。在步驟S61中，標(biāo)簽顯示控制部182確定目標(biāo)手指的右側(cè)手指與目標(biāo)手指的右側(cè)隔開一個的手指之間的距離是否少于閾值。具體而言，如果目標(biāo)手指是食指，則標(biāo)簽顯示控制部182確定在步驟S44中計算的在中指與無名指之間的距離是否少于閾值。如果目標(biāo)手指是中指，則標(biāo)簽顯示控制部182確定在步驟S44中計算的在無名指與小指之間的距離是否少于閾值。如果在步驟S61中確定目標(biāo)手指的右側(cè)手指與目標(biāo)手指的右側(cè)隔開一個的手指之間的距離不少于閾值，則標(biāo)簽顯示控制部182確定目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指相互分離。標(biāo)簽顯示控制部182然后將控制轉(zhuǎn)移到圖20中的步驟S56。如果在步驟S54中確定目標(biāo)手指是無名指，或者如果在步驟S55中確定未識別目標(biāo)手指的右側(cè)隔開一個的手指的類型，則將控制轉(zhuǎn)移到步驟S56。在步驟S56中，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“目標(biāo)手指和目標(biāo)手指的右側(cè)手指”以及與觸摸位置“目標(biāo)手指和目標(biāo)手指的右側(cè)手指的位置周圍” 相對應(yīng)的包括在標(biāo)簽圖像中的文字。在步驟S57中，確定是否通過搜索檢測到與手指類型“目標(biāo)手指和目標(biāo)手指的右側(cè)手指”以及與觸摸位置“目標(biāo)手指和目標(biāo)手指的右側(cè)手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果在步驟S57中確定檢測到討論的文字，則標(biāo)簽顯示控制部182生成包括檢測到的文字的標(biāo)簽圖像，并且將控制轉(zhuǎn)移到步驟S58。在步驟S58中，標(biāo)簽顯示控制部182將包括檢測到的文字的標(biāo)簽圖像疊加到從相機32發(fā)送的圖像中的與目標(biāo)手指和目標(biāo)手指的右側(cè)隔開一個的手指相對應(yīng)的一個位置上。如果在步驟S57中確定未通過搜索檢測到討論的文字，則將控制轉(zhuǎn)移到步驟S59。在步驟S59中，標(biāo)簽顯示控制部182確定目標(biāo)手指是否為無名指。如果確定目標(biāo)手指是無名指，則使標(biāo)簽顯示過程結(jié)束。如果在步驟S59中確定目標(biāo)手指不是無名指，則到達(dá)步驟S60。在步驟S60中，標(biāo)簽顯示控制部182取當(dāng)前目標(biāo)手指的右側(cè)隔開一個的手指作為新目標(biāo)手指，并且將控制轉(zhuǎn)
16移到步驟S46。當(dāng)如上文所述完成步驟SM至S61時，與“僅與中指接合的食指”、“僅與無名指接合的中指”或者“僅與小指接合的無名指”這兩個接合手指的位置相對應(yīng)的一個位置疊加有向該位置的周圍和兩個接合手指的類型分配的功能的標(biāo)簽圖像。如果在圖21的步驟S61中確定在目標(biāo)手指的右側(cè)手指與目標(biāo)手指的右側(cè)隔開一個的手指之間的距離少于閾值，則標(biāo)簽顯示控制部182確定目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指接合。在這種情況下，將控制轉(zhuǎn)移到步驟S62。在步驟S62中，標(biāo)簽顯示控制部182確定目標(biāo)手指是否為中指。如果在步驟S62 中確定目標(biāo)手指不是中指、即目標(biāo)手指是食指，則將控制轉(zhuǎn)移到步驟S63。在步驟S63中，標(biāo)簽顯示控制部182確定是否識別目標(biāo)手指的右側(cè)隔開一個的手指、即是否識別小指。如果在步驟S63中確定識別目標(biāo)手指的右側(cè)隔開一個的手指，則到達(dá)步驟S72。在步驟S72中，標(biāo)簽顯示控制部182確定在目標(biāo)手指的右側(cè)隔開一個的手指與目標(biāo)手指的右側(cè)隔開兩個的手指之間的距離是否少于閾值。也就是說，標(biāo)簽顯示控制部182確定在圖20 的步驟S44中計算的在無名指與小指之間的距離是否少于閾值。如果在步驟S72中確定在目標(biāo)手指的右側(cè)隔開一個的手指與目標(biāo)手指的右側(cè)隔開兩個的手指之間的距離不少于閾值，則標(biāo)簽顯示控制部182確定無名指和小指相互分離。在這種情況下，將控制轉(zhuǎn)移到步驟S64。如果在步驟S62中確定目標(biāo)手指是中指，或者如果在步驟S63中確定未識別目標(biāo)手指的右側(cè)隔開兩個的手指的類型，則將控制轉(zhuǎn)移到步驟S64。在步驟S64中，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“目標(biāo)手指、目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指”以及與觸摸位置“目標(biāo)手指、 目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。在步驟S65中，標(biāo)簽顯示控制部182確定是否通過搜索檢測到與手指類型“目標(biāo)手指、目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指”以及與觸摸位置“目標(biāo)手指、 目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果在步驟S65中確定通過搜索檢測到討論的文字，則標(biāo)簽顯示控制部182生成包括檢測到的文字的標(biāo)簽圖像，并且將控制轉(zhuǎn)移到步驟S66。在步驟S66中，標(biāo)簽顯示控制部182將包括檢測到的文字的標(biāo)簽圖像疊加到與目標(biāo)手指、目標(biāo)手指的右側(cè)手指和目標(biāo)手指的右側(cè)隔開一個的手指的位置相對應(yīng)的一個位置上。然后將控制轉(zhuǎn)移到步驟S67。如果在步驟S65中確定未通過搜索檢測到討論的文字，則將控制轉(zhuǎn)移到步驟S67。當(dāng)如上文所述實現(xiàn)步驟S61至S66和步驟S72時，與“與小指分開的接合在一起的食指、中指和無名指”或者“與食指分開的結(jié)合在一起的中指、無名指和小指”這三個接合手指的位置相對應(yīng)的一個位置疊加有向三個接合手指的位置周圍及其類型分配的功能的標(biāo)簽圖像。在步驟S67中，標(biāo)簽顯示控制部182確定目標(biāo)手指是否為中指。如果在步驟S67
17中確定目標(biāo)手指是中指，則將控制轉(zhuǎn)移到步驟S76。如果在步驟S64中確定目標(biāo)手指不是中指、即目標(biāo)手指是食指，則將控制轉(zhuǎn)移到步驟S68。在步驟S68中，標(biāo)簽顯示控制部182確定手指類型識別部141是否識別小指作為手指類型。如果在步驟S69中確定識別小指，則到達(dá)步驟S69。在步驟S69中，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“小指”和觸摸位置“小指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。在步驟S70中，標(biāo)簽顯示控制部182確定是否通過搜索檢測到與手指類型“小指” 和觸摸位置“小指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果在步驟S70中確定通過搜索檢測到討論的文字，則標(biāo)簽顯示控制部182生成包括檢測到的文字的標(biāo)簽圖像，并且將控制轉(zhuǎn)移到步驟S71。在步驟S71中，標(biāo)簽顯示控制部182將包括檢測到的文字的標(biāo)簽圖像疊加到在從相機32發(fā)送的圖像中小指的位置上。然后將控制轉(zhuǎn)移到步驟S76。如果在步驟S68中確定未識別小指，或者如果在步驟S70中確定未通過搜索檢測到討論的文字，則將控制轉(zhuǎn)移到步驟S76。當(dāng)如上文所述實現(xiàn)步驟S68至S71時，與食指分離的小指的位置疊加有向小指的位置周圍和手指類型“小指”分配的功能的標(biāo)簽圖像。如果在步驟S72中確定在目標(biāo)手指的右側(cè)隔開一個的手指與目標(biāo)手指的右側(cè)隔開兩個的手指之間的距離少于閾值，則標(biāo)簽顯示控制部182確定無名指和小指接合。在這種情況下，將控制轉(zhuǎn)移到步驟S73。在步驟S73中，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“目標(biāo)手指、目標(biāo)手指的右側(cè)手指、目標(biāo)手指的右側(cè)隔開一個的手指和目標(biāo)手指的右側(cè)隔開兩個的手指”以及觸摸位置“目標(biāo)手指、目標(biāo)手指的右側(cè)手指、目標(biāo)手指的右側(cè)隔開一個的手指和目標(biāo)手指的右側(cè)隔開兩個的手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。也就是說，標(biāo)簽顯示控制部182在功能標(biāo)簽表170中搜索與手指類型“食指、中指、無名指和小指” 以及觸摸位置“食指、中指、無名指和小指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。在步驟S74中確定是否通過搜索檢測到與手指類型“目標(biāo)手指、目標(biāo)手指的右側(cè)手指、目標(biāo)手指的右側(cè)隔開一個的手指和目標(biāo)手指的右側(cè)隔開兩個的手指”以及觸摸位置 “目標(biāo)手指、目標(biāo)手指的右側(cè)手指、目標(biāo)手指的右側(cè)隔開一個的手指和目標(biāo)手指的右側(cè)隔開兩個的手指的位置周圍”相對應(yīng)的包括在標(biāo)簽圖像中的文字。如果在步驟S74中確定通過搜索檢測到討論的文字，則標(biāo)簽顯示控制部182生成包括檢測到的文字的標(biāo)簽圖像，并且將控制轉(zhuǎn)移到步驟S75。在步驟S75中，標(biāo)簽顯示控制部182將包括檢測到的文字的標(biāo)簽圖像疊加到與目標(biāo)手指、目標(biāo)手指的右側(cè)手指、目標(biāo)手指的右側(cè)隔開一個的手指和目標(biāo)手指的右側(cè)隔開兩個的手指的位置相對應(yīng)的一個位置上。然后將控制轉(zhuǎn)移到步驟S76。當(dāng)如上文所述實現(xiàn)步驟S72至S75時，與接合在一起的食指、中指、無名指和小指的位置相對應(yīng)的一個位置疊加有向這些手指的位置周圍以及手指類型“食指、中指、無名指和小指”分配的功能的標(biāo)簽圖像。如果在步驟S74中確定未通過搜索檢測到討論的文字，則將控制轉(zhuǎn)移到步驟S76。
在步驟S76中，標(biāo)簽顯示控制部182控制通信部132以向HMD 122發(fā)送從相機32 發(fā)送的并且未疊加上述步驟獲得的標(biāo)簽圖像的圖像或者從相機32饋送的并且疊加有所得標(biāo)簽圖像的圖像以供顯示。這使標(biāo)簽顯示過程結(jié)束。如上文所述，圖16中的信息處理裝置121向一個或者多個手指的觸摸位置及其類型的組合分配功能。與其中向單個手指的觸摸位置及其類型的組合分配功能的普通設(shè)置比較，本發(fā)明的布置允許向用指尖觸摸相關(guān)位置的單個動作分配更多功能。同樣，在圖16的信息處理裝置121中，與接合在一起的多個手指的位置相對應(yīng)的單個位置疊加有與這些手指的位置周圍及其類型相對應(yīng)的功能的標(biāo)簽圖像。這種布置比其中各手指的位置疊加有標(biāo)簽圖像的普通設(shè)置提供更佳的可見性。功能執(zhí)行處理部180進(jìn)行的功能執(zhí)行過程與上文參照圖9說明的功能執(zhí)行過程相同，不同在于確定觸摸該屏的多個手指是否接合在一起并且如果發(fā)現(xiàn)多個手指接合在一起，則在圖9的過程中將通過搜索檢測到的目標(biāo)替換為與多個接合手指的類型及其在屏上的觸摸位置相對應(yīng)的功能。因此從附圖中省略對功能執(zhí)行處理部180實現(xiàn)的功能執(zhí)行過程的進(jìn)一步圖示。<第三實施例>[作為第三實施例的信息處理系統(tǒng)的典型配置]圖22是示出了作為本發(fā)明第三實施例的信息處理系統(tǒng)的典型配置的示意圖。在圖22中，圖4中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖22中的信息處理系統(tǒng)200的配置與圖4中的配置主要不同在于以下兩點信息處理裝置31替換為信息處理裝置201，以及省略配備有相機32的護(hù)目鏡33。信息處理裝置201還配有圖4和10中所示相機32提供的成像工具，從而在使用信息處理系統(tǒng)200時用戶僅需持有信息處理裝置201。在信息處理系統(tǒng)200中，信息處理裝置201是可以通過用指尖觸摸來操作的裝置并且包括觸摸屏監(jiān)視器211等。觸摸屏監(jiān)視器211具有成像功能和顯示功能。通過用觸摸屏監(jiān)視器211的成像功能拍攝它的圖像等，觸摸屏監(jiān)視器211檢測觸摸該屏的一個或者多個手指的類型和位置。使用它的顯示功能，觸摸屏監(jiān)視器211顯示圖標(biāo)13等。后文將參照圖M具體說明觸摸屏監(jiān)視器211。通過注視觸摸屏監(jiān)視器211上顯示的圖標(biāo)13等，用戶用他的或者她的指尖觸摸該屏上的相關(guān)位置以便執(zhí)行期望的功能。具體而言，基于由觸摸屏監(jiān)視器211拍攝的圖像，信息處理裝置201識別觸摸觸摸屏監(jiān)視器211的手指的位置和類型。信息處理裝置201然后執(zhí)行向討論的手指的位置和類型分配的功能。[信息處理裝置的典型硬件結(jié)構(gòu)]圖23是示出了圖22中包括的信息處理裝置201的典型硬件結(jié)構(gòu)的框圖。在圖23中，圖5中已經(jīng)示出的那些組件由相同標(biāo)號表示，并且下文將在多余時省略它們的描述。圖23中的信息處理裝置201的結(jié)構(gòu)與圖5中的結(jié)構(gòu)主要不同在于以下兩點觸摸屏監(jiān)視器41替換為觸摸屏監(jiān)視器211以及通信部69替換為通信部212。觸摸屏監(jiān)視器212拍攝包括觸摸屏監(jiān)視器211的圖像并且顯示這樣拍攝的圖像。通信部212與未示出的外部設(shè)備通信。[觸摸屏監(jiān)視器的典型具體結(jié)構(gòu)]圖M是示出了觸摸屏監(jiān)視器211的典型具體結(jié)構(gòu)的框圖。如圖M中所示，觸摸屏監(jiān)視器211由I/O顯示屏211、背光222、顯示驅(qū)動電路223 和受光驅(qū)動電路2 組成。I/O顯示屏221是如下IXD，在該IXD中與多個像素對應(yīng)的電路以矩陣形式排列以在屏的中心構(gòu)成顯示區(qū)221A。與各像素對應(yīng)的電路由像素部件(由TFT(薄膜晶體管)和位于液晶側(cè)面的電極組成)和傳感器部件(由與TFT相同的層形成的光學(xué)傳感器、重置開關(guān)、電容器等組成)構(gòu)成。在顯示驅(qū)動電路223的控制之下，I/O顯示屏221中的各像素的像素部件進(jìn)行線順序操作以在顯示區(qū)221A上顯示來自CPU 61的圖像等。同樣，在受光驅(qū)動電路224的控制之下，I/O顯示屏221中的各像素的傳感器部件進(jìn)行線順序操作以獲取受光數(shù)據(jù)。也就是說，I/O顯示屏221的像素部件顯示圖像而其上的傳感器部件拍攝圖像。背光222作為用于I/O顯示屏221的光源。例如背光222由排列于屏內(nèi)的多個發(fā)光二極管形成。背光222與從顯示驅(qū)動電路223饋送的并且代表I/O顯示屏221的操作定時的信號同步以高速接通和關(guān)斷發(fā)光二極管。背光222發(fā)射兩種光用于顯示圖像的可見光和用于拍攝圖像的紫外線光?；趶腃PU 61饋送的圖像等，顯示驅(qū)動電路223使I/O顯示屏221進(jìn)行線順序操作以便在顯示區(qū)221A上顯示討論的圖像。顯示驅(qū)動電路223還向背光222供應(yīng)代表線順序操作定時的信號。受光驅(qū)動電路224使I/O顯示屏221進(jìn)行線順序操作以便拍攝圖像。受光驅(qū)動電路2M還向CPU 61供應(yīng)由作為成像的結(jié)果而獲取的各像素的受光數(shù)據(jù)組成的圖像。附帶提一點，在本申請人更早提交的特開2009-63803號日本專利中找到對觸摸屏監(jiān)視器211的更具體的說明。[信息處理裝置的典型功能結(jié)構(gòu)]圖25是示出了信息處理裝置201的CPU 61實施的功能執(zhí)行處理部的典型功能結(jié)構(gòu)的框圖。功能執(zhí)行處理部MO的結(jié)構(gòu)與圖6中的結(jié)構(gòu)主要不同在于以下兩點位置獲取部 101替換為位置檢測部241 (檢測裝置)以及手指類型識別部102替換為手指類型識別部 242。位置檢測部241通?；趶挠|摸屏監(jiān)視器211饋送的圖像的像素值大小來檢測物體觸摸觸摸屏監(jiān)視器211的位置作為觸摸位置。位置檢測部Ml將這樣檢測到的觸摸位置供應(yīng)給功能識別部103和手指類型識別部M2。手指類型識別部242基于從觸摸屏監(jiān)視器211供應(yīng)的圖像、預(yù)先存儲于存儲部68 中的手指信息92和來自位置檢測部241的觸摸位置來識別觸摸觸摸屏監(jiān)視器211的手指的類型。手指類型識別部242將識別的手指類型饋送給功能識別部103。[信息處理裝置進(jìn)行的過程的說明]圖沈是說明功能執(zhí)行處理部240進(jìn)行的功能執(zhí)行過程的流程圖。在圖沈的步驟S81中，位置檢測部241獲取從觸摸監(jiān)視器211供應(yīng)的圖像。
在步驟S82中，位置檢測部241通?；趶挠|摸屏監(jiān)視器211饋送的圖像的像素值大小來確定對象是否觸摸觸摸屏監(jiān)視器211。如果在步驟S82中確定對象觸摸觸摸屏監(jiān)視器211，則將控制轉(zhuǎn)移到步驟S83。在步驟S83中，位置檢測部241通?；趤碜杂|摸屏監(jiān)視器211的圖像的像素值大小來檢測物體觸摸觸摸屏監(jiān)視器211的位置作為觸摸位置。位置檢測部Ml將觸摸位置發(fā)送到功能識別部103和手指類型識別部M2。在步驟S84中，手指類型識別部242基于手指信息92、來自觸摸屏監(jiān)視器211的圖像和來自位置檢測部241的觸摸位置來識別觸摸觸摸屏監(jiān)視器211的手指的類型。手指類型識別部242將識別的手指類型供應(yīng)給功能識別部103。步驟S85至S87與圖9中的步驟S15至S17相同并且因此將不進(jìn)一步加以討論。如果在步驟S82中確定沒有物體觸摸觸摸屏監(jiān)視器211，則使功能執(zhí)行過程結(jié)束。[手指信息的其它例子]圖27和觀是說明手指信息92的其它例子的示意圖。在前文描述中，示出了手指信息92為各手指的圖像或者用于標(biāo)識各手指的形狀的信息。可替換地，如圖27中所示，用戶可以讓他的或者她的手指在期望的位置(在圖27 的例子中為指甲)上涂有唯一顏色。在這樣的情況下，顏色信息可以用作手指信息92。具體而言，在圖27的例子中，用戶讓他的或者她的食指的指甲涂有與涂在中指的指甲上的顏色302不同的顏色301。在這種情況下，信息處理裝置31 (120，201)建立在顏色 301與手指類型“食指”之間以及在顏色302與手指類型“中指”之間的對應(yīng)并且存儲這些對應(yīng)的表作為手指信息92。然后信息處理裝置31(121,201)可以通過在手指信息92中搜索與相機32 (觸摸屏監(jiān)視器211)拍攝的圖像的顏色相對應(yīng)的手指類型來識別手指類型。同樣，如圖觀中所示，用戶可以讓他的或者她的手指在期望的位置(在圖觀的例子中為指甲)上涂有標(biāo)記、比如紙條，各標(biāo)記具有繪制于其上的唯一定位的標(biāo)志。在這樣的情況下，表示標(biāo)志在標(biāo)記上的位置的信息可以用作手指信息92。具體而言，在圖觀的例子中，用戶讓他的或者她的食指的指甲涂有在其底部中心繪制有標(biāo)志311A的標(biāo)記311而讓他的或者她的中指的指甲涂有在其頂部中心繪制有標(biāo)志 312A的標(biāo)記312。在這種情況下，信息處理裝置31 (121，201)建立在標(biāo)志311A在標(biāo)記311 上的位置“底部中心”與手指類型“食指”之間以及在標(biāo)志312A在標(biāo)記312上的位置“頂部中心”與食指類型“中指”之間的對應(yīng)并且存儲這些對應(yīng)的表作為手指信息92。然后信息處理裝置31 (121，201)可以從相機32 (觸摸屏監(jiān)視器211)拍攝的圖像中提取標(biāo)記311 (312) 并且通過在手指信息92中搜索與標(biāo)志311A(312A)在提取的標(biāo)記311 (312)上的位置相對應(yīng)的手指類型來識別手指類型。用戶可以預(yù)先建立或者可以在以后設(shè)置上文結(jié)合圖27和觀說明的手指信息92。功能表91和功能標(biāo)簽表131(170)可以由用戶建立。在這種情況下，允許用戶定制分配給手指的類型與它們的觸摸位置的組合的功能。在本說明書中，計算機根據(jù)相關(guān)程序進(jìn)行的步驟或者過程無需以流程圖中的所示序列(即在時間順序基礎(chǔ)上)來進(jìn)行。也就是說，這樣的步驟或者過程也可以包括并行或者個別進(jìn)行(例如以并行或者面向?qū)ο蟮姆绞?進(jìn)行的步驟或者過程。程序可以由單個計算機處理或者在分布式基礎(chǔ)上由多個計算機處理。也可以向一
21個或者多個遠(yuǎn)程計算機傳送程序用以執(zhí)行。在本說明書中，術(shù)語“系統(tǒng)”是指由多個組成設(shè)備或者裝置組成的整個配置。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求和迄今為止的其它因素可以出現(xiàn)各種修改、組合、再組合和變更，只要它們在所附權(quán)利要求及其等效含義的范圍內(nèi)。本申請包含與在2010年3月1日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-044611中公開的主題內(nèi)容有關(guān)的主題內(nèi)容，其全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計要求和迄今為止的其它因素可以出現(xiàn)各種修改、組合、再組合和變更，只要它們在所附權(quán)利要求及其等效含義的范圍內(nèi)。
權(quán)利要求
1.一種信息處理裝置，包括檢測單元，用于檢測物體觸摸觸敏部件的位置作為觸摸位置； 識別單元，用于基于所述觸摸位置和所述觸敏部件的圖像來識別觸摸所述觸敏部件的手指的類型；搜索單元，用于搜索功能表，所述功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向所述手指的所述觸摸位置和所述類型的組合分配的功能之間的對應(yīng)，所述搜索單元在所述功能表中搜索與所述檢測單元檢測到的所述觸摸位置和所述識別單元檢測到的所述手指類型相對應(yīng)的功能；以及執(zhí)行單元，用于執(zhí)行所述搜索單元通過所述搜索檢測到的所述功能。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，其中所述檢測單元感測所述物體對所述觸敏部件的觸摸以檢測所述觸摸的位置作為所述觸摸位置。
3.根據(jù)權(quán)利要求1所述的信息處理裝置，其中所述檢測單元基于所述觸敏部件的所述圖像來檢測所述觸摸位置。
4.根據(jù)權(quán)利要求1所述的信息處理裝置，還包括用于顯示所述觸敏部件的所述圖像的顯示控制單元；其中所述功能表限定在至少一個手指的所述觸摸位置和類型、向所述觸摸位置和所述手指類型的組合分配的所述功能以及代表所述分配的功能的功能信息之間的對應(yīng)；所述識別單元基于所述觸敏部件的所述圖像來識別放置在所述觸敏部件上的所述手指的所述類型和所述位置；并且所述顯示控制單元在所述功能表中搜索與所述手指位置的周圍和所述識別單元識別的所述手指類型相對應(yīng)的功能信息，所述顯示控制單元還將所述功能信息的圖像疊加到所述觸敏部件的所述圖像中的所述手指位置上。
5.根據(jù)權(quán)利要求4所述的信息處理裝置，其中如果多個手指接合地放置在所述觸敏部件上，則所述顯示控制單元在所述功能表中搜索與所述多個手指的位置的周圍及其類型相對應(yīng)的功能信息，所述顯示控制單元還將所述功能信息的圖像疊加到所述觸敏部件的所述圖像中的與所述多個手指的位置相對應(yīng)的一個位置上。
6.一種用于與具有觸敏部件的信息處理裝置一起使用的信息處理方法，所述信息處理方法包括以下步驟檢測物體觸摸所述觸敏部件的位置作為觸摸位置；基于所述觸摸位置和所述觸敏部件的圖像來識別觸摸所述觸敏部件的手指的類型； 搜索功能表，所述功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向所述手指的所述觸摸位置和所述類型的組合分配的功能之間的對應(yīng)，在所述功能表中搜索與在所述檢測步驟中檢測到的所述觸摸位置和在所述識別步驟中檢測到的所述手指類型相對應(yīng)的功能；并且執(zhí)行在所述搜索步驟中通過所述搜索檢測到的所述功能。
7.一種用于使計算機執(zhí)行包括以下步驟的過程的程序 檢測物體觸摸觸敏部件的位置作為觸摸位置；基于所述觸摸位置和所述觸敏部件的圖像來識別觸摸所述觸敏部件的手指的類型； 搜索功能表，所述功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向所述手指的所述觸摸位置和所述類型的組合分配的功能之間的對應(yīng)，在所述功能表中搜索與在所述檢測步驟中檢測到的所述觸摸位置和在所述識別步驟中檢測到的所述手指類型相對應(yīng)的功能；并且執(zhí)行在所述搜索步驟中通過所述搜索檢測到的所述功能。
8. 一種信息處理裝置，包括檢測部，配置成檢測物體觸摸觸敏部件的位置作為觸摸位置； 識別部，配置成基于所述觸摸位置和所述觸敏部件的圖像來識別觸摸所述觸敏部件的手指的類型；搜索部，配置成搜索功能表，所述功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向所述手指的所述觸摸位置和所述類型的組合分配的功能之間的對應(yīng)，所述搜索部在所述功能表中搜索與所述檢測部檢測到的所述觸摸位置和所述識別部檢測到的所述手指類型相對應(yīng)的功能；以及執(zhí)行部，配置成執(zhí)行所述搜索部通過所述搜索檢測到的所述功能。
全文摘要
一種信息處理裝置包括檢測部，配置成檢測物體觸摸觸敏部件的位置作為觸摸位置；識別部，配置成基于觸摸位置和觸敏部件的圖像來識別觸摸觸敏部件的手指的類型；搜索部，配置成搜索功能表，該功能表限定在一方面為至少一個手指的觸摸位置及其類型與另一方面為向手指的觸摸位置和類型的組合分配的功能之間的對應(yīng)，該搜索部在功能表中搜索與檢測部檢測到的觸摸位置和識別部檢測到的手指類型相對應(yīng)的功能；以及執(zhí)行部，配置成執(zhí)行搜索部通過搜索檢測到的功能。
文檔編號G06F3/048GK102193728SQ201110043788
公開日2011年9月21日 申請日期2011年2月22日 優(yōu)先權(quán)日2010年3月1日
發(fā)明者松田晃一 申請人:索尼公司