專利名稱：功能擴(kuò)展裝置、功能擴(kuò)展方法、功能擴(kuò)展程序以及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在擴(kuò)展現(xiàn)實(shí)空間中對(duì)識(shí)別出的物體設(shè)定功能的技術(shù)。
背景技術(shù)：
作為在擴(kuò)展現(xiàn)實(shí)空間中對(duì)作為對(duì)象而被識(shí)別出的物體設(shè)定功能的技術(shù)，以往已知一種利用預(yù)先對(duì)物體賦予的搜索功能的技術(shù)。在此，對(duì)作為對(duì)象而被識(shí)別出的物體設(shè)定的“功能”是指用戶與物體間的相互作用，由用戶進(jìn)行的一系列操作和對(duì)一系列操作各自的處理的組構(gòu)成。更詳細(xì)而言，“功能”由作為從用戶向物體的輸入的“操作”和作為對(duì)用戶的操作的反饋而被執(zhí)行的“處理”的組構(gòu)成。作為“功能”的例子，考慮寫入履歷記錄功能、顏色變更功能以及搜索功能等。在搜索功能的情況下，針對(duì)用戶指示物體的這樣的“操作”，進(jìn)行搜索所指示的物體的信息并將搜索結(jié)果在視覺上提示給用戶的這樣的“處理”。例如，在專利文獻(xiàn)I中公開了一種提供與用戶所關(guān)心的物體有關(guān)的信息的指向系統(tǒng)(pointing system)。用戶將手持式裝置指向想要訪問的物(相當(dāng)于上述的“操作”)。該手持式裝置測(cè)定位置和手勢(shì)，制作基準(zhǔn)，搜索預(yù)先編程的包含與物體有關(guān)的信息的數(shù)據(jù)庫(kù)，由此判斷哪一個(gè)物體被訪問。然后，將與被判斷為當(dāng)前被訪問的物體的物體有關(guān)的信息提示在用戶接口上(相當(dāng)于上述的“處理”)。然而，在專利文獻(xiàn)I的結(jié)構(gòu)中，預(yù)先確定對(duì)被訪問的物體提示何種信息。也就是說，預(yù)先確定對(duì)被訪問的物體賦予的功能。因而，在專利文獻(xiàn)I中，不存在針對(duì)物體在多個(gè)功能中追加或從多個(gè)功能中刪除哪個(gè)功能的機(jī)構(gòu)。因此，雖然能夠利用對(duì)物體預(yù)先確定的功能，但是無法動(dòng)態(tài)地追加或刪除功能。另外，在專利文獻(xiàn)I中，也不存在根據(jù)物體的種類確定能夠?qū)ξ矬w設(shè)定的功能的機(jī)構(gòu)、針對(duì)物體的各種類判斷能夠賦予的功能的機(jī)構(gòu)。因此，無法對(duì)物體追加與物體的種類相適應(yīng)的功能。例如，對(duì)于書這種種類的物體來說，寫入履歷記錄功能是能夠賦予的功能，對(duì)于地球儀這種種類的物體來說，搜索功能和顏色變更功能是能夠賦予的功能。然而，在專利文獻(xiàn)I的技術(shù)中，不存在針對(duì)物體的各種類判斷能夠賦予的功能的機(jī)構(gòu)。因此，在作為物體的種類存在書、白板、地球儀，作為系統(tǒng)對(duì)物體賦予的功能存在寫入履歷記錄功能、顏色變更功能以及搜索功能的情況下，無法判斷對(duì)哪個(gè)物體賦予何種功能來追加功能。專利文獻(xiàn)1:日本特表2004-531791號(hào)公報(bào)

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種對(duì)被取入擴(kuò)展現(xiàn)實(shí)空間的現(xiàn)實(shí)空間的物體能夠動(dòng)態(tài)地設(shè)定適合該物體的種類的功能的功能擴(kuò)展裝置、功能擴(kuò)展方法、功能擴(kuò)展程序以及集成電路。本發(fā)明的一方面所涉及的功能擴(kuò)展裝置，是將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間并對(duì)該物體設(shè)定功能的功能擴(kuò)展裝置，包括對(duì)象識(shí)別部，從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別；功能設(shè)定部，保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組構(gòu)成的功能被規(guī)定的功能信息，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能；輸入識(shí)別部，識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置；選擇判定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及所述輸入識(shí)別部識(shí)別出的現(xiàn)實(shí)空間中的輸入位置，判定由用戶選擇為操作對(duì)象的選擇物體；操作判定部，利用所述輸入識(shí)別部識(shí)別出的輸入動(dòng)作判定用戶的操作；處理決定部，針對(duì)所述選擇判定部所選擇的選擇物體決定對(duì)構(gòu)成由所述功能設(shè)定部設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部，執(zhí)行所述處理決定部所決定的處理。另外，本發(fā)明的另一個(gè)方面所涉及的功能擴(kuò)展方法、功能擴(kuò)展程序以及集成電路具備與所述功能擴(kuò)展裝置相同的特征。


圖1是表示本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置所適用的功能擴(kuò)展系統(tǒng)的結(jié)構(gòu)例的框圖。圖2是示意性地示出圖1所示的功能擴(kuò)展系統(tǒng)識(shí)別現(xiàn)實(shí)空間的物體、設(shè)定與該物體的種類相適應(yīng)的功能的處理以及利用所設(shè)定的功能的處理的一例的圖。圖3是示意性地示出功能設(shè)定部所保存的功能信息的一例的圖。圖4 (A)是示出表示功能設(shè)定部對(duì)由對(duì)象識(shí)別部作為對(duì)象識(shí)別出的各物體設(shè)定的功能的功能設(shè)定信息的一例的圖，(B)是示意性地示出本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置對(duì)作為對(duì)象識(shí)別出的物體設(shè)定的功能的一例的圖。圖5是表示在本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置中執(zhí)行的初始化處理的一例的流程圖。圖6是表示本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置對(duì)物體進(jìn)行對(duì)象識(shí)別并對(duì)作為對(duì)象識(shí)別出的物體設(shè)定功能的處理的一例的流程圖。圖7是表示本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置對(duì)用戶的操作進(jìn)行識(shí)別并執(zhí)行對(duì)物體設(shè)定的功能時(shí)的處理的一例的流程圖。
具體實(shí)施例方式下面，參照附圖來說明本發(fā)明的實(shí)施方式。此外，說明中使用的附圖是為了說明本發(fā)明可采用的技術(shù)特征而使用的，所記載的裝置的結(jié)構(gòu)和處理等只不過示出簡(jiǎn)單的一例。因而，只要沒有特殊的以限定為目的的記載，則裝置的結(jié)構(gòu)和處理并不限定于所記載的內(nèi)容。本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置將存在于現(xiàn)實(shí)空間的物體進(jìn)行對(duì)象識(shí)別，并取入到擴(kuò)展現(xiàn)實(shí)空間，對(duì)作為對(duì)象識(shí)別出的物體追加新的功能，讓用戶利用所追加的功能。也就是說，本功能擴(kuò)展裝置對(duì)作為對(duì)象識(shí)別出的物體不僅設(shè)定固定的功能，而且還追加與該物體的種類相適應(yīng)的功能、與該物體相稱的功能，讓用戶利用固定的功能以及追加的功能。在此，對(duì)作為對(duì)象識(shí)別出的物體設(shè)定的“功能”是指用戶與物體間的相互作用(interaction)，由用戶的一系列操作和處理的組構(gòu)成。在此，“操作”是指用戶對(duì)物體進(jìn)行的操作。另外，“處理”是指從物體對(duì)用戶作為上述的“操作”的反饋而被執(zhí)行的處理。更詳細(xì)而言，“功能”由作為從用戶向物體的輸入的“操作”和作為從物體向用戶的輸出、作為“操作”的反饋而被執(zhí)行的“處理”的組構(gòu)成。作為“功能”，例如包括寫入履歷記錄功能、顏色變更功能、搜索功能等。在此，搜索功能例如包括用戶指示物體的“操作”、以及從數(shù)據(jù)庫(kù)搜索與所指示的物體有關(guān)的信息并將搜索結(jié)果在視覺上提示給用戶的“處理”的組。在此，作為“處理”，例如相當(dāng)于對(duì)由用戶操作的物體同步或非同步地輸出影像的處理。作為對(duì)物體同步地輸出影像的處理，可舉出例如在用戶對(duì)物體進(jìn)行了操作時(shí)，生成與操作對(duì)象的物體相關(guān)聯(lián)的圖形，并將所生成的圖形重疊到操作對(duì)象的物體而進(jìn)行輸出。另夕卜，作為對(duì)物體非同步地輸出影像的處理，可舉出例如在用戶對(duì)物體進(jìn)行了操作時(shí)，保存與操作內(nèi)容相應(yīng)的數(shù)據(jù)，在對(duì)物體的操作結(jié)束之后，從所保存的數(shù)據(jù)生成圖形，并將所生成的圖形與物體相關(guān)聯(lián)地輸出。由此，在擴(kuò)展現(xiàn)實(shí)空間中，用戶通過頭戴式顯示器、3D立體視覺電視或觸覺輸出設(shè)備等輸出設(shè)備能夠利用對(duì)物體追加的新的功能。例如，在作為“功能”追加了寫入履歷記錄功能的情況下，如果用戶對(duì)現(xiàn)實(shí)空間的書進(jìn)行“描”的操作，則在描過的位置處劃下線的圖形被重疊在擴(kuò)展現(xiàn)實(shí)空間的書上加以顯示。在此，作為重疊顯示，可以僅將伴隨操作的圖形重疊在擴(kuò)展現(xiàn)實(shí)空間的物體上進(jìn)行顯示，也可以將伴隨操作的圖形進(jìn)一步重疊在重疊顯示的圖形上進(jìn)行顯示。另外，在用戶再次打開了用戶過去操作過的擴(kuò)展現(xiàn)實(shí)空間的某書時(shí)，根據(jù)在過去的操作時(shí)保存的數(shù)據(jù)生成圖形，并重疊在物體上顯示。由此，用戶能夠獲得在擴(kuò)展現(xiàn)實(shí)空間中用手指對(duì)書畫下劃線，事后確認(rèn)下劃線的體驗(yàn)。在本實(shí)施方式中，作為“操作”，以用戶移動(dòng)手來輸入操作為基本進(jìn)行說明。然而，本發(fā)明中的“操作”并不限定于手的移動(dòng)，也可以采用視線、聲音(語言)等作為操作。另外，在本實(shí)施方式中，作為“處理”，以將圖形重疊在物體上進(jìn)行顯示的影像輸出為基本進(jìn)行說明。然而，作為“處理”，并不限定于影像輸出，例如也可以采用聲音輸出、觸覺輸出等其它輸出。下面，以將本發(fā)明的實(shí)施方式中的功能擴(kuò)展裝置應(yīng)用于功能擴(kuò)展系統(tǒng)的情況為例具體進(jìn)行說明。圖1是表示應(yīng)用本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置1002的功能擴(kuò)展系統(tǒng)1001的結(jié)構(gòu)例的框圖。此外，圖1所示的功能擴(kuò)展系統(tǒng)1001例如搭載于頭戴式顯示器(HMD)。另外，圖1所示的功能擴(kuò)展裝置1002例如由具備CPU、ROM以及RAM等的微型計(jì)算機(jī)構(gòu)成，例如通過CPU執(zhí)行本發(fā)明的功能擴(kuò)展程序來實(shí)現(xiàn)各模塊的功能。擴(kuò)展功能程序保存在例如ROM或RAM等的存儲(chǔ)裝置中。具體而言，對(duì)象識(shí)別部1101、3D模型管理部1102、輸入識(shí)別部1104、選擇判定部
1105、操作判定部1106、處理決定部1107、圖形生成部1108、影像輸出控制部1109、觸覺輸出控制部1110分別是例如存儲(chǔ)在存儲(chǔ)裝置1007中的擴(kuò)展功能程序所包含的程序，從存儲(chǔ)裝置1007讀出并由CPU執(zhí)行，功能設(shè)定部1103是存儲(chǔ)在存儲(chǔ)裝置1007中的擴(kuò)展功能程序所包含的程序，從存儲(chǔ)裝置1007讀出并由CPU執(zhí)行。從存儲(chǔ)裝置1007讀出并由CPU執(zhí)行的功能設(shè)定部1103例如從存儲(chǔ)裝置1007讀出功能信息并保存在RAM中。此外，雖然是將圖1所示的功能擴(kuò)展裝置1002所包含的對(duì)象識(shí)別部1101、3D模型管理部1102、輸入識(shí)別部1104、選擇判定部1105、操作判定部1106、處理決定部1107、圖形生成部1108、影像輸出控制部1109、觸覺輸出控制部1110以及功能設(shè)定部1103作為分別保存在存儲(chǔ)裝置1007中的程序并由CPU執(zhí)行，但是無需限定于此。例如，也可以利用專用的處理電路(例如LSI等集成電路)來構(gòu)成圖1所示的功能擴(kuò)展裝置1002所包含的對(duì)象識(shí)別部1101、3D模型管理部1102、輸入識(shí)別部1104、選擇判定部1105、操作判定部1106、處理決定部1107、圖形生成部1108、影像輸出控制部1109、觸覺輸出控制部1110以及功能設(shè)定部1103。功能擴(kuò)展系統(tǒng)1001具備功能擴(kuò)展裝置1002、影像輸入裝置1003、用戶輸入識(shí)別裝置1004、影像輸出裝置1005、觸覺輸出裝置1006、存儲(chǔ)裝置1007以及通信部1008。功能擴(kuò)展裝置1002具備對(duì)象識(shí)別部1101、3D模型管理部1102、功能設(shè)定部1103、輸入識(shí)別部1104、選擇判定部1105、操作判定部1106、處理決定部1107、圖形生成部1108、影像輸出控制部1109(執(zhí)行部的一例)以及觸覺輸出控制部1110(執(zhí)行部的一例)。下面，說明功能擴(kuò)展裝置1002所具備的各結(jié)構(gòu)。對(duì)象識(shí)別部1101從由影像輸入裝置1003獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別該影像數(shù)據(jù)所包含的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別。具體而言，由影像輸入裝置1003向?qū)ο笞R(shí)別部1101提供影像輸入裝置1003通過拍攝現(xiàn)實(shí)空間而獲取到的影像數(shù)據(jù)。然后，對(duì)象識(shí)別部1101對(duì)提供的影像數(shù)據(jù)中所包含的物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置進(jìn)行識(shí)別，并通知給3D模型管理部1102。在此，在影像輸入裝置1003例如由3D照相機(jī)構(gòu)成的情況下，對(duì)象識(shí)別部1101可以進(jìn)行下述的處理來識(shí)別物體。首先，對(duì)象識(shí)別部1101從影像輸入裝置1003獲取視線不同的2個(gè)系統(tǒng)的影像數(shù)據(jù)。然后，影像輸入裝置1003對(duì)其中之一系統(tǒng)的影像數(shù)據(jù)進(jìn)行特征點(diǎn)提取處理來提取影像數(shù)據(jù)所包含的特征點(diǎn)。作為特征點(diǎn)，例如是物體的輪廓上的點(diǎn)，相當(dāng)于頂點(diǎn)、曲率大的點(diǎn)等的帶有物體的形狀特征的點(diǎn)。然后，對(duì)象識(shí)別部1101對(duì)從影像數(shù)據(jù)提取出的特征點(diǎn)進(jìn)行群集來分為多個(gè)特征點(diǎn)群，從特征點(diǎn)群的特征點(diǎn)的配置圖案確定特征點(diǎn)群所表示的物體。在這種情況下，對(duì)象識(shí)別部1101針對(duì)各種物體預(yù)先保存作為基準(zhǔn)的特征點(diǎn)的配置圖案即基準(zhǔn)配置圖案，通過將該基準(zhǔn)配置圖案與從影像數(shù)據(jù)提取出的特征點(diǎn)的配置圖案進(jìn)行比較，來確定特征點(diǎn)群所表示的物體即可。此外，作為這種識(shí)別物體的技術(shù)，例如在數(shù)碼照相機(jī)等中廣泛采用的臉識(shí)別技術(shù)已為公知，對(duì)象識(shí)別部1101可以使用與該臉識(shí)別技術(shù)相同的方法來識(shí)別影像數(shù)據(jù)所包含的物體。然后，對(duì)象識(shí)別部1101從另一系統(tǒng)的影像數(shù)據(jù)確定表示與已確定的物體的各特征點(diǎn)相同的位置的對(duì)應(yīng)點(diǎn)。然后，對(duì)象識(shí)別部1101可以根據(jù)各特征點(diǎn)與各對(duì)應(yīng)點(diǎn)的視差并用立體法求出各特征點(diǎn)在現(xiàn)實(shí)空間中的三維位置，將各特征點(diǎn)在現(xiàn)實(shí)空間中的位置識(shí)別為物體的位置。
另外，對(duì)象識(shí)別部1101也可以通過識(shí)別對(duì)現(xiàn)實(shí)空間的物體賦予的標(biāo)記信息來識(shí)別影像數(shù)據(jù)所包含的物體。在此，標(biāo)記信息是描述物體的種類、形狀、大小以及位置等的信息的信息。例如，對(duì)物體預(yù)先賦予以條形碼、符號(hào)串表示標(biāo)記信息的信息，對(duì)象識(shí)別部1101可以從影像數(shù)據(jù)識(shí)別該條形碼，根據(jù)識(shí)別出的條形碼、符號(hào)串識(shí)別物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置。另外，也可以將標(biāo)記信息存儲(chǔ)在IC標(biāo)簽中而讓物體保存，對(duì)象識(shí)別部1101讀出IC標(biāo)簽所保存的數(shù)據(jù)來獲取標(biāo)記信息。在這種情況下，也可以在功能擴(kuò)展系統(tǒng)1001中設(shè)置IC標(biāo)簽讀取器，對(duì)象識(shí)別部1101讓該IC標(biāo)簽讀取器讀出標(biāo)記信息從而獲取標(biāo)記信息。此外，包含在標(biāo)記信息中的位置例如采用物體被配置的經(jīng)度和緯度。而且，在功能擴(kuò)展系統(tǒng)1001中設(shè)置GPS。對(duì)象識(shí)別部1101可以從GPS識(shí)別功能擴(kuò)展系統(tǒng)1001在現(xiàn)實(shí)空間中的位置，并與包含在標(biāo)記信息中的物體的位置進(jìn)行比較，求出物體相對(duì)于功能擴(kuò)展系統(tǒng)1001的相對(duì)位置。另外，在影像輸入裝置1003例如由深度傳感器構(gòu)成的情況下，對(duì)象識(shí)別部1101從通過影像輸入裝置1003獲取的距離成分的圖像數(shù)據(jù)提取物體的特征點(diǎn)。然后，可以根據(jù)提取出的特征點(diǎn)的配置圖案識(shí)別物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置。3D模型管理部1102由對(duì)象識(shí)別部1101通知對(duì)象識(shí)別部1101識(shí)別出的各物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置，將包含被通知的各物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置的數(shù)據(jù)生成為各物體的3D立體視覺模型并加以保存。另外，3D模型管理部1102對(duì)各物體的3D立體視覺模型賦予用于辨別各物體的物體標(biāo)識(shí)符。也就是說，各物體的3D立體視覺模型為表示物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置的數(shù)據(jù)附帶有物體的物體標(biāo)識(shí)符的數(shù)據(jù)。此外，3D模型管理部1102將所生成的3D立體視覺模型作為物體識(shí)別通知Dl通知給功能設(shè)定部1103。另外，當(dāng)從處理決定部1107提供指定物體標(biāo)識(shí)符在物體(選擇物體)上重疊圖形的重疊委托D2時(shí)，3D模型管理部1102生成與該物體有關(guān)的圖形生成信息并加以保存。在此，圖形生成信息是為了生成在虛擬現(xiàn)實(shí)空間中重疊在物體上顯示的圖形所需的信息。在圖形的重疊委托D2中包含有表示圖形的大小、形狀以及重疊位置的數(shù)據(jù)。因而，3D模型管理部1102可以將表示圖形的大小、形狀以及重疊位置的數(shù)據(jù)作為圖形生成信息生成。3D模型管理部1102將生成的圖形生成信息作為圖形生成委托D3通知給圖形生成部 1108。功能設(shè)定部1103保存針對(duì)物體的各種類能夠設(shè)定的由一系列操作和處理的組而構(gòu)成的功能被規(guī)定的功能信息。關(guān)于功能信息，稍后用圖3進(jìn)行說明。而且，功能設(shè)定部1103在由對(duì)象識(shí)別部1101識(shí)別出物體時(shí)參照功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能。此外，功能設(shè)定部1103當(dāng)由3D模型管理部1102提供了物體識(shí)別通知Dl時(shí)，可以判定該物體識(shí)別通知Dl所表示的物體由對(duì)象識(shí)別部1101識(shí)別出。然后，功能設(shè)定部1103當(dāng)被通知來自3D模型管理部1102的物體識(shí)別通知Dl時(shí)，參照?qǐng)D3(A)所示的功能類別候選信息，根據(jù)識(shí)別出的物體的種類搜索能夠設(shè)定的功能類別的候選，從搜索到的功能類別的候選中決定對(duì)該物體設(shè)定的功能。此外，在本發(fā)明中，也可以省略3D模型管理部1102。在這種情況下，對(duì)象識(shí)別部1101對(duì)識(shí)別出的物體賦予物體標(biāo)識(shí)符，將物體標(biāo)識(shí)符以及識(shí)別出的物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置作為物體識(shí)別通知Dl通知給功能設(shè)定部1103。然后，功能設(shè)定部1103將從對(duì)象識(shí)別部1101通知的物體識(shí)別通知Dl與圖3(A)所示的功能類別候選信息進(jìn)行對(duì)照，可以根據(jù)識(shí)別出的各物體的種類搜索能夠設(shè)定的功能類別的候選，從搜索到的功能類別的候選中決定對(duì)各物體設(shè)定的功能。在此，功能設(shè)定部1103也可以在由對(duì)象識(shí)別部1101識(shí)別出物體時(shí)，向用戶提示對(duì)該物體的種類能夠設(shè)定的操作和處理的候選，將由用戶選擇的操作和處理設(shè)定為該物體的功能，將所設(shè)定的功能與用戶標(biāo)識(shí)符對(duì)應(yīng)起來加以保存。在這種情況下，不是將對(duì)識(shí)別出的物體能夠設(shè)定的所有操作和處理設(shè)定為物體的功能，而是將對(duì)物體能夠設(shè)定的所有操作和處理中的、由用戶選擇的一系列操作和處理設(shè)定為物體的功能。這樣，功能設(shè)定部1103通過將功能與用戶標(biāo)識(shí)符對(duì)應(yīng)起來預(yù)先記錄，即使對(duì)于同一物體也能夠由各用戶設(shè)定不同的功能，從而能夠?qū)Ω魑矬w設(shè)定與用戶的喜好相適應(yīng)的功能。在此，作為向用戶詢問喜好的功能的時(shí)機(jī)，不限于物體被識(shí)別時(shí)，也可以是識(shí)別物體之后。在識(shí)別物體之后，當(dāng)由用戶輸入了功能的變更委托時(shí)，可以向用戶詢問喜好的功倉(cāng)泛。另外，功能設(shè)定部1103也可以在由對(duì)象識(shí)別部1101識(shí)別出物體時(shí)，根據(jù)識(shí)別出的物體的特征判定能夠設(shè)定的操作和處理，將判定出的操作和處理設(shè)定為物體的功能。在此，作為特征，相當(dāng)于識(shí)別出的物體的形狀和大小中的至少其中之一。并且，功能設(shè)定部1103也可以在由對(duì)象識(shí)別部1101識(shí)別出物體時(shí)，根據(jù)功能擴(kuò)展裝置1002的能力以及與功能擴(kuò)展裝置1002連接的外圍設(shè)備的能力決定對(duì)識(shí)別出的物體能夠設(shè)定的操作和處理，將決定的操作和處理設(shè)定為物體的功能。也就是說，在本實(shí)施方式中，不是將對(duì)識(shí)別出的物體能夠設(shè)定的所有操作和處理設(shè)定為物體的功能，而是將符合物體的特征及功能擴(kuò)展系統(tǒng)1001的性能(規(guī)格)的操作和處理選擇性地設(shè)定為物體的功能。另外，功能設(shè)定部1103當(dāng)通過從后述的處理決定部1107通知關(guān)于某物體的物體標(biāo)識(shí)符而被通知用于詢問對(duì)該物體設(shè)定的功能的功能詢問委托D4時(shí)，參照對(duì)該物體設(shè)定的功能設(shè)定信息(圖4(A))，確定對(duì)該物體設(shè)定的功能，將與確定的功能對(duì)應(yīng)的功能對(duì)應(yīng)信息D7(參照?qǐng)D3(C))通知給處理決定部1107。輸入識(shí)別部1104從由用戶輸入識(shí)別裝置1004獲取的表示用戶的動(dòng)作的信息，識(shí)別用戶的輸入動(dòng)作以及輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間的位置即輸入位置。具體而言，輸入識(shí)別部1104通過獲取從用戶輸入識(shí)別裝置1004作為表示用戶的動(dòng)作的信息而輸出的表示用戶的手的動(dòng)作的信息，識(shí)別用戶的輸入動(dòng)作和輸入位置。然后，輸入識(shí)別部1104在識(shí)別出用戶的輸入動(dòng)作和輸入位置時(shí)，將表示手的動(dòng)作的信息通知給操作判定部1106，并且將輸入位置通知給選擇判定部1105。在此，作為表示手的動(dòng)作的信息，采用例如將表示用戶的手的特征點(diǎn)在現(xiàn)實(shí)空間中的位置的位置數(shù)據(jù)按時(shí)間序列排列的數(shù)據(jù)。另外，輸入識(shí)別部1104在由用戶開始使用本功能擴(kuò)展系統(tǒng)時(shí)(例如電源接通時(shí))，從該用戶獲取用戶標(biāo)識(shí)符。在此，輸入識(shí)別部1104可以通過認(rèn)證用戶的指紋或讓用戶輸入用戶標(biāo)識(shí)符來獲取用戶標(biāo)識(shí)符。在認(rèn)證用戶的指紋的情況下，輸入識(shí)別部1104預(yù)先將被允許使用本功能擴(kuò)展系統(tǒng)1001的用戶的指紋的圖像數(shù)據(jù)與用戶標(biāo)識(shí)符對(duì)應(yīng)起來加以保存。然后，輸入識(shí)別部1104在本功能擴(kuò)展系統(tǒng)1001的使用開始時(shí)讓用戶輸入識(shí)別裝置1004獲取用戶的指紋的圖像數(shù)據(jù)。然后，輸入識(shí)別部1104可以將獲取到的指紋的圖像數(shù)據(jù)與預(yù)先保存的指紋的圖像數(shù)據(jù)進(jìn)行對(duì)照，確定使用本功能擴(kuò)展系統(tǒng)的用戶，從而獲取所確定的用戶的用戶標(biāo)識(shí)符。另外，在讓用戶輸入用戶標(biāo)識(shí)符的情況下，可以使影像輸出裝置1005顯示鍵盤的圖形，通過該圖形用戶輸入用戶標(biāo)識(shí)符?；蛘?，可以在本功能擴(kuò)展系統(tǒng)中設(shè)置物理鍵盤，通過操作該鍵盤來輸入用戶標(biāo)識(shí)符。此外，輸入識(shí)別部1104將獲取到的用戶標(biāo)識(shí)符通知給操作判定部1106。選擇判定部1105基于由對(duì)象識(shí)別部1101識(shí)別出的各物體在現(xiàn)實(shí)空間中的位置和由輸入識(shí)別部1104識(shí)別出的現(xiàn)實(shí)空間中的輸入位置，從由對(duì)象識(shí)別部1101識(shí)別出的各物體中判定被用戶選擇為操作對(duì)象的選擇物體。具體而言，選擇判定部1105被3D模型管理部1102通知各物體的位置數(shù)據(jù)與物體標(biāo)識(shí)符相對(duì)應(yīng)的物體信息D5，從被提供的物體信息D5中識(shí)別各物體在現(xiàn)實(shí)空間中的位置。然后，選擇判定部1105將重疊在由輸入識(shí)別部1104通知的用戶的當(dāng)前的輸入位置而存在的物體判定為選擇物體。在此，當(dāng)物體相對(duì)于輸入位置位于指定范圍內(nèi)時(shí)，選擇判定部1105可以判斷該物體是選擇物體。另外，在多個(gè)物體相對(duì)于輸入位置存在于指定范圍內(nèi)的情況下，可以將離輸入位置最近的物體判定為選擇物體。然后，選擇判定部1105將選擇物體的物體標(biāo)識(shí)符通知給操作判定部1106。此外，在省略了 3D模型管理部1102的情況下，選擇判定部1105被對(duì)象識(shí)別部1101通知識(shí)別出的各物體在現(xiàn)實(shí)空間中的位置。然后，選擇判定部1105根據(jù)從對(duì)象識(shí)別部1101通知的各物體在現(xiàn)實(shí)空間中的位置和從輸入識(shí)別部1104通知的輸入位置，判定用戶所選擇的選擇物體。然后，選擇判定部1105將選擇物體的物體標(biāo)識(shí)符通知給操作判定部
1106。操作判定部1106根據(jù)由輸入識(shí)別部1104識(shí)別出的輸入動(dòng)作判定用戶對(duì)選擇物體進(jìn)行的操作。在此，操作判定部1106所判定的“操作”不是手的坐標(biāo)信息、加速度信息，而是“描”、“抓”、“敲”這樣的對(duì)人的動(dòng)作賦予含義的操作信息。具體而言，操作判定部1106管理將從輸入識(shí)別部1104提供的表示手的動(dòng)作的信息與用戶的“操作”對(duì)應(yīng)起來的詞典信息。然后，當(dāng)從輸入識(shí)別部1104提供表示手的動(dòng)作的信息時(shí)，操作判定部1106參照詞典信息，進(jìn)行判定與表示手的動(dòng)作的信息對(duì)應(yīng)的操作的處理。在此，詞典信息既可以預(yù)先登記，也可以從用戶的手的動(dòng)作的履歷學(xué)習(xí)所得。此外，作為從用戶的手的動(dòng)作判斷用戶的操作的技術(shù)，例如Prime Sense公司的Prime傳感用軟件的NITE(Prime Sense’s Natural Interface Middleware)的手勢(shì)識(shí)別功能已為公知，操作判定部1106可以利用該技術(shù)來判定用戶的操作。然后，操作判定部1106當(dāng)判定出用戶的操作時(shí)，向處理決定部1107通知將用戶的操作、由選擇判定部1105判定出的選擇物體的物體標(biāo)識(shí)符與用戶標(biāo)識(shí)符對(duì)應(yīng)起來的處理委托D6。處理決定部1107當(dāng)由操作判定部1106通知了處理委托D6時(shí)，取出該處理委托D6所包含的物體標(biāo)識(shí)符(選擇物體的物體標(biāo)識(shí)符)和用戶標(biāo)識(shí)符，將取出的物體標(biāo)識(shí)符和用戶標(biāo)識(shí)符作為用于詢問對(duì)選擇物體設(shè)定的功能(操作和處理的組)的功能詢問委托D4通知給功能設(shè)定部1103。
此外，處理決定部1107也可以通過讓選擇判定部1105通知選擇物體的物體標(biāo)識(shí)符來識(shí)別選擇物體。 功能設(shè)定部1103當(dāng)被通知了功能詢問委托D4時(shí)，參照?qǐng)D4 (A)所示的功能設(shè)定信息，根據(jù)構(gòu)成功能詢問委托D4的物體標(biāo)識(shí)符和用戶標(biāo)識(shí)符確定各用戶對(duì)該物體設(shè)定的功能，將與確定的功能對(duì)應(yīng)的功能對(duì)應(yīng)信息D7(圖3(C))通知給處理決定部1107。然后，處理決定部1107將從功能設(shè)定部1103通知的功能對(duì)應(yīng)信息D7與從操作判定部1106通知的處理委托D6所表示的用戶的操作進(jìn)行對(duì)照，決定對(duì)選擇物體執(zhí)行的處理。在此，當(dāng)處理決定部1107所決定的處理是伴隨對(duì)物體的圖形重疊的處理時(shí)，處理決定部1107向3D模型管理部1102通知選擇物體的物體標(biāo)識(shí)符、以及表示對(duì)選擇物體重疊的圖形的大小、形狀以及重疊位置的數(shù)據(jù)被指定的圖形的重疊委托D2。由此，對(duì)物體的處理通過視覺反饋給用戶，能夠?qū)τ脩糍x予操作感。另外，在處理決定部1107所決定的處理是附隨于對(duì)物體的圖形重疊對(duì)用戶賦予觸覺的處理的情況下，處理決定部1107向觸覺輸出控制部1110通知觸覺輸出委托D8。由此，對(duì)物體的處理不僅通過視覺還通過觸覺反饋給用戶，能夠?qū)τ脩糍x予更具刺激的操作感，能夠進(jìn)一步提高用戶的好奇心。在此，處理決定部1107在決定了伴隨圖形重疊的處理時(shí)，向3D模型管理部1102通知圖形的重疊委托D2，但在省略了 3D模型管理部1102的情況下，可以向圖形生成部1108通知圖形的重疊委托D2。在這種情況下，圖形生成部1108從圖形的重疊委托D2所規(guī)定的信息生成重疊到選擇物體的圖形。然后，圖形生成部1108可以從3D模型管理部1102獲取選擇物體在影像數(shù)據(jù)中的位置數(shù)據(jù)，將描繪委托D9輸出到影像輸出控制部1109。另外，在本發(fā)明中，除了 3D模型管理部1102以外還可以省略圖形生成部1108。在這種情況下，處理決定部1107可以生成對(duì)選擇物體重疊的圖形，將所生成的圖形與影像數(shù)據(jù)中的重疊位置對(duì)應(yīng)起來的數(shù)據(jù)作為描繪委托D9輸出到影像輸出控制部1109，對(duì)選擇物體重疊圖形。圖形生成部1108生成對(duì)3D模型管理部1102所管理的物體重疊的圖形。具體而言，當(dāng)從3D模型管理部1102提供了圖形生成委托D3時(shí)，圖形生成部1108按照?qǐng)D形生成委托D3所包含的圖形生成信息生成圖形。在此，圖形生成部1108例如將用于在圖形生成信息所規(guī)定的選擇物體在影像數(shù)據(jù)中的位置處顯示所生成的圖形的描繪委托D9輸出到影像輸出控制部1109。此外，在本發(fā)明中，也可以省略圖形生成部1108。在這種情況下，處理決定部1107可以生成對(duì)影像數(shù)據(jù)所包含的選擇物體重疊的圖形，將用于在選擇物體在影像數(shù)據(jù)中的位置處顯示所生成的圖形的描繪委托D9輸出到影像輸出控制部1109。影像輸出控制部1109在處理決定部1107所決定的處理是伴隨對(duì)選擇物體的圖形重疊的處理時(shí)，向影像輸出裝置1005提供在影像輸入裝置1003所獲取到的影像數(shù)據(jù)顯示的選擇物體上重疊圖形生成部1108所生成的圖形而得到的影像數(shù)據(jù)。另外，影像輸出控制部1109在處理決定部1107所決定的處理是不伴隨對(duì)物體的圖形重疊的處理時(shí)，不對(duì)由影像輸入裝置1003獲取的影像數(shù)據(jù)重疊圖形而提供給影像輸出裝置1005。
觸覺輸出控制部1110按照從處理決定部1107通知的觸覺輸出委托D8，讓觸覺輸出裝置1006動(dòng)作。作為觸覺輸出委托D8，采用例如用于驅(qū)動(dòng)觸覺輸出裝置1006的電子信號(hào)，該電子信號(hào)被提供給觸覺輸出裝置1006指定時(shí)間，觸覺輸出裝置1006被驅(qū)動(dòng)指定時(shí)間來對(duì)用戶賦予觸覺。以上是關(guān)于功能擴(kuò)展裝置1002所具備的各結(jié)構(gòu)的說明。影像輸入裝置1003例如以指定的幀率拍攝現(xiàn)實(shí)空間的影像，獲取現(xiàn)實(shí)空間的影像數(shù)據(jù)，將獲取到的影像數(shù)據(jù)依次提供給功能擴(kuò)展裝置1002。在此，作為影像輸入裝置1003，可列舉例如3D照相機(jī)、深度傳感器。用戶輸入識(shí)別裝置1004獲取表示用戶的動(dòng)作的信息，并提供給功能擴(kuò)展裝置1002。作為識(shí)別用戶的動(dòng)作的裝置，大體分為識(shí)別用戶的手的動(dòng)作的3D位置估計(jì)設(shè)備、識(shí)別用戶的視線的動(dòng)作的設(shè)備、識(shí)別用戶的聲音(語言)輸入的設(shè)備以及識(shí)別用戶的腦波的設(shè)備、識(shí)別用戶的位置信息的設(shè)備。作為3D位置估計(jì)設(shè)備，可列舉例如深度傳感器、紅外線傳感器、磁傳感器、超聲波傳感器、立體照相機(jī)以及加速度傳感器等。作為深度傳感器，可列舉例如Panasonic電工公司的 D-1Mager (注冊(cè)商標(biāo))、Microsofit 公司的 KINECT (注冊(cè)商標(biāo))>Prime Sense 的 Prime傳感器等。作為加速度傳感器，列舉任天堂公司的Wii遙控器(注冊(cè)商標(biāo))。另外，作為識(shí)別用戶的位置信息的設(shè)備，列舉GPS。在本實(shí)施方式中，作為用戶輸入識(shí)別裝置1004，可以采用3D位置估計(jì)設(shè)備、識(shí)別用戶視線的移動(dòng)的設(shè)備、識(shí)別用戶聲音(語言)輸入的設(shè)備以及識(shí)別用戶的腦波的設(shè)備以及識(shí)別用戶的位置信息的設(shè)備的其中之一，但在以下的說明中，以識(shí)別用戶的手的動(dòng)作作為用戶的動(dòng)作的情況為例進(jìn)行說明，因此作為用戶輸入識(shí)別裝置1004采用深度傳感器、3D照相機(jī)。此外，在圖1中，將影像輸入裝置1003和用戶輸入識(shí)別裝置1004描述為不同的模塊，但是在用深度傳感器或3D照相機(jī)構(gòu)成影像輸入裝置1003和用戶輸入識(shí)別裝置1004的情況下，可以用相同的深度傳感器或3D照相機(jī)構(gòu)成兩個(gè)模塊。影像輸出裝置1005輸出功能擴(kuò)展裝置1002所構(gòu)建的影像。在本實(shí)施方式中，作為影像輸出裝置1005例如采用頭戴式顯示器。觸覺輸出裝置1006接收來自觸覺輸出控制部1110的指示，對(duì)用戶賦予觸覺。具體而言，觸覺輸出裝置1006將從觸覺輸出控制部1110輸出的電子信號(hào)變換為對(duì)于用戶來說能夠感覺的物理表現(xiàn)。在此，作為物理表現(xiàn)，例如采用振動(dòng)。在這種情況下，可以采用佩戴于用戶的身體的振動(dòng)器作為觸覺輸出裝置1006。作為振動(dòng)器的佩戴位置，例如采用用戶的手尖、用戶的腰的位置等，但是只要是用戶能夠感到觸覺的位置，就可以采用任何位置。這樣，通過讓用戶佩戴振動(dòng)器作為觸覺輸出裝置1006，能夠?qū)ε宕鱄MD移動(dòng)的用戶可靠地賦予觸覺。此外，作為附隨于圖形的重疊向用戶賦予的物理現(xiàn)象，并不限定于觸覺，例如也可以采用聲音。在這種情況下，當(dāng)用戶的耳朵上佩戴耳機(jī)，執(zhí)行對(duì)選擇物體的處理時(shí)，處理決定部1107將說明處理的執(zhí)行的聲音信號(hào)輸出到耳機(jī),可以從耳機(jī)輸出聲音。存儲(chǔ)裝置1007例如由非易失性存儲(chǔ)裝置構(gòu)成，記錄功能設(shè)定部1103對(duì)物體設(shè)定的功能(操作和處理的組)以及處理決定部1107所決定的數(shù)據(jù)。
圖2是示意性地示出圖1所示的功能擴(kuò)展系統(tǒng)1001識(shí)別現(xiàn)實(shí)空間的物體并設(shè)定與該物體的種類相適應(yīng)的功能的處理以及利用所設(shè)定的功能的處理的一例的圖。擴(kuò)展現(xiàn)實(shí)空間是指用戶通過頭戴式顯示器等輸出設(shè)備來識(shí)別的虛擬空間。在不配備頭戴式顯示器時(shí)，用戶識(shí)別現(xiàn)實(shí)空間，在配備了頭戴式顯示器時(shí)，用戶識(shí)別擴(kuò)展現(xiàn)實(shí)空間。圖2(A)是示意性地示出對(duì)象識(shí)別現(xiàn)實(shí)空間的物體并對(duì)作為對(duì)象識(shí)別出的物體設(shè)定功能的處理的一例的圖。圖2(A)的左側(cè)框內(nèi)的圖表示現(xiàn)實(shí)空間2001。在現(xiàn)實(shí)空間2001內(nèi)例如存在6個(gè)物體2001a至2001f。圖2(A)的右側(cè)框內(nèi)的圖表示擴(kuò)展現(xiàn)實(shí)空間2002。在圖2(A)的例子中，現(xiàn)實(shí)空間2001中的物體2001a、2001d、2001e被作為對(duì)象識(shí)別，作為對(duì)象識(shí)別出的物體2001a、2001d、2001e被取入到擴(kuò)展現(xiàn)實(shí)空間2002，并分別被設(shè)定功能。對(duì)象識(shí)別是指功能擴(kuò)展裝置1002對(duì)由影像輸入裝置1003獲取的影像數(shù)據(jù)中出現(xiàn)的物體進(jìn)行識(shí)別。在本實(shí)施方式中，例如基于物體的種類、大小、向用戶的詢問結(jié)果等，設(shè)定適合于該物體的功能。例如，由于物體2001a的種類為“書”，因此在擴(kuò)展現(xiàn)實(shí)空間2002中設(shè)定有“讀書履歷記錄功能”。另外，由于物體2001d的種類為“罐”，因此在擴(kuò)展現(xiàn)實(shí)空間2002中設(shè)定有“顏色變更功能”。在這種情況下，在罐上重疊顯示圖形以使罐例如在被用戶打開之前為藍(lán)色而在打開之后為紅色。另外，由于物體2001e的種類為“地球儀”，因此在擴(kuò)展現(xiàn)實(shí)空間2002中設(shè)定有“搜索功能”。在這種情況下，當(dāng)用戶用手指接觸記載于地球儀上的某一場(chǎng)所時(shí)，關(guān)于該場(chǎng)所的信息被顯示在擴(kuò)展現(xiàn)實(shí)空間2002內(nèi)。圖2(B)是示意性地示出利用對(duì)作為對(duì)象識(shí)別的物體設(shè)定的功能的處理的一例的圖。圖2(B)的左側(cè)框內(nèi)的圖表示現(xiàn)實(shí)空間2101，右側(cè)框內(nèi)的圖表示擴(kuò)展現(xiàn)實(shí)空間2102。如圖2(B)的右側(cè)所示的擴(kuò)展現(xiàn)實(shí)空間2102所示那樣，對(duì)設(shè)定有功能的物體2001a、2001d、2001e實(shí)施了用于對(duì)用戶在視覺上提示功能被設(shè)定的情況的視覺效果。因而，在對(duì)物體實(shí)施了視覺效果的情況下，用戶能夠識(shí)別對(duì)該物體設(shè)定了功能，從而利用該功能。在圖2(B)的例子中，對(duì)物體2001a、2001d、2001e設(shè)定了功能，為了使用戶在視覺上識(shí)別該情況，將物體2001a、2001d、2001e的亮度設(shè)定得高于現(xiàn)實(shí)空間2101的亮度。此外，本實(shí)施方式的功能擴(kuò)展裝置1002對(duì)現(xiàn)實(shí)世界中的物體進(jìn)行識(shí)別并設(shè)定適合于該物體的功能的處理以及利用對(duì)物體設(shè)定的功能的處理并不限定于該例子。圖3是示意性地示出功能設(shè)定部1103所保存的功能信息的一例的圖。在圖3的例子中，功能信息具有從上位層起依次包括(A)所示的“功能類別候選信息”、(B)所示的“功能一覽信息”以及(C)所示的“功能對(duì)應(yīng)信息”的3層的分層結(jié)構(gòu)。“功能類別候選信息”保存對(duì)物體的各種類能夠設(shè)定的功能類別的候選?！肮δ芤挥[信息”保存各個(gè)功能類別所具備的功能的一覽。“功能對(duì)應(yīng)信息”保存對(duì)(B)所示的功能分別規(guī)定的操作和處理的組。圖3 (A)所示的功能類別候選信息具有列3001至3004。在列3001中保存有功能類別的標(biāo)識(shí)符。在列3002中保存有功能類別。在列3003中保存有對(duì)各功能類別能夠設(shè)定的物體的種類。在列3004中保存有用于參照與各功能類別對(duì)應(yīng)的功能一覽信息的指針。
圖3⑶所示的功能一覽信息是保存在圖3 (A)的行3011中的功能類別為“寫入履歷記錄的記錄”的功能一覽信息。在圖3(B)的例子中，功能一覽信息具有列3101至3103和行3111至3113。列3101中保存有功能的標(biāo)識(shí)符。列3102中保存有表示各功能是默認(rèn)功能還是自定義功能的信息。在此，默認(rèn)功能是對(duì)相當(dāng)于記載于列3003中的物體種類的物體預(yù)先設(shè)定的功能。自定義功能1、2由利用功能擴(kuò)展系統(tǒng)1001的用戶所選擇的操作和處理、判斷為適合于物體的特征(形狀和大小)而設(shè)定的操作和處理、或者從構(gòu)成功能擴(kuò)展系統(tǒng)1001的裝置的性能能夠選擇的操作和處理等與默認(rèn)功能不同的操作和處理的組構(gòu)成。在列3103中保存有用于參照與各功能對(duì)應(yīng)的功能對(duì)應(yīng)信息的指針。圖3(C)所示的功能對(duì)應(yīng)信息規(guī)定構(gòu)成在圖3(B)的功能一覽信息中列舉的各功能的操作和處理的組。在圖3(C)的例子中示出規(guī)定構(gòu)成圖3(A)所示的功能類別為“寫入履歷記錄的記錄”的默認(rèn)功能的一系列操作和處理的組的功能對(duì)應(yīng)信息。功能對(duì)應(yīng)信息具有列3201、3202。列3201中保存有規(guī)定用戶進(jìn)行的操作的信息。列3202中保存有與各操作對(duì)應(yīng)的處理的內(nèi)容。例如，當(dāng)對(duì)象識(shí)別部1101識(shí)別出種類為”書”的物體時(shí)，功能設(shè)定部1103參照?qǐng)D3 (A)的功能類別候選信息，判斷對(duì)”書”能夠設(shè)定標(biāo)識(shí)符為“A”的“寫入履歷記錄的記錄”以及標(biāo)識(shí)符為“T”的“種類顯示”作為功能。如圖3(B)的功能一覽信息所示，對(duì)于“寫入履歷記錄的記錄”能夠選擇標(biāo)識(shí)符為“A-a”的“默認(rèn)功能”、標(biāo)識(shí)符為“A-b”的“自定義功能I”以及標(biāo)識(shí)符為“A-c”的“自定義功能2”。在此，在沒有特別指定的情況下，選擇“默認(rèn)功能”，設(shè)定圖3(C)的功能對(duì)應(yīng)信息所示的操作和處理作為”書”的物體的功能。而且，當(dāng)操作判定部1106識(shí)別出由用戶輸入了“描”的操作時(shí)，處理決定部1107參照?qǐng)D3(C)所示的功能對(duì)應(yīng)信息，決定作為與“描”的操作對(duì)應(yīng)的處理的“畫下劃線”的處理。由此，圖形生成部1108在擴(kuò)展現(xiàn)實(shí)空間的書上生成表示用戶用手指描過的位置的下劃線的圖形，影像輸出裝置1005將該下劃線的圖形重疊在擴(kuò)展現(xiàn)實(shí)空間的書上進(jìn)行顯示。由此，用戶在擴(kuò)展現(xiàn)實(shí)空間中能夠在書上畫下劃線。圖4(A)是示出表示功能設(shè)定部1103對(duì)由對(duì)象識(shí)別部1101作為對(duì)象識(shí)別出的各物體設(shè)定的功能的功能設(shè)定信息的一例的圖。在功能設(shè)定信息中，將被作為對(duì)象識(shí)別并取入到擴(kuò)展現(xiàn)實(shí)空間的物體與對(duì)該物體設(shè)定的功能對(duì)應(yīng)起來加以存儲(chǔ)。功能設(shè)定信息具備列4001至4005。列4001中保存有作為對(duì)象識(shí)別出的物體的物體標(biāo)識(shí)符“ObjectID”。列4002中保存有作為對(duì)象識(shí)別出的各物體的種類。列4003中保存有對(duì)作為對(duì)象識(shí)別出的各物體設(shè)定的功能類別的標(biāo)識(shí)符。列4004中保存有對(duì)作為對(duì)象識(shí)別出的各物體設(shè)定的功能的標(biāo)識(shí)符。在此，為了簡(jiǎn)單，設(shè)連字符以下為“_a”的標(biāo)識(shí)符表示默認(rèn)功能，連字符以下為“_b”的標(biāo)識(shí)符表示自定義功能。列4005中保存有表示對(duì)作為對(duì)象識(shí)別出的各物體設(shè)定的功能是有關(guān)哪個(gè)用戶的功能的用戶標(biāo)識(shí)符。行4011至4018分別表示與作為對(duì)象識(shí)別出的各物體對(duì)應(yīng)的記錄。在此，在即使對(duì)同一物體也由多個(gè)用戶設(shè)定不同的功能的情況下，按用戶分行。
圖4(B)是示意性地示出本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置1002對(duì)作為對(duì)象識(shí)別出的物體設(shè)定的功能的一例的圖。圖4(B)所示的框內(nèi)的圖表示在擴(kuò)展現(xiàn)實(shí)空間4101中被作為對(duì)象識(shí)別出的物體。物體2001a至2001f是影像輸入裝置1003所獲取到的影像數(shù)據(jù)中所包含的物體。物體2001a至2001f被對(duì)象識(shí)別，被賦予物體標(biāo)識(shí)符(ObjectID) IDl至ID6。物體2001a是ObjectID為“ID1”、種類為”書”的物體。而且，物體2001a在擴(kuò)展現(xiàn)實(shí)空間4101中例如設(shè)定有“寫入履歷記錄的記錄”的功能。物體2001d是ObjectID為“ID5”、種類為“罐”的物體。而且，物體2001d在擴(kuò)展現(xiàn)實(shí)空間4101中例如設(shè)定有“顏色變更功能”。物體2001e是ObjectID為“ ID6”、種類為“地球儀”的物體。而且，物體2001e在擴(kuò)展現(xiàn)實(shí)空間4101中例如設(shè)定有“搜索功能”。功能擴(kuò)展系統(tǒng)1001對(duì)作為對(duì)象識(shí)別出的物體設(shè)定功能的處理并不限定于該例子。另外，稍后用圖6的流程圖說明設(shè)定功能的處理。圖5是表示在本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置1002中執(zhí)行的初始化處理的一例的流程圖。首先，功能設(shè)定部1103保存圖3所示的預(yù)先制作的功能信息(S5001)。在此，功能信息預(yù)先被存儲(chǔ)在存儲(chǔ)裝置1007中，例如當(dāng)功能擴(kuò)展裝置1002的電源被用戶接通時(shí)，功能設(shè)定部1103從存儲(chǔ)裝置1007讀出功能信息并通過保存在省略圖的RAM等中，來保存功能信息。此外，功能設(shè)定部1103也可以從通過通信網(wǎng)絡(luò)與功能擴(kuò)展裝置1002連接的服務(wù)器隨時(shí)讀入最新的功能信息。在這種情況下，可以使用圖1所示的功能擴(kuò)展裝置1002的通信部1008。通信部1008由用于將功能擴(kuò)展裝置1002連接到通信網(wǎng)絡(luò)NT的通信裝置構(gòu)成。作為通信網(wǎng)絡(luò)NT，例如采用因特網(wǎng)。服務(wù)器1009(外部判定裝置的一例)例如由管理功能擴(kuò)展系統(tǒng)1001的管理者所持有，由操作員隨時(shí)保存制作成的最新的功能信息。并且，當(dāng)功能擴(kuò)展裝置1002的電源被接通時(shí)，對(duì)服務(wù)器1009發(fā)送功能信息的取入請(qǐng)求。然后，如果服務(wù)器1009接收到功能信息的取入請(qǐng)求，則向發(fā)送了功能取入請(qǐng)求的功能擴(kuò)展系統(tǒng)1001發(fā)送最新的功能信息。通信部1008在接收到功能信息時(shí)，將該功能信息提供給功能設(shè)定部1103。由此，功能設(shè)定部1103能夠利用始終最新的功能信息對(duì)作為對(duì)象識(shí)別出的物體設(shè)定功能。因此，能夠防止對(duì)作為對(duì)象識(shí)別出的物體設(shè)定不需要的功能。圖6是表示本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置1002對(duì)物體進(jìn)行對(duì)象識(shí)別并對(duì)作為對(duì)象識(shí)別出的物體設(shè)定功能的處理的一例的流程圖。首先，對(duì)象識(shí)別部1101對(duì)包含在由影像輸入裝置1003獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)中的物體進(jìn)行識(shí)別，將識(shí)別出的物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置通知給3D模型管理部1102(S6001)。此外，在省略了 3D模型管理部1102的情況下，對(duì)象識(shí)別部1101可以對(duì)識(shí)別出的物體賦予物體標(biāo)識(shí)符，將物體標(biāo)識(shí)符以及識(shí)別出的各物體的種類、形狀、大小以及在現(xiàn)實(shí)空間的位置作為物體識(shí)別通知Dl通知給功能設(shè)定部1103。在此，作為表示物體的形狀的數(shù)據(jù)，可以采用例如表示物體的特征點(diǎn)的配置圖案的數(shù)據(jù)。另外，作為表示物體的大小的數(shù)據(jù)，可以采用物體的輪廓內(nèi)的面積。另外，作為現(xiàn)實(shí)空間的位置，可以采用表示以功能擴(kuò)展系統(tǒng)1001為基準(zhǔn)時(shí)的物體的位置的三維數(shù)據(jù)。3D模型管理部1102對(duì)由對(duì)象識(shí)別部1101識(shí)別出的物體的種類、形狀、大小以及位置賦予物體標(biāo)識(shí)符，針對(duì)各物體生成3D立體視覺模型(S6002)。然后，3D模型管理部1102保存所生成的各3D立體視覺模型，并且將其作為物體識(shí)別通知Dl通知給功能設(shè)定部1103。此外，在省略了 3D模型管理部1102的情況下，對(duì)象識(shí)別部1101可以向功能設(shè)定部1103通知物體識(shí)別通知Dl。接著，功能設(shè)定部1103在不存在與識(shí)別出的物體對(duì)應(yīng)的對(duì)象類的實(shí)例(instance)的情況下,生成對(duì)象類的實(shí)例并加以保存(S6003)。在此，對(duì)象類是指識(shí)別出的物體的“物體標(biāo)識(shí)符”、“種類”、“設(shè)定的功能”、“設(shè)定的用戶”以及“功能設(shè)定已實(shí)施標(biāo)志”已被定義的類。另外，實(shí)例是指規(guī)定識(shí)別出的各物體的“物體標(biāo)識(shí)符”、“種類”、“設(shè)定的功能”、“設(shè)定的用戶”以及“功能設(shè)定已實(shí)施標(biāo)志”的實(shí)例。接著，功能設(shè)定部1103判定實(shí)例的“功能設(shè)定已實(shí)施標(biāo)志”是OFF還是ON(S6004)。在S6004中，當(dāng)存在“功能設(shè)定已實(shí)施標(biāo)志”為OFF的實(shí)例時(shí)(在S6004中為“是”)，即在存在未完成設(shè)定功能的物體的情況下，功能設(shè)定部1103參照?qǐng)D3(A)所示的功能類別候選信息，從識(shí)別出的物體的種類搜索對(duì)該物體能夠設(shè)定的功能類別的候選(S6005)。在圖3(A)的例子中，對(duì)于種類為書的物體，能夠設(shè)定的功能類別的候選是標(biāo)識(shí)符為“A”的“寫入履歷記錄的記錄”和標(biāo)識(shí)符為“T”的“種類顯示”。另一方面，在S6004中，當(dāng)所有的實(shí)例的“功能設(shè)定完畢標(biāo)志”為ON時(shí)(在S6004中為“否”)、即在對(duì)所有的物體已設(shè)定功能的情況下，結(jié)束處理。接著，功能設(shè)定部1103從搜索到的能夠設(shè)定的功能類別的候選中選擇一個(gè)功能類別的候選(S6006)。在圖3(A)的例子中，種類為書的物體能夠設(shè)定的功能類別的候選是“寫入履歷記錄的記錄”和“種類顯示”。因此，功能設(shè)定部1103如首先選擇保存在上側(cè)的行中的“寫入履歷記錄的記錄”，接著選擇“種類顯示”那樣從上起按順序選擇圖3(A)所示的功能類別的候選。接著，功能設(shè)定部1103決定是否將在所選擇的功能類別中被定義的一系列操作和處理中的哪一個(gè)操作和處理設(shè)定給相應(yīng)的物體(S6007)。下面，記載功能設(shè)定部1103決定操作和處理的方法的三個(gè)例子。(方法I)方法I是從識(shí)別出的物體的形狀、大小以及功能擴(kuò)展系統(tǒng)1001的規(guī)格決定適合于該物體的操作和功能的方法。具體而言，列舉如下的(例l_a)至(例1-d)。(例l_a)功能設(shè)定部1103根據(jù)操作判定部1106是否具有識(shí)別文字的功能，來判定是否將關(guān)于“寫”的操作設(shè)定為功能。例如，有時(shí)操作判定部1106雖然能夠識(shí)別用戶的“描”的動(dòng)作，但是不具有從識(shí)別出的“描”的動(dòng)作識(shí)別出用戶所輸入的文字的功能。在這種情況下，即使將圖3(C)所示的“寫”的操作設(shè)定為功能也是無用的。因此，功能設(shè)定部1103在操作判定部1106不具有文字識(shí)別功能的情況下，不將“寫”的操作設(shè)定為功能。例如，對(duì)于種類為書的物體，功能設(shè)定部1103進(jìn)行以下的處理。首先，功能設(shè)定部1103參照與“寫入履歷記錄的記錄”的默認(rèn)功能對(duì)應(yīng)的功能對(duì)應(yīng)信息(圖3(C))。然后，功能設(shè)定部1103如果決定省略關(guān)于“寫”的操作，則從默認(rèn)功能的功能對(duì)應(yīng)信息中刪除規(guī)定關(guān)于“寫”的操作和處理的行3214。然后，功能設(shè)定部1103將行3214被刪除的功能對(duì)應(yīng)信息生成為自定義功能1，將自定義功能I與書對(duì)應(yīng)起來。具體而言，功能設(shè)定部1103對(duì)自定義功能I賦予標(biāo)識(shí)符“A-b”，生成并保存自定義功能I的功能對(duì)應(yīng)信息，將標(biāo)識(shí)符“A-b”寫入書的實(shí)例的“設(shè)定的功能”。由此，將自定義功能I的功能對(duì)應(yīng)信息中被規(guī)定的一系列操作和處理設(shè)定為書的功能。(例l_b)功能設(shè)定部1103根據(jù)物體的大小判定是否將圖3(C)所示的“文字記入”的處理設(shè)定為功能。例如，在對(duì)象識(shí)別部1101識(shí)別出的物體為書的情況下，如果是大的書則用戶寫入文字，如果是小的書則用戶不寫入文字。在這種情況下，功能設(shè)定部1103在物體的大小小于規(guī)定值時(shí)，對(duì)該物體不設(shè)定“文字記入”的處理。例如，在對(duì)于類為書的物體，功能設(shè)定部1103進(jìn)行以下的處理。首先，功能設(shè)定部1103參照與“寫入履歷記錄的記錄”的默認(rèn)功能對(duì)應(yīng)的功能對(duì)應(yīng)信息(圖3(C))。然后，功能設(shè)定部1103如果決定省略關(guān)于“文字記入”的處理，則從默認(rèn)功能的功能對(duì)應(yīng)信息中刪除規(guī)定關(guān)于“文字記入”的操作和處理的行3214。然后，功能設(shè)定部1103將行3214被刪除的功能對(duì)應(yīng)信息生成為自定義功能1，將自定義功能I與書對(duì)應(yīng)起來。(例1-c)功能設(shè)定部1103根據(jù)存儲(chǔ)裝置1007的容量、訪問限制功能的有無，判斷是否將“寫入履歷記錄的記錄”設(shè)定為功能。例如，當(dāng)存儲(chǔ)裝置1007的容量小、或?qū)Υ鎯?chǔ)裝置1007的訪問施加有限制時(shí)，存儲(chǔ)裝置1007無法存儲(chǔ)用戶的寫入履歷記錄。在這種情況下，即使將“寫入履歷記錄的記錄”設(shè)定為物體的功能也是無用的。因此，功能設(shè)定部1103在存儲(chǔ)裝置1007的容量小于規(guī)定值、或?qū)Υ鎯?chǔ)裝置1007施加有訪問限制的情況下，不將“寫入履歷記錄的記錄”設(shè)定為功能。例如，對(duì)于種類為書的物體，功能設(shè)定部1103在判定對(duì)書不設(shè)定“寫入履歷記錄的記錄”的功能的情況下，不使“寫入履歷記錄的記錄”的標(biāo)識(shí)符“A”與書的物體標(biāo)識(shí)符相對(duì)應(yīng)。由此，對(duì)書不設(shè)定“寫入履歷記錄的記錄”所規(guī)定的所有操作和處理。(例1-d)例如，作為物體考慮椅子。椅子存在旋轉(zhuǎn)式的椅子和固定式的椅子。固定式的椅子的形狀一般是腿為4根。旋轉(zhuǎn)式的椅子一般是腿為I根。對(duì)于固定式的椅子，用戶不進(jìn)行“旋轉(zhuǎn)”的操作。在這種情況下，即使對(duì)固定式的椅子將“旋轉(zhuǎn)”的操作設(shè)定為功能也是無用的。因此，功能設(shè)定部1103在對(duì)象識(shí)別部1101識(shí)別出的物體是椅子且形狀為具有4根腿的情況下，對(duì)椅子不設(shè)定關(guān)于“旋轉(zhuǎn)”的操作和處理。假設(shè)在表示例如圖3(C)所示的默認(rèn)功能的功能對(duì)應(yīng)信息中規(guī)定了關(guān)于旋轉(zhuǎn)的操作和處理。在這種情況下，功能設(shè)定部1103針對(duì)種類為椅子且形狀為具有4根腿的物體，將從功能對(duì)應(yīng)信息中刪除了規(guī)定關(guān)于“旋轉(zhuǎn)”的操作和處理的行的功能對(duì)應(yīng)信息生成為自定義功能I。然后，將所生成的自定義功能I的標(biāo)識(shí)符與椅子的物體標(biāo)識(shí)符對(duì)應(yīng)起來。(方法2)方法2是管理功能擴(kuò)展系統(tǒng)1001的管理者對(duì)識(shí)別出的各物體設(shè)定功能的方法。具體而言，功能設(shè)定部1103委托服務(wù)器1009進(jìn)行對(duì)識(shí)別出的各物體能夠設(shè)定的操作和處理的判定處理。于是，服務(wù)器1009對(duì)被委托了判定處理的物體判定操作和處理，將包含判定出的操作和處理的判定結(jié)果發(fā)送到功能擴(kuò)展系統(tǒng)1001。此外，作為管理者，相當(dāng)于功能擴(kuò)展系統(tǒng)1001的制造者、向功能擴(kuò)展系統(tǒng)1001提供應(yīng)用程序的提供者、進(jìn)行功能擴(kuò)展系統(tǒng)1001的管理服務(wù)的服務(wù)提供者。然后，功能設(shè)定部1103將服務(wù)器1009的判定結(jié)果所表示的操作和處理設(shè)定為已被進(jìn)行判定委托的物體的功能。在此，服務(wù)器1009使用與上述的方法I相同的方法來進(jìn)行判定處理。也就是說，服務(wù)器1009預(yù)先保存圖3所示的功能信息，當(dāng)接收到判定委托時(shí)，參照功能信息來決定已被進(jìn)行判定委托的物體的操作和處理。在此，判定委托中包含物體標(biāo)識(shí)符、形狀、大小、設(shè)備信息等。而且，服務(wù)器1009可以根據(jù)包含在判定委托中的物體標(biāo)識(shí)符、形狀、大小以及設(shè)備信息決定操作和處理。此外，作為設(shè)備信息，包含操作判定部1106是否具有文字識(shí)別功能以及存儲(chǔ)裝置1007的存儲(chǔ)容量等的信息。(方法3)方法3是向用戶提示能夠設(shè)定的操作和處理并讓用戶從所提示的操作和處理中選擇所希望的操作和處理的方法。具體而言，當(dāng)由對(duì)象識(shí)別部1101識(shí)別出種類為書的物體時(shí)，功能設(shè)定部1103向用戶提示與書的默認(rèn)功能對(duì)應(yīng)的功能對(duì)應(yīng)信息中規(guī)定的操作和處理(圖 3(C))。在這種情況下，功能設(shè)定部1103可以將用于顯示圖3(C)所示的操作和處理的顯示委托通知給圖形生成部1108，讓影像輸出裝置1005顯示將圖3(C)所示的操作和處理進(jìn)行列表顯示的圖形。用戶將從列表顯示于影像輸出裝置1005的操作和處理中選擇所希望的操作和處理的選擇指令輸入到用戶輸入識(shí)別裝置1004。于是，功能設(shè)定部1103將包含由用戶選擇的操作和處理的功能對(duì)應(yīng)信息生成為自定義功能1，并使自定義功能I和選擇了操作和處理的用戶的用戶標(biāo)識(shí)符與書對(duì)應(yīng)起來。在此，對(duì)于與已由某用戶將自定義功能I對(duì)應(yīng)起來的物體相同的物體(物體標(biāo)識(shí)符相同的物體)，有時(shí)會(huì)有其它用戶選擇操作和處理。在這種情況下，功能設(shè)定部1103將包含其它用戶選擇的操作和處理的功能對(duì)應(yīng)信息生成為自定義功能2，并使其它用戶的用戶標(biāo)識(shí)符和自定義功能2與物體對(duì)應(yīng)起來。由此，即使對(duì)于同一物體，也能夠按用戶對(duì)該物體設(shè)定功能。通過以上，設(shè)定適于各物體的功能。返回到圖6，功能設(shè)定部1103判定是否選擇了所有的能夠設(shè)定的功能類別的候選(S6008)。然后，在選擇了所有的能夠設(shè)定的功能類別的情況下(在S6008中為“是”)，功能設(shè)定部1103將決定設(shè)定的功能設(shè)定為對(duì)象類的實(shí)例，將“功能設(shè)定已實(shí)施標(biāo)志”設(shè)定為0N(S6009)。另一方面，功能設(shè)定部1103在未選擇所有的能夠設(shè)定的功能類別的情況下(在S6008中為“否”)，將處理返回到S6006，繼續(xù)進(jìn)行處理。也就是說，功能設(shè)定部1103反復(fù)進(jìn)行S6006至S6008的處理直到識(shí)別出的所有物體的實(shí)例的“功能設(shè)定已實(shí)施標(biāo)志”變?yōu)镺N為止，并結(jié)束處理。例如，對(duì)于書，在圖3(A)中，首先選擇“寫入履歷記錄的記錄”。然后，對(duì)于“寫入履歷記錄的記錄”，若利用方法I至方法3的其中之一生成功能對(duì)應(yīng)信息，則接著選擇“種類顯示”，對(duì)于“種類顯示”利用方法I至方法3的其中之一生成功能對(duì)應(yīng)信息。此外，在圖3中，未示出與“種類顯示”對(duì)應(yīng)的功能對(duì)應(yīng)信息，但在具有如圖3(C)所示的默認(rèn)的功能對(duì)應(yīng)信息的情況下，功能設(shè)定部1103可以利用該默認(rèn)的功能對(duì)應(yīng)信息生成功能對(duì)應(yīng)信息。圖7是表示本發(fā)明的實(shí)施方式的功能擴(kuò)展裝置1002識(shí)別用戶的操作并執(zhí)行對(duì)物體設(shè)定的功能時(shí)的處理的一例的流程圖。輸入識(shí)別部1104根據(jù)由用戶輸入識(shí)別裝置1004獲取的表示用戶的手的動(dòng)作的信息識(shí)別用戶的輸入動(dòng)作和輸入位置，將輸入位置通知給選擇判定部1105，并且將表示手的動(dòng)作的信息通知給操作判定部1106(S7001)。接著，選擇判定部1105根據(jù)從輸入識(shí)別部1104通知的輸入位置和從3D模型管理部1102通知的物體信息D5判定用戶所選擇的選擇物體(S7002)。接著，操作判定部1106根據(jù)從輸入識(shí)別部1104通知的表示用戶的手的動(dòng)作的信息判定用戶的操作(S7003)。接著，處理決定部1107將用于詢問對(duì)選擇物體設(shè)定的功能的功能詢問委托D4通知給功能設(shè)定部1103 (S7004)，獲取對(duì)該物體設(shè)定的功能。具體而言，功能設(shè)定部1103首先參照?qǐng)D4所示的功能設(shè)定信息，確定對(duì)選擇物體設(shè)定的功能。例如，假設(shè)包含在功能詢問委托D4中的物體標(biāo)識(shí)符為“ID1”，當(dāng)前正在使用功能選擇系統(tǒng)的用戶是A。在這種情況下，功能設(shè)定部1103參照?qǐng)D4所示的行4011。于是，在行4011的列4004中保存作為功能的標(biāo)識(shí)符的“A-a”。也就是說，對(duì)功能詢問委托D4所涉及的書設(shè)定“寫入履歷記錄的記錄”的默認(rèn)功能。因此，功能設(shè)定部1103將與功能的標(biāo)識(shí)符“A-a”對(duì)應(yīng)的功能對(duì)應(yīng)信息(參照?qǐng)D3(C))通知給處理決定部1107。由此，處理決定部1107獲取對(duì)作為選擇物體的書設(shè)定的功倉(cāng)泛。接著，處理決定部1107參照獲取到的功能，決定與由操作判定部1106判定出的操作對(duì)應(yīng)的處理(S7005)。例如，若設(shè)由用戶輸入的操作為“描”，則處理決定部1107參照?qǐng)D3 (C)所示的功能對(duì)應(yīng)信息，決定與“描”的操作對(duì)應(yīng)的“畫下劃線”的處理。接著，處理決定部1107判定所決定的處理是否伴隨圖形重疊(S7006)。在此，關(guān)于處理是否伴隨圖形重疊的判定，可以根據(jù)所決定的處理的內(nèi)容來判定。例如，在圖3(C)的例子中，“顯示前次為止的寫入履歷記錄”、“畫下劃線”、“記入文字”的處理是伴隨圖形的重疊的處理。因而，處理決定部1107在所決定的處理相當(dāng)于上述的處理時(shí)，判定是伴隨圖形的重疊的處理。然后，在所決定的處理伴隨圖形的重疊的情況下(在S7006中為“是”)，處理決定部1107將包含圖形的大小、形狀以及重疊位置的圖形的重疊委托D2通知給3D模型管理部1102(S7007)。接著，3D模型管理部1102將所通知的圖形的重疊委托D2生成為圖形生成信息，將該圖形生成信息作為圖形生成委托D3通知給圖形生成部1108(S7008)。接著，圖形生成部1108按照?qǐng)D形生成委托D3生成圖形(S7009)，將描繪委托D9通知給影像輸出控制部1109。接著，影像輸出控制部1109按照描繪委托D9，將由圖形生成部1108生成的圖形重疊于影像數(shù)據(jù)所顯示的選擇物體上(S7010)，并提供給影像輸出裝置1005。在S7006中，如果處理不伴隨圖形的重疊(在S7006中為“否”)，則處理進(jìn)入S7011。此外，在省略了 3D模型管理部1102和圖形生成部1108的情況下，在S7007至S7009中，處理決定部1107可以生成在選擇物體上重疊的圖形，并將表示所生成的圖形和重疊位置的描繪委托D9通知給影像輸出控制部1109。接著，處理決定部1107判定所決定的處理是否包含操作/利用狀況的記錄(S7011)。然后，在判定所決定的處理包含操作/利用狀況的記錄的情況下(在S7011中為“是”)，處理決定部1107將操作/利用狀況記錄到存儲(chǔ)裝置1007中(S7012)，并結(jié)束處理。在此，作為包含操作/利用狀況的記錄的處理，相當(dāng)于例如圖3(C)所示的“開始記錄寫入履歷記錄”以及“結(jié)束記錄寫入履歷記錄”的處理。處理決定部1107在決定“開始記錄寫入履歷記錄”的處理時(shí)，開始由用戶輸入的文字的記錄。以后，每次由用戶輸入文字時(shí)，該文字都被保存到存儲(chǔ)裝置1007中。然后，處理決定部1107在決定“結(jié)束記錄寫入履歷記錄”的處理時(shí)，結(jié)束文字向存儲(chǔ)裝置1007的保存。另一方面，在所決定的處理不包含操作/利用狀況的記錄的情況下(在S7011中為“否”)，跳過S7012結(jié)束處理。這樣，根據(jù)本實(shí)施方式的功能擴(kuò)展裝置1002，對(duì)作為對(duì)象識(shí)別出的物體不是設(shè)定固定的功能，而是動(dòng)態(tài)地設(shè)定適于該物體的種類的功能。因此，即使不對(duì)各物體分別設(shè)定功能，也能夠?qū)ξ矬w設(shè)定功能。因而，即使用戶在完全沒有設(shè)定功能的現(xiàn)實(shí)空間中移動(dòng)物體，也能夠?qū)υ撐矬w設(shè)定功能。此外，可以將圖1所記載的所有模塊搭載于頭戴式顯示器，也可以將一部分模塊搭載于頭戴式顯示器，由集成電路等構(gòu)成其它模塊，外置于頭戴式顯示器。另外，上述的本發(fā)明的實(shí)施方式所涉及的功能擴(kuò)展裝置的處理過程可以通過由CPU對(duì)保存在存儲(chǔ)裝置(ROM、RAM、硬盤等)中的能夠執(zhí)行上述的處理過程的功能擴(kuò)展程序進(jìn)行解釋執(zhí)行來實(shí)現(xiàn)。在這種情況下，功能擴(kuò)展程序既可以通過存儲(chǔ)介質(zhì)導(dǎo)入存儲(chǔ)裝置內(nèi)，也可以從存儲(chǔ)介質(zhì)上直接執(zhí)行。此外，存儲(chǔ)介質(zhì)是指R0M、RAM、快閃存儲(chǔ)器等的半導(dǎo)體存儲(chǔ)器、軟盤、硬盤等的磁盤存儲(chǔ)器、⑶_R0M、DVD、BD等的光盤存儲(chǔ)器以及存儲(chǔ)卡等。另外，存儲(chǔ)介質(zhì)是包含電話線路、傳輸路等的通信介質(zhì)的概念。另外，上述的本發(fā)明的實(shí)施方式所涉及的功能擴(kuò)展裝置的各結(jié)構(gòu)能夠分別作為集成電路的LSI而實(shí)現(xiàn)。這些結(jié)構(gòu)既可以分別被單片化，也可以以分別包含全部或一部分的方式而被單片化。在此，雖然設(shè)為L(zhǎng)SI，但是也可以根據(jù)集成度的差異而有時(shí)稱為1C、系統(tǒng)LS1、超級(jí)(super)LS1、大規(guī)模(ultra)LSI。另外，集成電路化的方法不限于LSI，也可以由專用電路或通用處理器實(shí)現(xiàn)。也可以利用在制造LSI之后能夠編程的FPGA (Field Programmable Gate Array :現(xiàn)場(chǎng)可編程門陣列)、能夠?qū)SI內(nèi)部的電路單元的連接或設(shè)定重新構(gòu)成的可重構(gòu)處理器。并且，如果通過半導(dǎo)體技術(shù)的進(jìn)步或派生的其它技術(shù)而出現(xiàn)取代LSI的集成電路化的技術(shù)，則當(dāng)然也可以利用該技術(shù)來進(jìn)行功能模塊的集成化。生物技術(shù)的應(yīng)用例具有可能性。上述的功能擴(kuò)展裝置的技術(shù)的特征能夠歸納為如下。(I)功能擴(kuò)展裝置是將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間并對(duì)該物體設(shè)定功能的功能擴(kuò)展裝置，包括對(duì)象識(shí)別部，從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別；功能設(shè)定部，保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組構(gòu)成的功能被規(guī)定的功能信息，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能；輸入識(shí)別部，識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置；選擇判定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及所述輸入識(shí)別部識(shí)別出的現(xiàn)實(shí)空間中的輸入位置，判定由用戶選擇為操作對(duì)象的選擇物體；操作判定部，使用所述輸入識(shí)別部識(shí)別出的輸入動(dòng)作，來判定用戶的操作；處理決定部，針對(duì)所述選擇判定部所選擇的選擇物體決定對(duì)構(gòu)成由所述功能設(shè)定部設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部，執(zhí)行所述處理決定部所決定的處理。根據(jù)該結(jié)構(gòu)，預(yù)先保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理構(gòu)成的功能被規(guī)定的功能信息。并且，當(dāng)從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別出包含在影像數(shù)據(jù)中的各物體時(shí)，參照功能信息，針對(duì)識(shí)別出的各物體以各物體的種類為指標(biāo)來設(shè)定功能。而且，當(dāng)用戶進(jìn)行輸入動(dòng)作時(shí)，識(shí)別該輸入動(dòng)作和輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置。然后，基于識(shí)別出的各物體在現(xiàn)實(shí)空間中的位置和識(shí)別出的輸入位置，從識(shí)別出的各物體中判定由用戶選擇為操作對(duì)象的選擇物體。然后，根據(jù)輸入動(dòng)作判定用戶的操作，決定與該操作對(duì)應(yīng)的處理，對(duì)選擇物體執(zhí)行所決定的處理。因而，能夠?qū)ψR(shí)別出的物體動(dòng)態(tài)地設(shè)定適合的功能。因此，即使不預(yù)先對(duì)各物體設(shè)定功能，也能夠?qū)Ω魑矬w設(shè)定功能。(2)優(yōu)選的是，所述對(duì)象識(shí)別部針對(duì)各識(shí)別出的物體辨別該物體的種類，即使是種類相同的物體，所述功能設(shè)定部也對(duì)各物體設(shè)定功能。例如，如果對(duì)種類相同但大小或性能不同的物體設(shè)定完全相同的功能，則有可能對(duì)物體設(shè)定不需要的功能。因此，通過即使是種類相同的物體也對(duì)各物體分別設(shè)定功能，能夠更加可靠地防止對(duì)物體設(shè)定不需要的功能。(3)優(yōu)選的是，所述輸入識(shí)別部獲取用于辨別進(jìn)行了輸入動(dòng)作的用戶的用戶標(biāo)識(shí)符，所述功能設(shè)定部在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，向用戶提示對(duì)該物體的種類能夠設(shè)定的操作和處理的候選，將由用戶選擇的操作和處理設(shè)定為該物體的功能，并將所設(shè)定的功能與所述用戶標(biāo)識(shí)符對(duì)應(yīng)起來加以保存，所述處理決定部決定對(duì)構(gòu)成由所述功能設(shè)定部為具有所述用戶標(biāo)識(shí)符的用戶設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理。根據(jù)該結(jié)構(gòu)，即使是同一物體，也能夠配合用戶的喜好按用戶分別設(shè)定功能。(4)優(yōu)選的是，所述功能設(shè)定部在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，判定對(duì)該物體的種類能夠設(shè)定的操作和處理中的、對(duì)該物體能夠設(shè)定的操作和處理，將判定出的操作和處理設(shè)定為該物體的功能。根據(jù)該結(jié)構(gòu)，能夠?qū)⒏鶕?jù)物體的種類確定的一系列操作和處理中的適合于各物體的操作和處理設(shè)定為功能，能夠?qū)Ω魑矬w設(shè)定更加適合的功能。(5)優(yōu)選的是，所述對(duì)象識(shí)別部識(shí)別物體的形狀和大小，所述功能設(shè)定部基于所述對(duì)象識(shí)別部識(shí)別出的物體的形狀和大小的至少其中之一，判定對(duì)該物體能夠設(shè)定的操作和處理。根據(jù)該結(jié)構(gòu)，能夠基于物體的形狀和大小的至少其中之一設(shè)定適合于物體的包含操作和處理的功能。
(6)優(yōu)選的是，所述功能設(shè)定部基于所述功能擴(kuò)展裝置的能力以及與所述功能擴(kuò) 展裝置連接的外圍裝置的能力，判定對(duì)由所述對(duì)象識(shí)別部識(shí)別出的物體能夠設(shè)定的操作和處理。
根據(jù)該結(jié)構(gòu)，能夠基于功能擴(kuò)展裝置的能力、外圍裝置的能力對(duì)物體設(shè)定包含可 執(zhí)行的操作和處理的功能。
(7)優(yōu)選的是，功能設(shè)定部通過指定的通信網(wǎng)絡(luò)與外部判定裝置連接，在由所述對(duì) 象識(shí)別部識(shí)別出物體時(shí)，將對(duì)該物體的種類能夠設(shè)定的操作和處理中的、對(duì)該物體能夠設(shè) 定的操作和處理的判定處理委托給所述外部判定裝置，并根據(jù)所述外部判定裝置的判定結(jié) 果對(duì)該物體設(shè)定功能。
根據(jù)該結(jié)構(gòu)，由于外部判定裝置判定對(duì)各物體的操作和處理，因此能夠減輕功能 擴(kuò)展裝置的處理負(fù)擔(dān)。
(8)優(yōu)選的是，所述功能設(shè)定部從通過指定的通信網(wǎng)絡(luò)連接的服務(wù)器獲取所述功能信息。
根據(jù)該結(jié)構(gòu)，能夠從服務(wù)器獲取適宜的且最新的功能信息。
(9)優(yōu)選的是，所述執(zhí)行部具備將圖形重疊在由所述影像輸入裝置獲取的影像數(shù) 據(jù)上而顯示于影像輸出裝置，上述的功能擴(kuò)展裝置還包括圖形生成部，在由所述處理決定 部決定的處理是對(duì)所述選擇物體重疊圖形的處理的情況下，生成重疊到所述選擇物體上的 圖形，并將對(duì)所述選擇物體重疊所生成的圖形的描繪委托輸出到所述影像輸出控制部。
根據(jù)該結(jié)構(gòu)，在通過由用戶對(duì)選擇物體進(jìn)行操作而決定的處理是在選擇物體上重 疊圖形的處理的情況下，由圖形生成部生成在選擇物體上重疊的圖形，使所生成的圖形重 疊在影像數(shù)據(jù)中的選擇物體上的描繪委托輸出到影像輸出控制部。然后，通過收到描繪委 托的影像輸出控制部在影像數(shù)據(jù)中的選擇物體上重疊圖形，重疊后的影像數(shù)據(jù)顯示在影像 輸出裝置上。因此，對(duì)于選擇物體的處理通過視覺反饋到用戶，能夠?qū)τ脩糍x予操作感。
(10)優(yōu)選的是，所述執(zhí)行部具備控制對(duì)用戶賦予觸覺的觸覺輸出裝置的觸覺輸出 控制部，所述觸覺輸出控制部驅(qū)動(dòng)所述觸覺輸出裝置以伴隨圖形在所述選擇物體上的重疊 而對(duì)用戶賦予觸覺。
根據(jù)該結(jié)構(gòu)，在對(duì)選擇物體重疊圖形時(shí)，觸覺輸出裝置被驅(qū)動(dòng)而對(duì)用戶賦予觸覺。 因此，對(duì)選擇物體的處理不僅通過視覺而且還通過觸覺反饋，能夠?qū)τ脩糍x予更具刺激的 操作感，能夠進(jìn)一步提高用戶對(duì)操作的好奇心。
(11)優(yōu)選的是，上述的功能擴(kuò)展裝置還包括3D模型管理部，該3D模型管理部對(duì)由 對(duì)象識(shí)別部識(shí)別出的各物體賦予物體標(biāo)識(shí)符，生成包含所述物體標(biāo)識(shí)符、所述物體的種類 以及所述物體在現(xiàn)實(shí)空間中的位置的各物體的3D立體視覺模型，將所生成的各物體的3D 立體視覺模型作為物體識(shí)別通知通知給所述功能設(shè)定部，所述功能設(shè)定部在從所述3D模 型管理部通知了物體識(shí)別通知時(shí)，判定所通知的物體識(shí)別通知表示的物體是由所述對(duì)象識(shí) 別部識(shí)別出，并參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能。
根據(jù)該結(jié)構(gòu)，當(dāng)由對(duì)象識(shí)別部識(shí)別出物體時(shí)，通過3D模型管理部對(duì)各物體賦予物 體標(biāo)識(shí)符，針對(duì)各物體生成包含物體標(biāo)識(shí)符、物體的種類以及物體在現(xiàn)實(shí)空間中的位置的 3D立體視覺模型，所生成的3D立體視覺模型作為物體識(shí)別通知被通知給功能設(shè)定部。這 樣，當(dāng)由對(duì)象識(shí)別部識(shí)別出物體時(shí)，與識(shí)別出的物體有關(guān)的信息被快速地通知給功能設(shè)定部，因此功能設(shè)定部能夠快速地對(duì)識(shí)別出的各物體設(shè)定功能。
(12)優(yōu)選的是，所述3D模型管理部將由所述對(duì)象識(shí)別部識(shí)別出的各物體的位置 數(shù)據(jù)與物體標(biāo)識(shí)符被對(duì)應(yīng)起來的物體信息通知給所述選擇判定部，所述選擇判定部根據(jù)從 所述3D模型管理部通知的物體信息識(shí)別由所述對(duì)象識(shí)別部識(shí)別出的各物體在現(xiàn)實(shí)空間中 的位置，并將相對(duì)于由所述輸入識(shí)別部識(shí)別出的所述輸入位置位于指定范圍內(nèi)的物體判定 為所述選擇物體。
根據(jù)該結(jié)構(gòu)，當(dāng)由對(duì)象識(shí)別部識(shí)別出物體時(shí)，從3D模型管理部向選擇判定部通知 將物體標(biāo)識(shí)符與各物體的位置數(shù)據(jù)對(duì)應(yīng)起來的物體信息。因此，選擇判定部能夠根據(jù)從3D 模型管理部通知的物體信息識(shí)別各物體在現(xiàn)實(shí)空間中的位置。并且，選擇判定部將識(shí)別出 的各物體的位置與用戶的輸入位置進(jìn)行對(duì)照，從而能夠正確地將相對(duì)于輸入位置位于指定 范圍內(nèi)的物體判定為選擇物體。
產(chǎn)業(yè)上的可利用性
本發(fā)明所涉及的功能擴(kuò)展裝置作為在使用頭戴式顯示器等的擴(kuò)展現(xiàn)實(shí)的世界中 對(duì)作為作為對(duì)象識(shí)別出的物體動(dòng)態(tài)地設(shè)定與物體的種類相適應(yīng)的功能并利用該功能的手 段極為有用。
權(quán)利要求
1.一種功能擴(kuò)展裝置，將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間，并對(duì)該物體設(shè)定功能，其特征在于包括 對(duì)象識(shí)別部，從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間的位置進(jìn)行識(shí)別； 功能設(shè)定部，保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組而構(gòu)成的功能被規(guī)定的功能信息，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能；輸入識(shí)別部，識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置； 選擇判定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及所述輸入識(shí)別部識(shí)別出的在現(xiàn)實(shí)空間中的輸入位置，判定由用戶選擇為操作對(duì)象的選擇物體； 操作判定部，利用所述輸入識(shí)別部識(shí)別出的輸入動(dòng)作，判定用戶的操作； 處理決定部，針對(duì)所述選擇判定部所選擇的選擇物體，決定對(duì)構(gòu)成由所述功能設(shè)定部設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部,執(zhí)行所述處理決定部所決定的處理。
2.根據(jù)權(quán)利要求1所述的功能擴(kuò)展裝置，其特征在于， 所述對(duì)象識(shí)別部，針對(duì)各識(shí)別出的物體辨別該物體的種類， 所述功能設(shè)定部，即使是種類相同的物體，也對(duì)各物體設(shè)定功能。
3.根據(jù)權(quán)利要求2所述的功能擴(kuò)展裝置，其特征在于， 所述輸入識(shí)別部，獲取用于辨別進(jìn)行了輸入動(dòng)作的用戶的用戶標(biāo)識(shí)符， 所述功能設(shè)定部，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，向用戶提示對(duì)該物體的種類能夠設(shè)定的操作和處理的候選，將由用戶選擇的操作和處理設(shè)定為該物體的功能，并將所設(shè)定的功能與所述用戶標(biāo)識(shí)符對(duì)應(yīng)起來加以保存， 所述處理決定部，決定對(duì)構(gòu)成所述功能設(shè)定部為具有所述用戶標(biāo)識(shí)符的用戶設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理。
4.根據(jù)權(quán)利要求2或3所述的功能擴(kuò)展裝置，其特征在于， 所述功能設(shè)定部，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，判定對(duì)該物體的種類能夠設(shè)定的操作和處理中的、對(duì)該物體能夠設(shè)定的操作和處理，將判定出的操作和處理設(shè)定為該物體的功能。
5.根據(jù)權(quán)利要求4所述的功能擴(kuò)展裝置，其特征在于， 所述對(duì)象識(shí)別部，識(shí)別物體的形狀和大小， 所述功能設(shè)定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體的形狀和大小的至少其中之一，判定對(duì)該物體能夠設(shè)定的操作和處理。
6.根據(jù)權(quán)利要求4或5所述的功能擴(kuò)展裝置，其特征在于， 所述功能設(shè)定部，基于所述功能擴(kuò)展裝置的能力以及與所述功能擴(kuò)展裝置連接的外圍裝置的能力，判定對(duì)由所述對(duì)象識(shí)別部識(shí)別出的物體能夠設(shè)定的操作和處理。
7.根據(jù)權(quán)利要求4至6中的任一項(xiàng)所述的功能擴(kuò)展裝置，其特征在于， 所述功能設(shè)定部，通過指定的通信網(wǎng)絡(luò)與外部判定裝置連接，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，將對(duì)該物體的種類能夠設(shè)定的操作和處理中的、對(duì)該物體能夠設(shè)定的操作和處理的判定處理委托給所述外部判定裝置，根據(jù)所述外部判定裝置的判定結(jié)果對(duì)該物體設(shè)定功能。
8.根據(jù)權(quán)利要求1至7中的任一項(xiàng)所述的功能擴(kuò)展裝置，其特征在于， 所述功能設(shè)定部，從通過指定的通信網(wǎng)絡(luò)連接的服務(wù)器獲取所述功能信息。
9.根據(jù)權(quán)利要求1至8中的任一項(xiàng)所述的功能擴(kuò)展裝置，其特征在于， 所述執(zhí)行部，具備將圖形重疊在由所述影像輸入裝置獲取的影像數(shù)據(jù)上而顯示于影像輸出裝置的影像輸出控制部， 所述功能擴(kuò)展裝置還包括圖形生成部，在由所述處理決定部決定的處理是對(duì)所述選擇物體重疊圖形的處理的情況下，生成重疊到所述選擇物體上的圖形，并將在所述選擇物體上重疊所生成的圖形的描繪委托輸出到所述影像輸出控制部。
10.根據(jù)權(quán)利要求9所述的功能擴(kuò)展裝置，其特征在于， 所述執(zhí)行部，具備控制對(duì)用戶賦予觸覺的觸覺輸出裝置的觸覺輸出控制部， 所述觸覺輸出控制部，驅(qū)動(dòng)所述觸覺輸出裝置以伴隨圖形在所述選擇物體上的重疊而對(duì)用戶賦予觸覺。
11.根據(jù)權(quán)利要求1至10中的任一項(xiàng)所述的功能擴(kuò)展裝置，其特征在于還包括 3D模型管理部，對(duì)由對(duì)象識(shí)別部識(shí)別出的各物體賦予物體標(biāo)識(shí)符，生成包含所述物體標(biāo)識(shí)符、所述物體的種類以及所述物體在現(xiàn)實(shí)空間中的位置的各物體的3D立體視覺模型，將所生成的各物體的3D立體視覺模型作為物體識(shí)別通知通知給所述功能設(shè)定部，其中， 所述功能設(shè)定部，在從所述3D模型管理部通知了物體識(shí)別通知時(shí)，判定所通知的物體識(shí)別通知表示的物體由所述對(duì)象識(shí)別部識(shí)別出，并參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能。
12.根據(jù)權(quán)利要求11所述的功能擴(kuò)展裝置，其特征在于， 所述3D模型管理部，將由所述對(duì)象識(shí)別部識(shí)別出的各物體的位置數(shù)據(jù)與物體標(biāo)識(shí)符被對(duì)應(yīng)起來的物體信息通知給所述選擇判定部， 所述選擇判定部，根據(jù)從所述3D模型管理部通知的物體信息識(shí)別由所述對(duì)象識(shí)別部識(shí)別出的各物體在現(xiàn)實(shí)空間中的位置，并將相對(duì)于由所述輸入識(shí)別部識(shí)別出的所述輸入位置位于指定范圍內(nèi)的物體判定為所述選擇物體。
13.一種功能擴(kuò)展方法，用于將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間，對(duì)該物體設(shè)定功能，其特征在于包括以下步驟 對(duì)象識(shí)別步驟，功能擴(kuò)展裝置從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別； 功能設(shè)定步驟，功能擴(kuò)展裝置保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組而構(gòu)成的功能被規(guī)定的功能信息，當(dāng)在所述對(duì)象識(shí)別步驟中識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能； 輸入識(shí)別步驟，功能擴(kuò)展裝置識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置； 選擇判定步驟，功能擴(kuò)展裝置基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及在所述輸入識(shí)別步驟識(shí)別出的在現(xiàn)實(shí)空間中的輸入位置，判定被用戶選擇為操作對(duì)象的選擇物體；操作判定步驟，功能擴(kuò)展裝置利用在所述輸入識(shí)別步驟識(shí)別出的輸入動(dòng)作，判定用戶的操作； 處理決定步驟，功能擴(kuò)展裝置針對(duì)所述選擇判定部所選擇的選擇物體決定對(duì)構(gòu)成在所述功能設(shè)定步驟設(shè)定的功能的操作中、在所述操作判定步驟判定出的操作的處理；以及執(zhí)行步驟，功能擴(kuò)展裝置執(zhí)行在所述處理決定步驟所決定的處理。
14.一種功能擴(kuò)展程序，使計(jì)算機(jī)作為將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間并對(duì)該物體設(shè)定功能的功能擴(kuò)展裝置發(fā)揮功能，其特征在于使計(jì)算機(jī)作為以下各部發(fā)揮功能 對(duì)象識(shí)別部，從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別； 功能設(shè)定部，保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組而構(gòu)成的功能被規(guī)定的功能信息，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能； 輸入識(shí)別部，識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置； 選擇判定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及所述輸入識(shí)別部識(shí)別出的現(xiàn)實(shí)空間中的輸入位置，判定由用戶選擇為操作對(duì)象的選擇物體； 操作判定部，利用所述輸入識(shí)別部識(shí)別出的輸入動(dòng)作，判定用戶的操作； 處理決定部，針對(duì)所述選擇判定部所選擇的選擇物體決定對(duì)構(gòu)成由所述功能設(shè)定部設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部,執(zhí)行所述處理決定部所決定的處理。
15.一種功能擴(kuò)展裝置的集成電路，將現(xiàn)實(shí)空間中的物體取入到擴(kuò)展現(xiàn)實(shí)空間，對(duì)該物體設(shè)定功能，其特征在于包括 對(duì)象識(shí)別部，從由影像輸入裝置獲取的現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體，對(duì)識(shí)別出的物體的種類以及該物體在現(xiàn)實(shí)空間中的位置進(jìn)行識(shí)別； 功能設(shè)定部，保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組而構(gòu)成的功能被規(guī)定的功能信息，在由所述對(duì)象識(shí)別部識(shí)別出物體時(shí)，參照所述功能信息，根據(jù)識(shí)別出的物體的種類對(duì)該物體設(shè)定功能； 輸入識(shí)別部，識(shí)別在所述現(xiàn)實(shí)空間中由用戶進(jìn)行的輸入動(dòng)作以及所述輸入動(dòng)作被進(jìn)行的現(xiàn)實(shí)空間中的輸入位置； 選擇判定部，基于所述對(duì)象識(shí)別部識(shí)別出的物體在現(xiàn)實(shí)空間中的位置以及所述輸入識(shí)別部識(shí)別出的現(xiàn)實(shí)空間中的輸入位置，判定由用戶選擇為操作對(duì)象的選擇物體； 操作判定部，利用所述輸入識(shí)別部識(shí)別出的輸入動(dòng)作，判定用戶的操作； 處理決定部，針對(duì)所述選擇判定部所選擇的選擇物體決定對(duì)構(gòu)成由所述功能設(shè)定部設(shè)定的功能的操作中、由所述操作判定部判定出的操作的處理；以及執(zhí)行部,執(zhí)行所述處理決定部所決定的處理。
全文摘要
對(duì)象識(shí)別部(1101)根據(jù)現(xiàn)實(shí)空間的影像數(shù)據(jù)識(shí)別包含在該影像數(shù)據(jù)中的物體。功能設(shè)定部(1103)保存針對(duì)物體的各種類能夠設(shè)定的由操作和處理的組構(gòu)成的功能被規(guī)定的功能信息。然后，功能設(shè)定部(1103)針對(duì)由對(duì)象識(shí)別部(1101)識(shí)別出的各物體，根據(jù)各物體的種類設(shè)定能夠設(shè)定的功能。選擇判定部(1105)從由對(duì)象識(shí)別部(1101)識(shí)別出的各物體中判定被用戶選擇為操作對(duì)象的選擇物體。操作判定部(1106)判定用戶對(duì)選擇物體進(jìn)行的操作。處理決定部(1107)決定對(duì)構(gòu)成由功能設(shè)定部(1103)設(shè)定的功能的操作中、由操作判定部(1106)判定出的操作的處理。
文檔編號(hào)G06F3/01GK103003783SQ20128000207
公開日2013年3月27日 申請(qǐng)日期2012年1月20日 優(yōu)先權(quán)日2011年2月1日
發(fā)明者堀井幸 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社