專利名稱：信息處理設(shè)備、信息處理方法,和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法，和程序，并且更具體地，涉及在增強的現(xiàn)實空間中對對象的輸入/輸出。
背景技術(shù)：
現(xiàn)今，作為擴增實境技術(shù)(以下，稱為AR技術(shù))的示例，虛擬數(shù)字信息(虛擬對象)被顯示為疊加在諸如現(xiàn)實空間(real-space)圖像的現(xiàn)實空間信息上。為了將虛擬數(shù)字信息疊加到現(xiàn)實空間信息之上，必須識別現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài)(posture)信息。例如，公開了一種用于通過簡單調(diào)整來匹配現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài)信息的技術(shù)(例如，參考日本未審查專利申請?zhí)亻_2006-48639號公報)。 日本未審查專利申請?zhí)亻_2006-48639號公報公開了這樣一種技術(shù)，該技術(shù)通過致使用戶指定與虛擬對象的預(yù)定位置相對應(yīng)的現(xiàn)實空間上的對象的位置來匹配現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài)信息。

發(fā)明內(nèi)容
但是，日本未審查專利申請?zhí)亻_2006-48639號公報存在這樣一個問題，即，用戶必須指定虛擬對象的位置和大小，并且難以在虛擬空間中直觀地布置或移除虛擬對象。因此，鑒于前述問題，本發(fā)明提供了新穎和改進的信息處理設(shè)備、信息處理方法， 以及程序，并且其能夠直觀地將虛擬對象輸入/輸出到通過分析現(xiàn)實空間所識別的虛擬空間。根據(jù)本發(fā)明的實施例，提供了一種信息處理設(shè)備，包括虛擬空間識別單元，該虛擬空間識別單元用于分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間，以及用于獲得虛擬空間中的設(shè)備的位置信息；存儲單元，該存儲單元用于存儲將被布置在虛擬空間中的對象以及對象的位置信息；顯示單元，該顯示單元用于在顯示設(shè)備上顯示被布置在虛擬空間中的對象；檢測單元，該檢測單元用于檢測顯示設(shè)備的設(shè)備信息；以及執(zhí)行單元，該執(zhí)行單元用于基于設(shè)備信息來對對象執(zhí)行預(yù)定處理。檢測單元可以檢測由虛擬空間識別單元所獲得的虛擬空間中的位置信息與存儲單元中所存儲的對象的位置信息之間的對應(yīng)關(guān)系。執(zhí)行單元可以根據(jù)由檢測單元所檢測的對應(yīng)關(guān)系的狀態(tài)來對對象執(zhí)行預(yù)定處理。該信息處理設(shè)備可以包括發(fā)布單元，該發(fā)布單元用于根據(jù)用戶的操作來發(fā)布使得執(zhí)行單元執(zhí)行預(yù)定處理的命令。執(zhí)行單元可以根據(jù)由發(fā)布單元所發(fā)布的命令來執(zhí)行預(yù)定處理。執(zhí)行單元可以基于設(shè)備信息來將對象輸入到虛擬空間中。執(zhí)行單元可以通過在虛擬空間中布置對象來將對象輸入到虛擬空間中。檢測單元可以檢測虛擬空間上顯示設(shè)備的姿態(tài)信息，以及執(zhí)行單元可以在虛擬空間中布置已反映了顯示設(shè)備的姿態(tài)信息的對象。執(zhí)行單元可以基于設(shè)備信息從虛擬空間輸出已被輸入到虛擬空間中的對象。執(zhí)行單元可以通過從虛擬空間移除被布置在虛擬空間中的對象來虛擬空間中輸出對象。執(zhí)行單元可以通過在現(xiàn)實空間中以預(yù)定大小顯示被布置在虛擬空間中的對象來從虛擬空間輸出對象。執(zhí)行單元可以在現(xiàn)實空間中以對應(yīng)于虛擬空間中的大小的大小顯示被布置在虛擬空間中的對象。根據(jù)本發(fā)明另一實施例，提供一種信息處理方法，包括如下步驟分析現(xiàn)實空間的 3D空間結(jié)構(gòu)以識別虛擬空間；在虛擬空間中布置對象；檢測顯示虛擬空間的顯示設(shè)備的設(shè)備信息；以及基于設(shè)備信息對對象執(zhí)行預(yù)定處理。根據(jù)本發(fā)明另一實施例，提供一種致使計算機用作信息處理設(shè)備的程序，該信息處理設(shè)備包括虛擬空間識別單元，該虛擬空間識別單元用于分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間，以及用于計算設(shè)備的位置信息；存儲單元，該存儲單元用于存儲將被布置在虛擬空間中的對象；顯示單元，該顯示單元用于在顯示設(shè)備上顯示被布置在虛擬空間中的對象；以及檢測單元，該檢測單元用于檢測將被布置在虛擬空間中的對象的位置和設(shè)備的位置之間的對應(yīng)關(guān)系；以及執(zhí)行單元，該執(zhí)行單元用于基于設(shè)備信息來對對象執(zhí)行預(yù)定處理。如上所述，根據(jù)本發(fā)明，可以直觀地將虛擬對象輸入/輸出到通過分析現(xiàn)實空間所識別的虛擬空間。


圖1是用于說明AR技術(shù)的圖；圖2是用于說明通過分析現(xiàn)實空間而被識別的虛擬空間的圖；圖3是用于說明向AR空間直觀輸入/輸出AR對象的圖；圖4是用于示出根據(jù)本實施例的信息處理設(shè)備的硬件配置的框圖；圖5是用于示出根據(jù)本實施例的信息處理設(shè)備的功能性配置的框圖；圖6是用于說明根據(jù)本實施例的輸入AR對象的圖；圖7是用于說明根據(jù)本實施例的對象的位置和大小的圖；圖8是用于說明根據(jù)本實施例的對象的姿態(tài)信息的反映的圖；圖9是用于說明根據(jù)本實施例的對象的姿態(tài)信息的反映的圖；圖10是用于說明根據(jù)本實施例顯示布置在AR空間中的AR對象的圖；圖11是用于說明根據(jù)本實施例輸出在AR空間中的AR對象的圖；圖12是用于說明根據(jù)本實施例獲取AR對象的圖；圖13是用于說明根據(jù)本實施例獲取AR對象的圖；圖14是用于說明根據(jù)本實施例獲取AR對象的圖；圖15是用于指示根據(jù)本實施例的AR對象的輸入處理的流程圖；圖16是用于說明根據(jù)本實施例的AR對象的輸入處理的圖；圖17是用于指示根據(jù)本實施例的AR對象的輸出處理的流程5
圖18是用于說明根據(jù)本實施例的AR對象的輸出處理的圖；
具體實施例方式以下，將參考附圖描述本發(fā)明的優(yōu)選實施例。注意，在此說明書和附圖中，用相同的參考標(biāo)號表示具有本質(zhì)上相同功能和結(jié)構(gòu)的結(jié)構(gòu)性元件，并且，忽略了對這些結(jié)構(gòu)性元件的重復(fù)說明。另外，將以如下次序描述“本發(fā)明的實施例的最佳模式”。[1]實施例的目的[2]信息處理設(shè)備的概述[3]信息處理設(shè)備的硬件配置[4]信息處理設(shè)備的功能性配置[5]信息處理設(shè)備的操作細節(jié)[1]實施例的目的首先，將說明本實施例的目標(biāo)?，F(xiàn)今，作為AR技術(shù)的示例，虛擬數(shù)字信息(虛擬對象)被顯示為疊加到諸如現(xiàn)實空間圖像的現(xiàn)實空間信息上。當(dāng)將虛擬數(shù)字信息疊加到現(xiàn)實空間信息之上時，必須識別現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài)信息。例如，已經(jīng)公開了一種用于通過簡單調(diào)整來匹配現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài)信息的技術(shù)。這種技術(shù)通過使用戶指定與虛擬對象的預(yù)定位置相對應(yīng)的現(xiàn)實空間上的對象的位置來匹配現(xiàn)實空間上的對象和虛擬對象之間的位置信息和姿態(tài) fn息ο但是，以上技術(shù)迫使用戶指定虛擬對象的位置和大小，并且存在用戶無法直觀地布置或移除虛擬對象的問題。鑒于前述，做出了根據(jù)本發(fā)明的本實施例的信息處理設(shè)備10。 根據(jù)本實施例的信息處理設(shè)備10，可以直觀地將虛擬對象輸入/輸出到經(jīng)分析現(xiàn)實空間后被識別的虛擬空間中。[2]信息處理設(shè)備的概述此前，已經(jīng)描述了本實施例的目的。接下來，將通過參考圖1到圖3來描述信息處理設(shè)備10的概要。諸如移動電話、個人數(shù)字助理(PDA)、便攜游戲機、小型個人計算機(PC) 等的具有顯示設(shè)備的信息處理終端可作為信息處理設(shè)備10的示例。在信息處理設(shè)備10中， 將被疊加到現(xiàn)實空間圖像上的虛擬對象被注冊。圖1是用于說明AR技術(shù)的圖。圖2是用于說明通過分析現(xiàn)實空間所識別的虛擬空間(AR空間)的圖。圖3是用于說明向AR空間直觀地輸入/輸出AR對象的圖。在圖1中，虛擬數(shù)字信息被疊加到現(xiàn)實世界的現(xiàn)實世界圖像301上。相應(yīng)地，補充信息能夠被合成并顯示在現(xiàn)實世界圖像301上?，F(xiàn)實世界圖像301是由圖像捕獲設(shè)備等捕獲的現(xiàn)實空間中的圖像。另外，虛擬數(shù)字信息302是通過分析現(xiàn)實空間所獲得的并被布置在現(xiàn)實空間的任意位置的虛擬對象。例如，在圖1中，作為虛擬對象的球被疊加到顯示屏幕上，該顯示屏幕顯示在現(xiàn)實空間中做出扔球動作的人。以這種方式，在信息處理設(shè)備10中，球的數(shù)字圖像被合成到現(xiàn)實空間中的人的圖像中，使得可顯示出該人好像真的在扔那個球。接下來，將參考圖2來描述通過分析現(xiàn)實空間所識別的虛擬空間(AR空間)。圖2
6示出了通過利用信息處理設(shè)備10將虛擬對象布置在所識別的AR空間中的狀態(tài)。AR空間是這樣的空間，其中通過分析現(xiàn)實空間所識別的虛擬空間的空間坐標(biāo)系統(tǒng)被疊加到現(xiàn)實空間的空間坐標(biāo)系統(tǒng)上。這意味著，如果在現(xiàn)實空間坐標(biāo)系統(tǒng)中的位置被確定，則在AR空間中的坐標(biāo)被唯一地確定。換言之，在AR對象被布置在現(xiàn)實空間的任意位置的情形中，在AR空間中AR對象被布置于的位置被唯一地確定。根據(jù)本實施例的信息處理設(shè)備10使得，用戶在部署將被布置在AR空間中的AR對象時，能夠直觀地布置AR對象而不必明確指定將被布置于的位置。例如，如圖3的示例性圖310所示，用戶能夠在AR空間中直觀地布置AR對象。另外，用戶能夠獲得AR對象的大小而不必明確指定所布置的AR對象的大小。例如，如圖3的示例性圖312所示，當(dāng)AR對象被發(fā)送者布置在AR空間中并且接收者獲得被布置在AR空間中的AR對象時，可以在不必指定AR對象的大小的情況下獲得具有合適大小的AR對象。在本實施例中，在AR空間中的AR對象的位置和大小根據(jù)信息處理設(shè)備10的設(shè)備主體的位置、信息處理設(shè)備10的顯示單元的大小等來確定。因此，即使用戶未明確指定AR 對象的位置和大小，用戶仍然能夠通過比較設(shè)備的主體的位置和AR對象的位置來將AR對象布置在合適的位置，通過比較顯示單元的大小和AR對象的大小來獲得布置在AR空間中的AR對象的合適的大小。[3]信息處理設(shè)備的硬件配置此前，描述了信息處理設(shè)備10的概況。接下來，將參考圖4描述信息處理設(shè)備10 的硬件配置。圖4是示出了信息處理設(shè)備10的硬件配置的框圖。信息處理設(shè)備10包括中央處理單元(CPU) 101、只讀存儲器(ROM) 102、隨機訪問存儲器(RAM) 103、主機總線104、橋接器105、外部總線106、接口 107、輸入設(shè)備108、輸出設(shè)備109、存儲設(shè)備(HDD) 110、驅(qū)動器 111、通信設(shè)備112、圖像捕獲設(shè)備20，以及多種傳感器40。CPU 101根據(jù)多種程序用作計算處理設(shè)備和控制設(shè)備以根據(jù)各種程序來控制信息處理設(shè)備10的所有操作。另外，CPU 101可以是微型處理器。ROM 102存儲被CPU 101使用的程序、計算參數(shù)等等。RAM 103臨時存儲用于CPU 101的執(zhí)行的程序、在執(zhí)行中恰當(dāng)?shù)刈兏膮?shù)等等。這些組件經(jīng)由主機總線104彼此連接，該主機總線是用CPU總線等構(gòu)成的。主機總線104通過橋接器105被連接到諸如外圍組件互聯(lián)/接口(PCI)的外部總線106。另外，主機總線104不一定被配置成與橋接器105和外部總線106分離。這些總線的功能可被嵌入到一條總線。輸入設(shè)備108例如由用戶經(jīng)其輸入信息的輸入單元(諸如鼠標(biāo)、鍵盤、觸摸板、按鈕、麥克風(fēng)、開關(guān)、控制桿等)和基于用戶的輸入生成輸入信號，并且將輸入信號輸出到CPU 101等的輸入控制控制電路構(gòu)成。信息處理設(shè)備10的用戶通過操縱輸入設(shè)備108能夠輸入多種類型的數(shù)據(jù)或發(fā)出用于執(zhí)行關(guān)于信息處理設(shè)備10的處理操作的命令。輸出設(shè)備109例如由顯示設(shè)備(諸如陰極射線管(CRT)顯示設(shè)備、液晶顯示(IXD) 設(shè)備、有機光發(fā)射顯示(OLED)設(shè)備、照明燈等)和聲音輸出單元(諸如揚聲器、耳機等)構(gòu)成。更具體地，顯示設(shè)備顯示多種類型的信息，諸如作為文本的再現(xiàn)圖像數(shù)據(jù)或圖像。另一方面，聲音輸出單元將再現(xiàn)聲音數(shù)據(jù)等轉(zhuǎn)換成聲音并將該聲音輸出。稍后描述的顯示設(shè)備 30是輸出設(shè)備109的示例。
存儲設(shè)備110是用于存儲數(shù)據(jù)的設(shè)備，其被配置為根據(jù)實施例的信息處理設(shè)備10 的存儲單元。存儲設(shè)備110可包括存儲介質(zhì)、在記錄介質(zhì)上記錄數(shù)據(jù)的記錄設(shè)備、從記錄介質(zhì)讀取數(shù)據(jù)的讀取裝置，將記錄在存儲介質(zhì)中的數(shù)據(jù)移除的移除裝置等。存儲設(shè)備110由例如硬盤驅(qū)動器(HDD)構(gòu)成。存儲設(shè)備110驅(qū)動硬盤存儲由CPU 101執(zhí)行的程序和多種數(shù)據(jù)。另外，在存儲設(shè)備110中，存儲稍后描述的項目、標(biāo)識號等。驅(qū)動器111是存儲介質(zhì)的讀取器/寫入器，其被內(nèi)嵌在信息處理設(shè)備10中或附接到其外部。驅(qū)動器111讀取記錄在已掛載的記錄介質(zhì)對(諸如磁盤、光盤、光磁盤，或半導(dǎo)體存儲器)上的信息，并將信息輸出到RAM 103。通信設(shè)備112例如是由用于到通信網(wǎng)絡(luò)50的連接的通信設(shè)備所構(gòu)成的通信接口。 另外，通信設(shè)備112可以是對應(yīng)于無線局域網(wǎng)(LAN)的通信設(shè)備、對應(yīng)于無線USB的通信設(shè)備，通過有線線路執(zhí)行通信的有線通信設(shè)備。圖像捕獲設(shè)備20具有通過CCD將穿過光學(xué)鏡頭的光轉(zhuǎn)換成電信號并將模擬信號轉(zhuǎn)換成數(shù)字信號來捕獲拍攝對象的圖像功能。由圖像捕獲設(shè)備20所捕獲的圖像被顯示在顯示設(shè)備上。多種傳感器40是用于識別虛擬空間的傳感器，并且，例如，地磁 (geomagnetic)指南針或加速傳感器可作為示例。[4]信息處理設(shè)備的功能性配置此前，描述了信息處理設(shè)備10的硬件配置。接下來，將參考圖5來描述根據(jù)實施例的信息處理設(shè)備10的功能性配置。圖5是示出了根據(jù)實施例的信息處理設(shè)備10的功能性配置的框圖。如圖5所示，信息處理設(shè)備10包括虛擬空間識別單元152、顯示單元154、檢測單元156、存儲單元158、發(fā)布單元160，執(zhí)行單元162等。虛擬空間識別單元152包括用于分析現(xiàn)實空間的3D結(jié)構(gòu)以識別虛擬空間(AR空間)的功能。虛擬空間識別單元152包括用于通過利用現(xiàn)實空間的圖像、諸如地磁指南針或加速傳感器的多種傳感器、GPS等來識別AR空間中的位置、姿態(tài)、大小或照相機的位置等的功能。換言之，虛擬空間識別單元152包括用于將虛擬空間的空間坐標(biāo)系統(tǒng)疊加到現(xiàn)實空間的空間坐標(biāo)系統(tǒng)的功能。另外，虛擬空間識別單元152包括用于檢測顯示設(shè)備30的設(shè)備信息的功能。顯示設(shè)備30的設(shè)備信息是指信息處理設(shè)備10的設(shè)備信息，這是因為如上所述顯示設(shè)備30和信息處理設(shè)備10是一件設(shè)備。設(shè)備信息是顯示設(shè)備30的位置信息、姿態(tài)信息等。位置信息和姿態(tài)信息是由虛擬空間識別單元152分析出的現(xiàn)實空間的3D空間中的位置信息和姿態(tài)信息。顯示單元巧4包括用于在顯示設(shè)備30上顯示由虛擬空間識別單元152所識別的虛擬空間的功能。顯示單元1 顯示被布置在虛擬空間中的對象。雖然在本實施例中顯示設(shè)備30被配置成是與信息處理設(shè)備10集成的一個設(shè)備，但是本實施例并不限于此示例，而是顯示設(shè)備30可以是不同于信息處理設(shè)備10的另一設(shè)備。檢測單元156包括用于檢測設(shè)備在由虛擬空間識別單元152所識別的虛擬空間中的位置和存儲單元158中所存儲的對象的位置間的對應(yīng)關(guān)系的功能。另外，除了位置信息的對應(yīng)關(guān)系外，檢測單元156可檢測姿態(tài)信息的對應(yīng)關(guān)系。存儲單元158存儲將被布置在虛擬空間中的對象(AR對象)。存儲單元158可以是諸如非易失性存儲器、磁盤、光盤，和MO(磁光)盤的存儲介質(zhì)。非易失性存儲器包括，例如，EEPROM (電可擦可編程只讀存儲器)和EPROM (可擦可編程ROM)。磁盤包括硬盤和類似于盤的磁盤。光盤包括⑶(光碟)、DVD-R(可錄制數(shù)字通用光盤)，以及BD(藍光盤(注冊商標(biāo)))。另外，存儲單元158存儲AR對象的屬性信息，諸如，每個AR對象的位置信息、姿態(tài)信息、大小等。發(fā)布單元160包括用于發(fā)布用于使得稍后描述的執(zhí)行單元162執(zhí)行預(yù)定處理的命令的功能。命令將在用戶執(zhí)行任意與信息處理設(shè)備10的主體有關(guān)的操作時被發(fā)布。預(yù)定的處理例如可以是操作，諸如與信息處理設(shè)備10的主體有關(guān)的在某個方向上的搖擺、下落，指向的操作、通過GUI進行的操作等。另外，在移動信息處理設(shè)備10的主體的情形中， 發(fā)布單元160可在移動速度變?yōu)樵谀硡^(qū)間內(nèi)時發(fā)布命令。另外，發(fā)布單元160可根據(jù)信息處理設(shè)備10的主體的位置和對象的位置間的對應(yīng)關(guān)系來發(fā)布命令。發(fā)布單元160可基于顯示設(shè)備30和AR對象的位置信息來發(fā)布命令。例如，可以在顯示單元30的位置和AR對象所布置的位置間的距離變?yōu)樵谀硡^(qū)間內(nèi)、或某區(qū)間外時發(fā)布命令。另外，發(fā)布單元160可在顯示設(shè)備30的姿態(tài)和AR對象的姿態(tài)變得相同時發(fā)布命令。 另外，發(fā)布單元160可在能夠通過GPS信息等獲得的顯示設(shè)備30的位置進入特定區(qū)域、或出了特定區(qū)域時發(fā)布命令。由發(fā)布單元160發(fā)布的命令包括例如用于在虛擬空間中部署(輸入)虛擬對象的處理、用于重新布置(移動)的處理等。其他示例包括用于從虛擬空間移除(輸出)虛擬對象的處理、用于變更虛擬對象的大小的處理等。執(zhí)行單元162包括用于基于由檢測單元156所檢測的設(shè)備信息來對AR對象執(zhí)行某處理的功能。如上所述，設(shè)備信息是AR對象的信息，諸如位置信息、姿態(tài)信息等。對AR對象的某處理例如是諸如將AR對象輸入到虛擬空間、從虛擬空間輸出AR對象等的處理。將 AR對象輸入到虛擬空間是指在虛擬空間中布置AR對象。從虛擬空間輸出AR對象是指從虛擬空間移除已被布置在虛擬空間中的AR對象。另外，可通過在現(xiàn)實空間上顯示布置在虛擬空間中的對象來從虛擬空間輸出AR對象。另外，從虛擬空間移除的對象可被以其被移除時的大小存儲在信息處理設(shè)備10中。此處，將參考圖6給出執(zhí)行單元162輸入(布置)AR對象的說明。圖6中的圖310 示出了 AR對象如何被布置在AR空間中。圖6中的圖312示出了在AR對象被布置在AR空間之后的結(jié)果。如圖6所示，圖310示出了在AR空間中不存在AR對象。對象312是顯示在現(xiàn)實空間中的顯示設(shè)備30上的對象，其希望被布置在AR空間中，但還未被布置在AR空間中。在對象312被顯示在顯示設(shè)備30上的時刻，將被布置在AR空間中的對象的位置或大小還未被確定。當(dāng)用于將來自現(xiàn)實空間的對象布置在虛擬空間的命令根據(jù)用戶操作被發(fā)布時，對象312被布置在AR空間。此亥Ij，作為AR對象被布置在AR空間中的對象312的位置是基于當(dāng)命令被發(fā)布時顯示設(shè)備30在AR空間中的位置的位置。另外，將被布置在AR空間中的AR 對象的大小是基于當(dāng)命令已被發(fā)布的時刻正被顯示在顯示設(shè)備30上的AR對象的大小的。例如，為了在顯示設(shè)備30的位置處布置AR對象，AR對象將以在顯示設(shè)備30所顯示的大小被布置。為了將AR對象布置在不同于設(shè)備位置的位置，基于用于在AR空間中的顯示設(shè)備30的位置處顯示的大小確定將被布置的位置的大小，并且AR對象將被布置。圖314示出了 AR對象315被布置在AR空間中的結(jié)果。顯示在顯示設(shè)備30上的 AR對象316顯示了當(dāng)顯示設(shè)備30以箭頭方向移動時在顯示設(shè)備30上的AR對象的顯示狀態(tài)，該AR對象是已被布置在AR空間中的顯示設(shè)備30上的。因此，AR對象將在用于布置的命令被發(fā)布的時刻并以用于布置的命令被發(fā)送時在顯示設(shè)備30上被顯示的大小被布置在 AR空間中顯示設(shè)備30的位置處。因此，如果所發(fā)布的命令由任意事件(諸如用戶擺動信息處理設(shè)備10的主體、或用戶通過GUI的操作給出指令)觸發(fā)，則AR對象基于顯示設(shè)備30的位置信息被布置在AR 空間中。這使得即便用戶不指定AR對象所布置的位置或大小也能在AR空間中直觀地布置 AR對象。接下來，將參考圖7給出關(guān)于在現(xiàn)實空間和AR空間中的對象的位置或大小的說明。顯示在顯示設(shè)備30上的對象322是在現(xiàn)實空間中所顯示的對象。對象322代表其在現(xiàn)實空間的3D空間坐標(biāo)系統(tǒng)上的位置和大小。另外，對象3M是布置在AR空間中的AR對象。在AR空間中的對象324的位置基于顯示設(shè)備30的位置被表示在AR空間坐標(biāo)系統(tǒng)上。另外，在AR空間中的對象324的大小基于顯示設(shè)備30的顯示屏幕的大小被表示在AR空間坐標(biāo)系統(tǒng)上。正被顯示在現(xiàn)實空間中的對象322的AR對象所布置于的位置將被確定為是在當(dāng)根據(jù)用戶操作而向AR空間發(fā)布輸入命令時AR空間坐標(biāo)系統(tǒng)上顯示設(shè)備30的位置處。此刻，在現(xiàn)實空間坐標(biāo)系統(tǒng)上顯示在顯示設(shè)備30的顯示屏幕上的對象的位置和大小被轉(zhuǎn)換成在AR空間坐標(biāo)系統(tǒng)上的位置和大小。位置轉(zhuǎn)換是指獲取顯示設(shè)備30在已被上述虛擬空間識別單元152從現(xiàn)實空間的 3D結(jié)構(gòu)分析和識別出的AR空間中的位置信息，并且將該位置信息設(shè)置成AR對象的布置位置。大小的轉(zhuǎn)換是指獲得正顯示在顯示設(shè)備30上的對象在AR空間上的大小，并且將此大小反映到將被布置在AR空間上的對象上。在圖7中，對象3M被表示在AR空間坐標(biāo)系統(tǒng)上，并且將被布置的位置和大小被表示在AR空間坐標(biāo)系統(tǒng)上。顯示單元巧4致使顯示設(shè)備30顯示在AR空間與視頻等在現(xiàn)實空間合成之后布置在AR空間上的AR對象。圖7表示現(xiàn)實空間上的對象322被布置在AR 空間中，并且對象3 被布置在AR空間中的狀態(tài)。即，對象322被表示在現(xiàn)實空間坐標(biāo)系統(tǒng)上，而對象3M被表示在AR空間坐標(biāo)系統(tǒng)上。在對象被布置在AR空間上的時刻，其基于顯示設(shè)備30的顯示位置，因此，這兩個對象在顯示屏幕上的顯示是相同的。接下來，參考圖8和圖9，將給出關(guān)于將被布置在AR空間中的對象的姿態(tài)信息的反映的說明。例如，利用由圖像捕獲設(shè)備20所捕獲的視頻，可以獲得顯示設(shè)備30的姿態(tài)信息并反映在AR對象中。具體地，如圖8所示，假定顯示設(shè)備30的前向(front direction)是 AR空間上的垂直方向，向量變得垂直時的平面將被計算。例如，如圖9中的圖330所示，對象332將被布置在AR空間中，同時顯示設(shè)備30 在AR空間上被設(shè)置為處于傾斜的狀態(tài)。此刻，顯示設(shè)備30的姿態(tài)信息將被反映在對象332 中。如在圖9中的圖334所示，AR對象336將被以傾斜的狀態(tài)布置，其反映了顯示設(shè)備30 的姿態(tài)信息。如上所述，已經(jīng)說明了執(zhí)行單元162輸入(布置)AR對象。在以上說明中，AR對
10象基于顯示設(shè)備30的位置被布置在AR空間中，但是，本實施例并不限于此示例，而是可以基于圖像捕獲設(shè)備20的位置。例如，在圖像捕獲設(shè)備20的位置的前向上一定距離中的位置可以是AR對象將被布置的位置。接下來，參考圖10到圖14，將給出由執(zhí)行單元162輸出(從AR空間移除)虛擬對象的說明。圖10是用于說明顯示布置在AR空間中的AR對象的圖。如圖10所示，AR對象被布置在AR空間，并且AR對象被顯示在顯示設(shè)備30上。顯示在AR空間坐標(biāo)系統(tǒng)上的AR 對象根據(jù)顯示設(shè)備30 (圖像捕獲設(shè)備20)的位置關(guān)系改變其在顯示設(shè)備30上的顯示。例如，如果顯示設(shè)備30位于AR對象所布置的位置的右方向上，則AR對象將被顯示在顯示屏幕的左側(cè)。當(dāng)顯示設(shè)備30與AR對象所布置的位置分離時，AR對象以較小的尺寸顯示在顯示屏幕上。因此，布置在AR空間坐標(biāo)系統(tǒng)上的AR對象將被空間地顯示在顯示設(shè)備30的顯示屏幕上。接下來，將參考圖11給出在AR空間中的AR對象的輸出的說明。圖11示出了一種狀態(tài)，其中，當(dāng)AR對象在AR空間中的位置與顯示設(shè)備30 (圖像捕獲設(shè)備20)在AR空間中的位置變得相同時，AR對象被移除。如圖11所示，顯示設(shè)備30位于不同于AR對象被布置的位置的位置402處。顯示設(shè)備30移動到位置404，顯示設(shè)備30的位置和AR對象的位置變得一致。此刻，用于從AR空間將AR對象移除的命令被發(fā)布單元160發(fā)布。當(dāng)顯示設(shè)備30的位置轉(zhuǎn)換 AR對象被布置的位置并移動到位置406處時，AR對象被從AR空間移除。如果AR對象被從AR空間輸出(移除)，則AR對象的輸出大小變成當(dāng)AR對象的位置和顯示設(shè)備30的位置變得一致時AR對象在AR空間位置處的大小。輸出AR對象是指如圖11所示從顯示屏幕將AR對象移除、或?qū)R對象從AR空間拾取到現(xiàn)實空間等。此處，參考圖12到圖14，將給出獲取AR對象的說明。獲取AR對象是指將在AR空間中的AR對象拾取(輸出)到現(xiàn)實空間。如圖12所示，對象412和414被布置在AR空間中。另外，在顯示屏幕上顯示對象 412的狀態(tài)用顯示416表示，而在顯示屏幕上顯示對象414的狀態(tài)用顯示418表示。在圖 13中，示出了對象412和414，以及顯示設(shè)備30的顯示屏幕420的大小。如圖13所示，假定對象412的大小是對象414的大小h2的一半。另外，假定對象412的大小hi與顯示屏幕420的大小h3是相同的。如圖12所示，在AR空間上的AR對象被顯示在顯示設(shè)備30的顯示屏幕上。由于此原因，取決于設(shè)備和AR對象間的距離，離顯示屏幕遠的對象被顯示為很小，而靠近顯示屏幕的對象被顯示為很大。由于在AR空間上對象414比對象412距離顯示屏幕更遠，所以在顯示屏幕上對象414的顯示418顯示為比對象412的顯示416更小。接下來，將給出獲得圖12中所示的位置關(guān)系的對象的說明。在圖14中的顯示示例430示出了在各個位置獲得(輸出)為圖12中所示的關(guān)系的兩個對象中的每一個之后的結(jié)果。在顯示示例430中，所獲得的對象412和414被顯示。獲取的對象412和414的大小是圖13中所示的AR對象的大小。S卩，從AR空間所獲得的對象412和414的大小是基于顯示屏幕的大小的大小。因此，由于對象412與顯示屏幕大小相同，并且對象414是顯示屏幕大小的兩倍，因此，對象414的一半被留在顯示屏幕上。另外，如顯示示例436所示出的，大小是基于任意對象的大小的，并且屏幕的大小可以是顯示的基礎(chǔ)。為了通過利用從AR空間獲取到現(xiàn)實空間的對象來重新在AR空間中布置對象，對象將被以與被獲取(輸出)前的對象的大小相同的大小來布置。即，為了在AR 空間中布置(輸入)對象或從AR空間獲得(輸出)對象，輸入或輸出以AR對象的絕對大小完成。另外，輸入或輸出可基于絕對大小來完成。如上所述，已經(jīng)說明了獲取AR對象。根據(jù)信息處理設(shè)備10，AR對象的輸入位置或輸出位置將基于顯示設(shè)備30的位置并通過比較AR空間中顯示設(shè)備30和AR對象的位置來確定。這使得在AR空間上直觀地布置或移除AR對象成為可能。[5]信息處理設(shè)備的操作細節(jié)如上所述，已經(jīng)說明了信息處理設(shè)備10的功能性配置。接下來，將參考圖15到圖 18來說明信息處理設(shè)備10的細節(jié)操作。參考圖15和圖16，將給出信息處理設(shè)備10中的 AR對象的輸入處理的說明。如圖15所示，虛擬空間識別單元152分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間(AR空間)(S102)，并且獲得在虛擬空間上的位置(S104)。接下來，檢測單元156檢測信息處理設(shè)備的位置和對象的位置之間的對應(yīng)關(guān)系以在顯示設(shè)備30的顯示屏幕上顯示將被布置在虛擬空間中的對象(S106)。在步驟S106中顯示該對象可以是根據(jù)用戶操作來獲得存儲在存儲單元158中的對象，或者顯示單元IM可在顯示屏幕上顯示任意對象。接下來，根據(jù)用戶操作，發(fā)布單元160發(fā)布用于布置對象的命令(S108)。在步驟 S108，如果用戶擺動信息處理設(shè)備10的主體、使之傾斜、使之，面向某一方向，或由GUI操作它，則發(fā)布單元160發(fā)布用于布置的命令。另外，當(dāng)顯示設(shè)備30的位置和AR對象的布置位置間的距離變?yōu)樵谀硡^(qū)間內(nèi)時，發(fā)布單元160可發(fā)布用于布置的命令。執(zhí)行單元162確定將被布置在虛擬空間中的對象的大小(SllO)。注意，對于將被布置于的位置，信息處理設(shè)備10在虛擬空間中的位置是從虛擬空間識別單元152獲得的。 如上所述，在步驟110中所確定的對象的位置和大小將是基于顯示設(shè)備30和顯示屏幕的大小和位置來確定的。因此，在虛擬空間中，對象將以在步驟SllO中所確定的在虛擬空間中的位置和大小被布置。如上所述，由于將被在虛擬空間中布置的對象的位置和大小是基于顯示設(shè)備30 的位置和顯示屏幕的大小而確定的，因此即使用戶不明確指定對象的位置或大小，仍可能在虛擬空間中直觀地布置對象。此處，為了輕松地理解信息處理設(shè)備10中的對象的輸入處理，將參考圖16中的圖來給出關(guān)于對象的輸入處理的說明。如在圖16中的圖500所示，在識別虛擬空間(AR空間)之后，顯示設(shè)備30 (信息處理設(shè)備10的主體)被移動到在AR空間中對象希望被輸入 (布置)的位置處。接下來，如圖502所示，用于布置的命令在對象希望被輸入的位置處被發(fā)布，并且對象將被布置在AR空間中。因此，如圖504和506所示，對象將被布置在AR空間中。因此， 由于對象是基于與顯示設(shè)備30的位置關(guān)系被布置的，因此，即使用戶不指定在AR空間中的布置位置或用于布置的大小，對象也能夠在合適的位置以合適的大小被布置在AR空間中。將參考圖17和圖18來給出關(guān)于信息處理設(shè)備10中AR對象的輸出處理的說明。 如圖17所示，虛擬空間識別單元152首先分析現(xiàn)實空間的3D空間結(jié)構(gòu)并識別虛擬空間(AR 空間)(S202)。然后，虛擬空間識別單元152確定設(shè)備位置(顯示設(shè)備30的位置)是否與對象的位置一致(S204)。在步驟S204，如果顯示設(shè)備30的位置與對象的位置一致，則發(fā)布單元160發(fā)布命令(S206)。在步驟S206，當(dāng)顯示設(shè)備30的位置與對象的位置一致時，命令被發(fā)布，但是，本實施例并不限于此示例。例如，當(dāng)顯示設(shè)備30和對象的位置變?yōu)樵谀硡^(qū)間內(nèi)時，發(fā)布單元 160可發(fā)布命令。用戶操作可觸發(fā)對命令的發(fā)布。如果在步驟S204顯示設(shè)備30和對象的位置被確定為不一致，則步驟S204的確定處理將被重復(fù)。執(zhí)行單元162確定在步驟S206由發(fā)布單元160所發(fā)布的命令是否是用于移除對象的命令(S208)。在步驟S208，如果所發(fā)布的命令被確定為是用于移除對象的命令，則執(zhí)行單元162從虛擬空間中移除對象(S210)。如果在步驟S208，所發(fā)布的命令被確定為不是用于移除對象的命令，則對應(yīng)于命令的處理被執(zhí)行。不是用于移除對象的命令是這樣的命令，例如如上所述用于布置的命令、 用于重新布置的命令等。此處，為了輕松地理解在信息處理設(shè)備10中對對象的輸出處理，將參考圖18給出關(guān)于對對象的輸出處理的說明。在圖18中的圖510示出了一種狀態(tài)，其中，對象被布置在 AR空間中，并且顯示設(shè)備30被移動到對象所布置的位置。圖512和514示出了用于輸出對象的命令被發(fā)布、布置在AR空間中的對象在現(xiàn)實空間中被輸出，并且信息處理設(shè)備10獲取對象的狀態(tài)。如上所述，當(dāng)布置在AR空間中的對象被輸出到現(xiàn)實空間時，對象將基于顯示設(shè)備30的顯示屏幕的大小，以AR空間中的大小顯示在顯示設(shè)備30的顯示屏幕上。因此，在從AR空間移除對象的情形中，由于對象基于與顯示設(shè)備30的位置關(guān)系和顯示設(shè)備30的顯示屏幕的大小被顯示在現(xiàn)實空間上，所以對象能夠以合適的大小在現(xiàn)實空間中輸出而不指定用于輸出的大小。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，只要其在所附權(quán)利要求或其等同物的范圍內(nèi)，取決于設(shè)計要求和其他元素，可發(fā)生多種修改、組合、子組合和變更。例如，在說明書中所描述的信息處理裝置10的處理中的步驟不一定是根據(jù)流程圖所公開的次序來以時間序列執(zhí)行的。換言之，在信息處理裝置10的處理中的步驟可在不同的處理中并行執(zhí)行。另外，內(nèi)嵌在信息處理裝置10等中的諸如CPU、R0M和RAM的硬件還可被計算機程序?qū)崿F(xiàn)，該計算機程序具有等同于前述信息處理設(shè)備10的那些組件的功能。另外，還提供了存儲計算機程序的存儲介質(zhì)。本申請包括與公開在2010年3月4日遞交日本專利局的第JP2010-048095號日本優(yōu)先權(quán)專利申請有關(guān)的主題內(nèi)容，其全部內(nèi)容通過引用被結(jié)合于此。
1權(quán)利要求
1.一種信息處理設(shè)備，包括虛擬空間識別單元，該虛擬空間識別單元用于分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間，以及用于獲得所述虛擬空間中的設(shè)備的位置信息；存儲單元，該存儲單元用于存儲被布置在所述虛擬空間中的對象以及所述對象的位置 fn息；顯示單元，該顯示單元用于在顯示設(shè)備上顯示被布置在所述虛擬空間中的所述對象；檢測單元，該檢測單元用于檢測所述顯示設(shè)備的設(shè)備信息；以及執(zhí)行單元，該執(zhí)行單元用于基于所述設(shè)備信息來對所述對象執(zhí)行預(yù)定處理。
2.如權(quán)利要求1所述的信息處理設(shè)備，其中所述檢測單元檢測由所述虛擬空間識別單元所獲得的所述虛擬空間中的位置信息與所述存儲單元中所存儲的所述對象的位置信息之間的對應(yīng)關(guān)系，以及所述執(zhí)行單元根據(jù)由所述檢測單元所檢測的所述對應(yīng)關(guān)系的狀態(tài)來對所述對象執(zhí)行預(yù)定處理。
3.如權(quán)利要求1所述的信息處理設(shè)備，包括發(fā)布單元，該發(fā)布單元用于根據(jù)用戶的操作來發(fā)布使得所述執(zhí)行單元執(zhí)行預(yù)定處理的命令，其中，所述執(zhí)行單元根據(jù)由所述發(fā)布單元所發(fā)布的命令來執(zhí)行所述預(yù)定處理。
4.如權(quán)利要求1所述的信息處理設(shè)備，其中，所述執(zhí)行單元基于所述設(shè)備信息來將所述對象輸入到所述虛擬空間中。
5.如權(quán)利要求4所述的信息處理設(shè)備，其中，所述執(zhí)行單元通過在所述虛擬空間中布置所述對象來將所述對象輸入到所述虛擬空間中。
6.如權(quán)利要求5所述的信息處理設(shè)備，其中所述檢測單元檢測所述虛擬空間上所述顯示設(shè)備的姿態(tài)信息，以及所述執(zhí)行單元在所述虛擬空間中布置反映了所述顯示設(shè)備的所述姿態(tài)信息的所述對象。
7.如權(quán)利要求3所述的信息處理設(shè)備，其中所述執(zhí)行單元基于所述設(shè)備信息從所述虛擬空間輸出已被輸入到所述虛擬空間中的所述對象。
8.如權(quán)利要求6所述的信息處理設(shè)備，其中所述執(zhí)行單元通過從所述虛擬空間移除被布置在所述虛擬空間中的所述對象來從所述虛擬空間中輸出所述對象。
9.如權(quán)利要求8所述的信息處理設(shè)備，其中所述執(zhí)行單元通過在所述現(xiàn)實空間中以預(yù)定大小顯示被布置在所述虛擬空間中的所述對象來從所述虛擬空間輸出所述對象。
10.如權(quán)利要求9所述的信息處理設(shè)備，其中所述執(zhí)行單元在所述現(xiàn)實空間中以對應(yīng)于所述虛擬空間中的大小的大小顯示被布置在所述虛擬空間中的對象。
11.一種信息處理方法，包括如下步驟分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間； 在所述虛擬空間中布置對象； 檢測顯示所述虛擬空間的顯示設(shè)備的設(shè)備信息；以及基于所述設(shè)備信息對所述對象執(zhí)行預(yù)定處理。
12. —種致使計算機用作信息處理設(shè)備的程序，該信息處理設(shè)備包括 虛擬空間識別單元，該虛擬空間識別單元用于分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間，以及用于計算設(shè)備的位置信息；存儲單元，該存儲單元用于存儲將被布置在所述虛擬空間中的對象； 顯示單元，該顯示單元用于在顯示設(shè)備上顯示被布置在所述虛擬空間中的所述對象；以及檢測單元，該檢測單元用于檢測將被布置在所述虛擬空間中的所述對象的位置和所述設(shè)備的位置之間的對應(yīng)關(guān)系；以及執(zhí)行單元，該執(zhí)行單元用于基于所述設(shè)備信息來對所述對象執(zhí)行預(yù)定處理。
全文摘要
本發(fā)明涉及信息處理設(shè)備、信息處理方法，和程序。提供了一種信息處理設(shè)備，包括虛擬空間識別單元，該虛擬空間識別單元用于分析現(xiàn)實空間的3D空間結(jié)構(gòu)以識別虛擬空間；存儲單元，該存儲單元用于存儲將被布置在虛擬空間中的對象；顯示單元，該顯示單元用于在顯示設(shè)備上顯示布置在虛擬空間中的對象；檢測單元，該檢測單元用于檢測顯示設(shè)備的設(shè)備信息；以及執(zhí)行單元，該執(zhí)行單元用于基于設(shè)備信息來對對象執(zhí)行預(yù)定處理。
文檔編號G06T19/00GK102194254SQ20111004939
公開日2011年9月21日 申請日期2011年2月25日 優(yōu)先權(quán)日2010年3月4日
發(fā)明者宮下朗, 石毛廣行, 鈴木和弘 申請人:索尼公司