專利名稱：圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)。
背景技術(shù)：
過(guò)去，已開(kāi)發(fā)了稱作MR(混合現(xiàn)實(shí))的技術(shù)以為用戶提供混合真實(shí)世界和虛擬世界的環(huán)境。AR(增強(qiáng)現(xiàn)實(shí))，作為MR的實(shí)例，為用戶提供通過(guò)對(duì)真實(shí)空間進(jìn)行成像來(lái)獲得以及用虛擬對(duì)象圖像或附加信息來(lái)增強(qiáng)的圖像。在MR中，常常在真實(shí)世界中布置一些接口以允許用戶與虛擬世界或虛擬對(duì)象交互。例如，日本專利申請(qǐng)公開(kāi)2002-247602號(hào)描述了用于提供這樣的桌上冰球游戲的MR系統(tǒng)在該游戲中，多個(gè)用戶通過(guò)操縱控制箱(即，真實(shí)世界中的物理對(duì)象)互相擊打冰球。

發(fā)明內(nèi)容
然而，在如日本專利申請(qǐng)公開(kāi)2002-M7602號(hào)中描述的系統(tǒng)中一樣由多個(gè)用戶共享一個(gè)虛擬對(duì)象的情形中，會(huì)由于例如設(shè)備之間的通信延遲或者處理的延遲而在真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間出現(xiàn)不匹配。例如，在日本專利申請(qǐng)公開(kāi)2002-247602號(hào)中描述的MR系統(tǒng)中，作為主控(master)的MR游戲設(shè)備獲得由用戶的頭戴式顯示器(HMD)獲得的輸入圖像，對(duì)輸入圖像執(zhí)行預(yù)定處理，并向用戶的HMD發(fā)布輸出圖像。在此情形中，花費(fèi)許多時(shí)間來(lái)獲取輸入圖像以及發(fā)布輸出圖像。因此，用戶手部的狀態(tài)與HMD上顯示的輸出圖像的狀態(tài)不匹配，該不匹配很可能使用戶感覺(jué)不舒服。在用于在由用戶佩戴的透視顯示器上投射虛擬對(duì)象的方法的情形中，問(wèn)題在于用戶看到的真實(shí)世界的狀態(tài)以及在有通信延遲等的情況下投射的虛擬對(duì)象會(huì)在顯示器上彼此移位。
相應(yīng)地，本發(fā)明提供這樣的新型和改進(jìn)的圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)其可以在減少真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的同時(shí)提供混合現(xiàn)實(shí)。
根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像；圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中； 計(jì)算單元，用于根據(jù)由圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計(jì)算單元計(jì)算出的顯示裝置的屏幕的位置處顯示虛擬對(duì)象；以及通信單元，用于在檢測(cè)到第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)。
根據(jù)以上結(jié)構(gòu)，當(dāng)檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)，識(shí)別通過(guò)拍攝真實(shí)空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識(shí)別的結(jié)果，控制虛擬對(duì)象的顯示。此外， 從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送第一通知信號(hào)以通知操縱開(kāi)始。
第一通知信號(hào)可以包括用于標(biāo)識(shí)虛擬對(duì)象的標(biāo)識(shí)數(shù)據(jù)或者表示虛擬對(duì)象位置的位置數(shù)據(jù)。
當(dāng)檢測(cè)到表示操縱結(jié)束的第二用戶輸入時(shí)，通信單元可以向另一設(shè)備發(fā)送第二通知信號(hào)以通知操縱結(jié)束。
第二通知信號(hào)可以包括表示由計(jì)算單元計(jì)算的表示虛擬對(duì)象位置的位置數(shù)據(jù)。
圖像識(shí)別單元還可以在通信單元從另一設(shè)備接收到第一通知信號(hào)時(shí)識(shí)別輸入圖像中出現(xiàn)的操縱物。
在由通信單元接收的第一通知信號(hào)與由圖像處理設(shè)備要顯示的虛擬對(duì)象無(wú)關(guān)時(shí)， 圖像識(shí)別單元可以不識(shí)別操縱物。
在檢測(cè)到第一用戶輸入并且之后作為由圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果確定操縱物與虛擬對(duì)象相接觸時(shí)，通信單元可以向另一設(shè)備發(fā)送第一通知信號(hào)。
通信單元可以向管理顯示同樣虛擬對(duì)象的一組設(shè)備的信息處理設(shè)備發(fā)送第一通知信號(hào)。
第一通知信號(hào)可以包括用于標(biāo)識(shí)虛擬對(duì)象的標(biāo)識(shí)數(shù)據(jù)或者表示虛擬對(duì)象位置的位置數(shù)據(jù)，可以經(jīng)由信息處理設(shè)備向顯示相同虛擬對(duì)象的另一設(shè)備傳送第一通知信號(hào)。
圖像處理設(shè)備可以進(jìn)一步包括存儲(chǔ)單元，存儲(chǔ)表示操縱物的操縱物圖像，并且圖像識(shí)別單元可以使用存儲(chǔ)單元中存儲(chǔ)的操縱物圖像來(lái)識(shí)別輸入圖像中出現(xiàn)的操縱物。
根據(jù)本發(fā)明的另一實(shí)施例，提供了一種由圖像處理設(shè)備執(zhí)行的圖像處理方法，包括步驟獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像；檢測(cè)表示操縱開(kāi)始的第一用戶輸入；將第一通知信號(hào)發(fā)送到顯示與要由圖像處理設(shè)備操縱的虛擬對(duì)象相同的虛擬對(duì)象的另一設(shè)備，以通知操縱開(kāi)始；識(shí)別出現(xiàn)在輸入圖像中的用于虛擬對(duì)象的操縱的操縱物；根據(jù)操縱物的識(shí)別結(jié)果計(jì)算虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；以及在計(jì)算出的顯示裝置的屏幕的位置處顯示虛擬對(duì)象。
根據(jù)本發(fā)明的另一實(shí)施例，提供了一種程序，用于使控制圖像處理設(shè)備的計(jì)算機(jī)作為輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像；圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物， 其中，操縱物出現(xiàn)在輸入圖像中；計(jì)算單元，用于根據(jù)由圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計(jì)算單元計(jì)算出的顯示裝置的屏幕的位置處顯示虛擬對(duì)象；以及通信單元，用于在檢測(cè)到第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)。
根據(jù)本發(fā)明的另一實(shí)施例，提供了一種包括兩個(gè)或更多個(gè)圖像處理設(shè)備的圖像處理系統(tǒng)，其中，圖像處理設(shè)備中的每一個(gè)包括輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像；圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中；計(jì)算單元，用于根據(jù)由圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計(jì)算單元計(jì)算出的顯示裝置的屏幕的位置處顯示虛擬對(duì)象； 以及通信單元，用于在檢測(cè)到第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)，其中，圖像識(shí)別單元還在通信單元從另一設(shè)備接收到第一通知信號(hào)時(shí)識(shí)別輸入圖像中出現(xiàn)的操縱物。
如上所述，根據(jù)本發(fā)明的圖像處理設(shè)備、圖像處理方法、程序以及圖像處理系統(tǒng)， 可以在減少真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的同時(shí)提供混合現(xiàn)實(shí)。


圖1是示出根據(jù)實(shí)施例的圖像處理系統(tǒng)的概況的示意圖； 圖2是示出根據(jù)與本發(fā)明有關(guān)的技術(shù)的圖像處理的說(shuō)明圖； 圖3A是示出真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的第一-說(shuō)明圖； 圖3B是示出真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的第二說(shuō)明圖； 圖4是示出根據(jù)實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)實(shí)例的框圖； 圖5A是示出根據(jù)實(shí)施例的操縱物的實(shí)例的示意圖； 圖5B是示出根據(jù)實(shí)施例的操縱物的另一實(shí)例的示意圖； 圖6是示出對(duì)象數(shù)據(jù)的實(shí)例的說(shuō)明圖； 圖7是示出根據(jù)實(shí)施例的虛擬對(duì)象的顯示位置計(jì)算處理的流程實(shí)例的流程圖 圖8A是示出根據(jù)實(shí)施例的操縱開(kāi)始信號(hào)的說(shuō)明圖； 圖8B是示出根據(jù)實(shí)施例的操縱結(jié)束信號(hào)的說(shuō)明圖； 圖8C是示出根據(jù)實(shí)施例的自身位置通知信號(hào)的說(shuō)明圖； 圖9是示出根據(jù)實(shí)施例的操縱側(cè)圖像處理的流程實(shí)例的流程圖； 圖10是示出根據(jù)實(shí)施例的觀察側(cè)圖像處理的流程實(shí)例的流程圖； 圖11是示出根據(jù)實(shí)施例的管理服務(wù)器的結(jié)構(gòu)實(shí)例的框圖； 圖12是示出根據(jù)實(shí)施例的信號(hào)傳送處理的流程實(shí)例的流程圖；以及 圖13是示出根據(jù)修改的圖像處理系統(tǒng)的示意圖。
具體實(shí)施例方式在下文中，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說(shuō)明書(shū)和附圖中，用相同的附圖標(biāo)記表示功能和結(jié)構(gòu)基本上相同的結(jié)構(gòu)元件，略去了這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。
另外，按如下順序描述實(shí)施例的詳細(xì)描述。
1.系統(tǒng)的概況 1-1.整個(gè)系統(tǒng)的概況 1-2.與相關(guān)領(lǐng)域相關(guān)聯(lián)的問(wèn)題 2.關(guān)于圖像處理設(shè)備的說(shuō)明 2-1.設(shè)備的示例性結(jié)構(gòu) 2-2.處理的流程 3.關(guān)于管理服務(wù)器的說(shuō)明 3-1.設(shè)備的示例性結(jié)構(gòu) 3-2.處理的流程 4.變型 5.結(jié)論 <1.系統(tǒng)的概況〉 [1-1.整個(gè)系統(tǒng)的概況] 圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像處理系統(tǒng)的概況的示意圖。圖1示出包括圖像處理設(shè)備IOOa和IOOb以及管理服務(wù)器200的圖像處理系統(tǒng)。圖像處理設(shè)備IOOa是由用戶版使用的設(shè)備。圖像處理設(shè)備IOOa可以經(jīng)由有線通信連接或無(wú)線通信連接與管理服務(wù)器200通信。圖像處理設(shè)備IOOb是由用戶Wd使用的設(shè)備。圖像處理設(shè)備IOOb也可以經(jīng)由有線通信連接或無(wú)線通信連接與管理服務(wù)器200通信。
圖像處理設(shè)備IOOa被連接到例如用戶Ua在頭上佩戴的HMD 104a和攝像裝置 102a。攝像裝置10 跟隨用戶fe的注視方向并在注視方向上拍攝真實(shí)世界Rl的圖像。然后，攝像裝置10 將一系列輸入圖像輸出到圖像處理設(shè)備100a。HMD 10 向用戶fe顯示由圖像處理設(shè)備IOOa提供的圖像。例如，由HMD 10 顯示的圖像是包括用戶fe視野中虛擬對(duì)象Vl的圖像。
同樣地，圖像處理設(shè)備IOOb被連接到例如用戶Ub在頭上佩戴的HMD 104b和攝像裝置102b。攝像裝置102b跟隨用戶Ub的注視方向并在注視方向上拍攝真實(shí)世界Rl的圖像。然后，攝像裝置102b將一系列輸入圖像輸出到圖像處理設(shè)備100b。HMD 104b向用戶證顯示由圖像處理設(shè)備IOOb提供的圖像。在本實(shí)施例中，圖像處理設(shè)備IOOa和IOOb共享虛擬對(duì)象VI。S卩，由HMD 104b顯示的圖像也可以包括用戶Ub視野中的虛擬對(duì)象VI。
在本說(shuō)明書(shū)中，當(dāng)沒(méi)有必要相互區(qū)分圖像處理設(shè)備IOOa和IOOb時(shí)，可以略去以后綴的形式附加到附圖標(biāo)記的字母。在這種情形中，將圖像處理設(shè)備IOOa和IOOb統(tǒng)稱為圖像處理設(shè)備100。也可以按類似方式統(tǒng)稱攝像裝置10 和102b (攝像裝置10 ,HMD 104a 和104b(HMD 104)以及其它組件。根據(jù)本實(shí)施例的圖像處理系統(tǒng)中的圖像處理設(shè)備100的數(shù)量不限于圖1中示出的實(shí)例，而可以是三個(gè)或更多個(gè)。例如，圖像處理系統(tǒng)還可以包括由第三個(gè)用戶使用的第三圖像處理設(shè)備100。
管理服務(wù)器200是用于在系統(tǒng)中管理關(guān)于圖像處理設(shè)備100的信息的信息處理設(shè)備。例如，管理服務(wù)器200以規(guī)則間隔(或者每次出現(xiàn)改變時(shí))從每個(gè)圖像處理設(shè)備100 接收攝像裝置102的姿勢(shì)和位置，并將接收的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)。然后，當(dāng)管理服務(wù)器200 從圖像處理設(shè)備100中的一個(gè)接收到表示虛擬對(duì)象Vl的操縱的信號(hào)時(shí)，管理服務(wù)器200向共享虛擬對(duì)象Vl的另一圖像處理設(shè)備100傳送該信號(hào)。
[1-2.與相關(guān)領(lǐng)域相關(guān)聯(lián)的問(wèn)題] 隨后，將參照?qǐng)D2、圖3A和圖;3B說(shuō)明如圖1所示的圖像處理系統(tǒng)中與本發(fā)明相關(guān)的技術(shù)相關(guān)聯(lián)的問(wèn)題。圖2是示出根據(jù)相關(guān)領(lǐng)域的典型圖像處理的說(shuō)明圖。圖3A和圖;3B 是各自示出可能在參照?qǐng)D2說(shuō)明的圖像處理中出現(xiàn)的、真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的說(shuō)明圖。
在圖2中，以用數(shù)字表明的框示出了根據(jù)相關(guān)領(lǐng)域的圖像處理的典型流程?？蛑斜砻鞯臄?shù)字表示處理的次序。即，在相關(guān)領(lǐng)域中，按如下順序執(zhí)行圖像處理。
(1)識(shí)別操縱物 (2)確定對(duì)象位置 (3)報(bào)告對(duì)象ID和位置 (4)發(fā)布對(duì)象ID和位置 (5)移動(dòng)虛擬對(duì)象 (1)識(shí)別操縱物 首先，圖像處理設(shè)備100中的一個(gè)圖像處理設(shè)備(在圖2的實(shí)例中，圖像處理設(shè)備
7100a)識(shí)別輸入圖像中出現(xiàn)的操縱物。操縱物是用于操縱虛擬對(duì)象的真實(shí)世界中的物理對(duì)象。操縱物可以是諸如用戶手部的人體的一部分，或者可以是除了人體之外的預(yù)定物理對(duì)象。
(2)確定對(duì)象位置 隨后，基于操縱物的位置(或移動(dòng))與虛擬對(duì)象的位置之間的關(guān)系確定虛擬對(duì)象的新位置。例如，在操縱物與虛擬對(duì)象相接觸的同時(shí)進(jìn)行移動(dòng)的情形中，可以根據(jù)操縱物的移動(dòng)更新虛擬對(duì)象的位置。
(3)報(bào)告對(duì)象ID和位置 隨后，向管理服務(wù)器200報(bào)告虛擬對(duì)象的新位置以及對(duì)象ID(標(biāo)識(shí)符)。
(4)發(fā)布對(duì)象ID和位置 隨后，管理服務(wù)器200將虛擬對(duì)象的新位置以及對(duì)象ID發(fā)布給共享相同虛擬對(duì)象的另一圖像處理設(shè)備100 (在圖2的實(shí)例中，圖像處理設(shè)備100b)。
(5)移動(dòng)虛擬對(duì)象 隨后，在共享相同虛擬對(duì)象的另一圖像處理設(shè)備100中，HMD 104的屏幕上的虛擬對(duì)象移動(dòng)。
在圖2的實(shí)例中，圖像處理設(shè)備IOOa執(zhí)行處理⑴和⑵?？蛇x擇地，代替圖像處理設(shè)備100a，管理服務(wù)器200可以在從圖像處理設(shè)備IOOa接收到輸入圖像時(shí)執(zhí)行處理(1) 和O)。又可選擇地，可以不布置管理服務(wù)器200。在此情形中，從圖像處理設(shè)備IOOa向圖像處理設(shè)備IOOb直接發(fā)送虛擬對(duì)象的新位置以及對(duì)象ID。
在如以上說(shuō)明的圖像處理中，在圖像處理設(shè)備IOOb完成虛擬對(duì)象的移動(dòng)時(shí)已經(jīng)過(guò)去了這樣的時(shí)間該時(shí)間包括時(shí)差和由設(shè)備之間的通信引起的處理延遲。于是，例如，當(dāng)在由攝像裝置102b拍攝的圖像內(nèi)覆蓋虛擬對(duì)象Vl時(shí)，HMD 104b上顯示的圖像在操縱物的狀態(tài)與虛擬對(duì)象Vl的狀態(tài)之間具有不匹配。
圖3A和圖;3B以更具體的方式示出以上問(wèn)題。圖3A示出包括由時(shí)間間隔T隔開(kāi)的兩幀圖像的實(shí)例。HMD 104a向用戶Ua (即，操縱虛擬對(duì)象Vl的人)顯示該兩幀。另一方面，圖3B示出包括由時(shí)間間隔T隔開(kāi)的兩幀圖像的實(shí)例。HMD 104b向用戶證(S卩，觀察虛擬對(duì)象Vl的人)顯示該兩幀。在此實(shí)例中，操縱物是用戶的手部。
如圖3A中所示，操縱物Hl在時(shí)間t = 0與虛擬對(duì)象Vla相接觸。此后，在時(shí)間t =T，虛擬對(duì)象Vla隨著操縱物Hl移動(dòng)向左移動(dòng)。即使在時(shí)間t = T，操縱物Hl也與虛擬對(duì)象Vla相接觸。
圖;3B與圖3A的相同之處在于在時(shí)間t = 0操縱物Hl與虛擬對(duì)象Vlb相接觸。虛擬對(duì)象Vla和虛擬對(duì)象Vlb是具有相同對(duì)象ID的相同對(duì)象。然而，因?yàn)樵诓煌琀MD上顯示對(duì)象，所以為方便起見(jiàn)用不同附圖標(biāo)記表示對(duì)象。此后，在時(shí)間t = T，虛擬對(duì)象Vlb隨著操縱物Hl移動(dòng)向左移動(dòng)。在時(shí)間t = T，由于時(shí)差和由設(shè)備之間的通信引起的處理延遲， 圖像處理設(shè)備IOOb接收到在當(dāng)前幀之前數(shù)幀的幀中虛擬對(duì)象的位置。因此，在時(shí)間t = T 在HMD 104b上顯示的虛擬對(duì)象Vlb的位置從在時(shí)間t = T在HMD 104a上顯示的虛擬對(duì)象 Vla的位置移位位移d。然而，在真實(shí)世界中，由攝像裝置102b拍攝的操縱物Hl的位置與由攝像裝置10 拍攝的操縱物Hl的位置相同。于是，操縱物Hl的位置在HMD 104b上顯示的圖像中與虛擬對(duì)象Vlb不匹配。在圖:3B的實(shí)例中，操縱物Hl不是與虛擬對(duì)象Vlb相接觸而是插入到虛擬對(duì)象Vlb中。
在每個(gè)HMD 104是只把虛擬對(duì)象的圖像投射到每個(gè)HMD 104的屏幕上的透視顯示器時(shí)，這種不匹配以同樣的方式或者更顯著地出現(xiàn)。
可以通過(guò)盡可能地減少時(shí)差和由設(shè)備之間的通信引起的處理延遲的影響來(lái)抑制真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配。在隨后章節(jié)，將說(shuō)明根據(jù)本實(shí)施例的圖像處理設(shè)備100和管理服務(wù)器200的具體結(jié)構(gòu)。在提供混合現(xiàn)實(shí)時(shí)，圖像處理設(shè)備100和管理服務(wù)器200減少時(shí)差和由設(shè)備之間的通信引起的處理延遲的影響。
<2.關(guān)于圖像處理設(shè)備的說(shuō)明> [2-1.設(shè)備的示例性結(jié)構(gòu)] 圖4是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100的結(jié)構(gòu)實(shí)例的框圖。如圖4中所示， 圖像處理設(shè)備100包括輸入圖像獲取單元110、自身位置檢測(cè)單元120、存儲(chǔ)單元130、圖像識(shí)別單元140、計(jì)算單元150、顯示控制單元160以及通信單元170。
(輸入圖像獲取單元) 攝像裝置102拍攝真實(shí)空間的圖像以生成輸入圖像，且輸入圖像獲取單元110獲得這樣生成的輸入圖像。然后，輸入圖像獲取單元110將獲得的輸入圖像輸出到自身位置檢測(cè)單元120、圖像識(shí)別單元140以及顯示控制單元160。
(自身位置檢測(cè)單元) 自身位置檢測(cè)單元120檢測(cè)真實(shí)世界中攝像裝置102的姿勢(shì)和位置。例如， 通過(guò)真實(shí)世界中絕對(duì)坐標(biāo)系中的三維位置來(lái)表示攝像裝置102的位置。例如，通過(guò)與旋轉(zhuǎn)矩陣相對(duì)應(yīng)的歐拉角或四元數(shù)表示攝像裝置102的姿勢(shì)。例如，根據(jù)Andrew J. Davison 的"Real-Time SimultaneousLocalization and Mapping with a Single Camera，，(Proceedings of the 9thIEEE International Conference on Computer Vision Volume 2，2003，第1403-1410頁(yè))中描述的SLAM技術(shù)的原理，自身位置檢測(cè)單元120可以通過(guò)使用由輸入圖像獲取單元110提供的輸入圖像來(lái)檢測(cè)攝像裝置102的姿勢(shì)和位置?？蛇x擇地，在攝像裝置102具有位置傳感器(例如，光學(xué)位置傳感器)和姿勢(shì)傳感器(例如， 陀螺儀傳感器)的情形中，自身位置檢測(cè)單元120可以獲得由攝像裝置102的傳感器檢測(cè)的位置和姿勢(shì)。例如，自身位置檢測(cè)單元120將通過(guò)以上方法中的任一方法檢測(cè)的攝像裝置102的姿勢(shì)和位置輸出到圖像識(shí)別單元140和通信單元170。
(存儲(chǔ)單元) 存儲(chǔ)單元130使用諸如硬盤(pán)或半導(dǎo)體存儲(chǔ)器的記錄介質(zhì)預(yù)先存儲(chǔ)操縱物圖像和對(duì)象數(shù)據(jù)。操縱物圖像是表示用于操縱顯示在輸出圖像上的虛擬對(duì)象的操縱物的圖像。另一方面，對(duì)象數(shù)據(jù)是與混合現(xiàn)實(shí)中由HMD 104顯示的虛擬對(duì)象有關(guān)的數(shù)據(jù)。
圖5A和圖5B是各自示出根據(jù)本實(shí)施例的操縱物的實(shí)例的示意圖。在圖5A的實(shí)例中，操縱物Mla是用戶的手部。在此情形中，存儲(chǔ)單元130預(yù)先存儲(chǔ)通過(guò)拍攝用戶手部的圖像獲得的圖像作為操縱物圖像。例如，存儲(chǔ)單元130可以存儲(chǔ)通過(guò)從各種不同方向拍攝用戶手部的圖像獲得的一組圖像作為操縱物圖像。
在圖5B的實(shí)例中，操縱物Mlb是用戶在手指上佩戴的立方體標(biāo)志。標(biāo)志的每個(gè)表面的中心部分形成有用戶可插入手指以移動(dòng)標(biāo)志的孔。在此情形中，存儲(chǔ)單元130預(yù)先存儲(chǔ)示出標(biāo)志的圖像作為操縱物圖像?？蛇x擇地，例如，可以共同地不僅采用標(biāo)志而且采用插入到標(biāo)志中的手指作為操縱物，并可以存儲(chǔ)示出包括標(biāo)志和手指的操縱物的圖像作為操縱物圖像。
應(yīng)當(dāng)注意，操縱物不限于圖5A和5B中示出的實(shí)例。例如，操縱物可以是活體的任何部分或者真實(shí)世界中存在的任何物理對(duì)象，諸如用戶的腳以及用戶持有的棍狀物理對(duì)象。響應(yīng)于由圖像識(shí)別單元140給出的請(qǐng)求，存儲(chǔ)單元130將操縱圖像輸出到圖像識(shí)別單元 140。
圖6是示出存儲(chǔ)在存儲(chǔ)單元130中的對(duì)象數(shù)據(jù)的實(shí)例的說(shuō)明圖。如圖6中所示， 對(duì)象數(shù)據(jù)包括三個(gè)數(shù)據(jù)項(xiàng)，即，對(duì)象ID、形狀以及位置?！皩?duì)象ID”是用于唯一地標(biāo)識(shí)虛擬對(duì)象的標(biāo)識(shí)符。圖6的實(shí)例包括對(duì)象ID為Vl和V2的兩個(gè)虛擬對(duì)象的對(duì)象數(shù)據(jù)?！靶螤睢笔潜硎咎摂M對(duì)象形狀的數(shù)據(jù)。例如，可以將虛擬對(duì)象的形狀表示成多邊形?！拔恢谩笔潜硎咎摂M對(duì)象最新位置的三維坐標(biāo)數(shù)據(jù)。隨著用戶對(duì)操縱物進(jìn)行操縱更新虛擬對(duì)象的位置。響應(yīng)于由計(jì)算單元150給出的請(qǐng)求，存儲(chǔ)單元130向計(jì)算單元150輸出對(duì)象數(shù)據(jù)。
(圖像識(shí)別單元) 在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入的情形中，圖像識(shí)別單元140識(shí)別用于虛擬對(duì)象的操縱以及出現(xiàn)在輸入圖像獲取單元110給出的輸入圖像中的操縱物。例如，圖像識(shí)別單元140可以通過(guò)使用存儲(chǔ)在存儲(chǔ)單元130中的操縱物圖像識(shí)別出現(xiàn)在輸入圖像中的操縱物。更具體地，例如，圖像識(shí)別單元140通過(guò)使用已知模式匹配方法將輸入圖像的部分圖像與操縱物圖像相比較。進(jìn)一步地，圖像識(shí)別單元140基于在輸入圖像中檢測(cè)到操縱物圖像的位置以及基于檢測(cè)的操縱物圖像尺寸識(shí)別真實(shí)世界中操縱物的三維位置。此處識(shí)別的操縱物的三維位置是相對(duì)于攝像裝置102此時(shí)的姿勢(shì)和位置的相對(duì)位置。進(jìn)一步地，圖像識(shí)別單元140使用由自身位置檢測(cè)單元120提供的攝像裝置102的姿勢(shì)和位置，將操縱物的相對(duì)三維位置轉(zhuǎn)換成真實(shí)世界中絕對(duì)坐標(biāo)系中的三維位置。然后，圖像識(shí)別單元140 將轉(zhuǎn)換后的操縱物位置輸出到計(jì)算單元150。在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入之后， 圖像識(shí)別單元140對(duì)一系列輸入圖像的每個(gè)幀重復(fù)圖像識(shí)別處理，直到檢測(cè)到表示操縱結(jié)束的第二用戶輸入為止。然后，當(dāng)檢測(cè)到表示操縱結(jié)束的第二用戶輸入時(shí)，圖像識(shí)別單元 140終止圖像識(shí)別處理?？蛇x擇地，例如，圖像識(shí)別單元140可以通過(guò)使用表示操縱物形狀的形狀數(shù)據(jù)而非操縱物圖像識(shí)別出現(xiàn)在輸入圖像中的操縱物。
表示操縱開(kāi)始的第一用戶輸入以及表示操縱結(jié)束的第二用戶輸入可以是例如圖像處理設(shè)備100上布置的預(yù)定按鈕的按壓、在輸入圖像中由用戶執(zhí)行的預(yù)定姿勢(shì)或者由用戶輸入的語(yǔ)音。
當(dāng)由通信單元170接收到后面說(shuō)明的操縱開(kāi)始信號(hào)時(shí)，圖像識(shí)別單元140也執(zhí)行如上說(shuō)明的圖像識(shí)別處理。在此情形中，對(duì)一系列輸入圖像的每個(gè)幀重復(fù)圖像識(shí)別處理，直到通信單元170接收到后面說(shuō)明的操縱結(jié)束信號(hào)為止。在本說(shuō)明書(shū)中，將從第一用戶輸入的檢測(cè)至第二用戶輸入的檢測(cè)的處理稱為操縱側(cè)處理。將從第一用戶輸入的接收至第二用戶輸入的接收的處理稱為觀察側(cè)處理。
(計(jì)算單元) 當(dāng)檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)，計(jì)算單元150根據(jù)由圖像識(shí)別單元 140提供的操縱物的識(shí)別結(jié)果、計(jì)算HMD 104在屏幕上顯示虛擬對(duì)象的位置。然后，計(jì)算單元150不僅將計(jì)算的虛擬對(duì)象顯示位置輸出到顯示控制單元160，而且更新由存儲(chǔ)單元130存儲(chǔ)的虛擬對(duì)象的位置數(shù)據(jù)。在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入之后，計(jì)算單元150 按照操縱物的識(shí)別結(jié)果，對(duì)一系列輸入圖像的每幀重復(fù)虛擬對(duì)象的顯示位置計(jì)算處理，直到檢測(cè)到表示操縱結(jié)束的第二用戶輸入為止。
圖7是示出由計(jì)算單元150執(zhí)行的根據(jù)本實(shí)施例的虛擬對(duì)象的顯示位置計(jì)算處理的具體流程實(shí)例的流程圖。如圖7中所示，首先，計(jì)算單元150從存儲(chǔ)單元130獲得每個(gè)虛擬對(duì)象的對(duì)象數(shù)據(jù)(步驟S102)。此處獲得的對(duì)象數(shù)據(jù)包括每個(gè)虛擬對(duì)象的形狀和最新位置。隨后，計(jì)算單元150獲得由圖像識(shí)別單元140識(shí)別的操縱物的位置(步驟S104)。隨后，計(jì)算單元150基于每個(gè)虛擬對(duì)象的形狀和最新位置并且基于操縱物的位置，確定操縱物是否與虛擬對(duì)象相接觸(步驟S106)。這里，當(dāng)操縱物未與虛擬對(duì)象相接觸時(shí)，跳過(guò)剩余處理。隨后，當(dāng)操縱物與虛擬對(duì)象相接觸時(shí)，計(jì)算單元150基于操縱物的位置計(jì)算虛擬對(duì)象的新位置(步驟S108)。例如，當(dāng)操縱物在與虛擬對(duì)象相接觸的同時(shí)在X方向上移動(dòng)距離D 時(shí)，虛擬對(duì)象的位置根據(jù)操縱物的移動(dòng)在X方向上移動(dòng)距離D。隨后，計(jì)算單元150基于由自身位置檢測(cè)單元120檢測(cè)的攝像裝置102的姿勢(shì)和位置，將來(lái)自真實(shí)世界中三維位置的虛擬對(duì)象的新位置轉(zhuǎn)換成HMD 104的屏幕上的二維位置(步驟S110)。例如，可以使用基于針孔模型的如下公式將來(lái)自三維位置的坐標(biāo)轉(zhuǎn)換成屏幕上的二維位置。
[公式1] λ p' =AR(p-x) 在公式(1)中，ρ表示虛擬對(duì)象的三維位置向量，χ表示攝像裝置102的三維位置向量，R表示與攝像裝置102的姿勢(shì)相對(duì)應(yīng)的旋轉(zhuǎn)矩陣，A表示攝像裝置內(nèi)部參數(shù)，λ表示歸一化的參數(shù)。另一方面，P'表示虛擬對(duì)象在屏幕上的二維位置。這里，預(yù)先按照攝像裝置102的特性通過(guò)如下公式給出攝像裝置內(nèi)部參數(shù)Α。
[公式2] 這里，f表示焦距，θ表示圖像軸的正交性(理想值是90度)，<表示焦平面的豎直軸的比例(scale)(從真實(shí)世界中的絕對(duì)坐標(biāo)系至焦平面的坐標(biāo)系的比例改變率)，<表示焦平面的水平軸的比例，(11。，V。)表示焦平面的中心位置。
當(dāng)用多邊形表示虛擬對(duì)象時(shí)，計(jì)算單元150基于攝像裝置102的姿勢(shì)和位置計(jì)算多邊形各頂點(diǎn)在HMD 104的屏幕上的二維位置。
此外，作為觀察側(cè)處理，計(jì)算單元150還在通信單元170接收到后面說(shuō)明的操縱開(kāi)始信號(hào)時(shí)，執(zhí)行如以上說(shuō)明的虛擬對(duì)象的顯示位置計(jì)算處理。當(dāng)通信單元170接收到后面說(shuō)明的操縱結(jié)束信號(hào)時(shí)，對(duì)一系列輸入圖像的每個(gè)幀重復(fù)此情形的顯示位置計(jì)算處理。此外，當(dāng)通信單元170接收到操縱結(jié)束信號(hào)時(shí)，計(jì)算單元150使用包括在操縱結(jié)束信號(hào)中的虛擬對(duì)象的位置數(shù)據(jù)來(lái)校正由顯示控制單元160顯示的(并且存儲(chǔ)在存儲(chǔ)單元130中的)虛擬對(duì)象的位置。這是用于解決在并行地對(duì)操縱者和觀察者執(zhí)行虛擬對(duì)象的顯示位置計(jì)算處理的情形中仍剩余的、虛擬對(duì)象位置的小位移的處理。
即使當(dāng)未操縱虛擬對(duì)象時(shí)，計(jì)算單元150也基于存儲(chǔ)單元130中存儲(chǔ)的虛擬對(duì)象
— f.K
f-K-COtG
f-K A= 0 0
sin^ 0
11的位置數(shù)據(jù)并基于由自身位置檢測(cè)單元120檢測(cè)的攝像裝置102的姿勢(shì)和位置，計(jì)算虛擬對(duì)象在屏幕上的顯示位置。然后，計(jì)算單元150將計(jì)算出的虛擬對(duì)象的顯示位置輸出到顯示控制單元160。
(顯示控制單元) 顯示控制單元160在由計(jì)算單元150計(jì)算出的HMD 104的屏幕上的顯示位置處顯示虛擬對(duì)象。例如，顯示控制單元160可以通過(guò)在由輸入圖像獲取單元110提供的輸入圖像上覆蓋表示虛擬對(duì)象的多邊形來(lái)生成輸出圖像，并且可以將輸出圖像輸出到HMD 104。 更具體地，例如，顯示控制單元160可以基于由計(jì)算單元150計(jì)算出的虛擬對(duì)象的多邊形頂點(diǎn)坐標(biāo)在輸出圖像中繪制多邊形。于是，在由HMD 104向用戶顯示的輸出圖像中，虛擬對(duì)象隨著操縱物移動(dòng)而移動(dòng)，從而向用戶提供增強(qiáng)現(xiàn)實(shí)。例如，在HMD 104是透視顯示器的情形中，顯示控制單元160可以基于由計(jì)算單元150計(jì)算的虛擬對(duì)象的多邊形頂點(diǎn)坐標(biāo)，將多邊形投射到HMD 104的屏幕上。
(通信單元) 當(dāng)檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)，通信單元170將第一通知信號(hào)發(fā)送到顯示相同虛擬對(duì)象的另一圖像處理設(shè)備100，以通知操縱開(kāi)始。在本說(shuō)明書(shū)中，將第一通知信號(hào)稱為操縱開(kāi)始信號(hào)。當(dāng)檢測(cè)到表示操縱結(jié)束的第二用戶輸入時(shí)，通信單元170將第二通知信號(hào)發(fā)送到顯示相同虛擬對(duì)象的另一圖像處理設(shè)備100，以通知操縱結(jié)束。在本說(shuō)明書(shū)中，將第二通知信號(hào)稱為操縱結(jié)束信號(hào)。在本實(shí)施例中，經(jīng)由管理服務(wù)器200將操縱開(kāi)始信號(hào)和操縱結(jié)束信號(hào)發(fā)送到另一圖像處理設(shè)備100。
圖8A是示出根據(jù)本實(shí)施例的操縱開(kāi)始信號(hào)的說(shuō)明圖。如圖8A中所示，操縱開(kāi)始信號(hào)Sl包括4個(gè)字段即，信號(hào)類型、源、對(duì)象ID以及對(duì)象位置?！靶盘?hào)類型”是表明有關(guān)信號(hào)是操縱開(kāi)始信號(hào)的字段?！霸础笔怯糜跇?biāo)識(shí)發(fā)送有關(guān)信號(hào)的圖像處理設(shè)備100的字段。 “對(duì)象ID”是用于標(biāo)識(shí)將要操縱哪個(gè)虛擬對(duì)象的字段?！皩?duì)象ID”可以列舉多個(gè)虛擬對(duì)象的對(duì)象ID。“對(duì)象位置”是必要時(shí)設(shè)置的字段，包括表示在操縱開(kāi)始時(shí)虛擬對(duì)象的位置的三維坐標(biāo)數(shù)據(jù)。可以使用“對(duì)象ID”或“對(duì)象位置”確定管理服務(wù)器200向其傳送操縱開(kāi)始信號(hào)的圖像處理設(shè)備100。
圖8B是示出根據(jù)本實(shí)施例的操縱結(jié)束信號(hào)的說(shuō)明圖。如圖8B中所示，操縱結(jié)束信號(hào)S2包括4個(gè)字段即，信號(hào)類型、源、對(duì)象ID以及對(duì)象位置?！靶盘?hào)類型”是表明有關(guān)信號(hào)是操縱結(jié)束信號(hào)的字段?！霸础笔怯糜跇?biāo)識(shí)發(fā)送有關(guān)信號(hào)的圖像處理設(shè)備100的字段。 “對(duì)象ID”是用于標(biāo)識(shí)將要完成哪個(gè)虛擬對(duì)象的操縱的字段。“對(duì)象ID”可以列舉多個(gè)虛擬對(duì)象的對(duì)象ID?！皩?duì)象位置”包括表示在操縱結(jié)束時(shí)虛擬對(duì)象的位置的三維坐標(biāo)數(shù)據(jù)?？梢允褂谩皩?duì)象ID”或“對(duì)象位置”確定管理服務(wù)器200向其傳送操縱結(jié)束信號(hào)的圖像處理設(shè)備100。此外，已接收到操縱結(jié)束信號(hào)的圖像處理設(shè)備100可以使用操縱結(jié)束信號(hào)S2的 “對(duì)象位置”來(lái)校正在操縱結(jié)束時(shí)虛擬對(duì)象的位置。
另外，通信單元170以規(guī)則間隔(或者每次出現(xiàn)改變時(shí))向管理服務(wù)器200發(fā)送第三通知信號(hào)，以通知由自身位置檢測(cè)單元120檢測(cè)的攝像裝置102的姿勢(shì)和位置。在本說(shuō)明書(shū)中，將第三通知信號(hào)稱為自身位置通知信號(hào)。
圖8C是示出根據(jù)本實(shí)施例的自身位置通知信號(hào)的說(shuō)明圖。如圖8C中所示，自身位置通知信號(hào)S3包括三個(gè)字段，即，信號(hào)類型、源以及位置/姿勢(shì)?！靶盘?hào)類型”是表明有關(guān)信號(hào)是自身位置通知信號(hào)的字段。“源”是用于標(biāo)識(shí)發(fā)送有關(guān)信號(hào)的圖像處理設(shè)備100的字段。例如，“位置/姿勢(shì)”包括絕對(duì)坐標(biāo)系中攝像裝置102的旋轉(zhuǎn)矩陣和對(duì)應(yīng)于三維位置的四元數(shù)。后面說(shuō)明的管理服務(wù)器200可以基于以規(guī)則間隔從每個(gè)圖像處理設(shè)備100發(fā)送的自身位置通知信號(hào)S3，識(shí)別每個(gè)圖像處理設(shè)備100的視野。
[2-2.處理的流程] (操縱側(cè)的處理) 圖9是示出根據(jù)本實(shí)施例的由圖像處理設(shè)備執(zhí)行的操縱側(cè)圖像處理的流程實(shí)例的流程圖。
如圖9中所示，圖像識(shí)別單元140和計(jì)算單元150監(jiān)視是否檢測(cè)到第一用戶輸入 (步驟S122)。當(dāng)檢測(cè)到第一用戶輸入時(shí)，開(kāi)始步驟SlM中的操縱側(cè)圖像處理以及后續(xù)步驟。在操縱側(cè)圖像處理中，首先，通信單元170向管理服務(wù)器200發(fā)送操縱開(kāi)始信號(hào)Sl (步驟S124)。隨后，圖像識(shí)別單元140使用存儲(chǔ)在存儲(chǔ)單元130中的操縱物圖像來(lái)識(shí)別輸入圖像中的操縱物，并且向計(jì)算單元150輸出操縱物的位置(步驟SU6)。隨后，計(jì)算單元150 執(zhí)行如參照?qǐng)D7說(shuō)明的虛擬對(duì)象的顯示位置計(jì)算處理(步驟S128)。然后，顯示控制單元 160根據(jù)操縱物的位置移動(dòng)HMD 104的屏幕上顯示的虛擬對(duì)象(步驟S130)。隨后，圖像識(shí)別單元140和計(jì)算單元150確定是否檢測(cè)到第二用戶輸入(步驟S13》。當(dāng)此處未檢測(cè)到第二用戶輸入時(shí)，隨后執(zhí)行步驟S126，并且針對(duì)輸入圖像的后續(xù)幀重復(fù)步驟S126至S130。 另一方面，當(dāng)檢測(cè)到第二用戶輸入時(shí)，通信單元170向管理服務(wù)器200發(fā)送操縱結(jié)束信號(hào) S2(步驟S134)。然后，終止操縱側(cè)圖像處理。
在檢測(cè)到第一用戶輸入之后，通信單元170可以進(jìn)行等待，直到作為由圖像識(shí)別單元140提供的操縱物的識(shí)別結(jié)果確定為操縱物與虛擬對(duì)象相接觸為止(換言之，在圖7 中步驟S106的確定結(jié)果變成是之后)，并可以此后向管理服務(wù)器200發(fā)送操縱開(kāi)始信號(hào)。 在此情形中，流程與圖9的流程不同。在觀察側(cè)圖像處理中，用操縱物對(duì)虛擬對(duì)象的實(shí)際操縱未開(kāi)始。因此，存在會(huì)延遲屏幕上虛擬對(duì)象移動(dòng)開(kāi)始的可能性，但是這減少了從第一用戶輸入至虛擬對(duì)象實(shí)際操縱開(kāi)始的觀察側(cè)處理的花費(fèi)。
(觀察側(cè)的處理) 圖10是示出根據(jù)本實(shí)施例的圖像處理設(shè)備100執(zhí)行的觀察側(cè)圖像處理的流程實(shí)例的流程圖。
如圖10中所示，首先，通信單元170監(jiān)視是否接收到操縱開(kāi)始信號(hào)(步驟S152)。 當(dāng)接收到操縱開(kāi)始信號(hào)時(shí)，開(kāi)始步驟SlM的觀察側(cè)圖像處理以及后續(xù)步驟。在觀察側(cè)圖像處理中，首先，圖像識(shí)別單元140使用存儲(chǔ)單元130中存儲(chǔ)的操縱物圖像識(shí)別輸入圖像中的操縱物，并向計(jì)算單元150輸出操縱物的位置(步驟SK4)。隨后，計(jì)算單元150執(zhí)行如參照?qǐng)D7說(shuō)明的虛擬對(duì)象的顯示位置計(jì)算處理(步驟S156)。然后，顯示控制單元160根據(jù)操縱物的位置移動(dòng)HMD 104的顯示屏幕上顯示的虛擬對(duì)象(步驟S158)。隨后，通信單元170 確定是否接收到操縱結(jié)束信號(hào)(步驟S160)。當(dāng)此處未接收到操縱結(jié)束信號(hào)時(shí)，隨后再次執(zhí)行步驟S1M，并且針對(duì)輸入圖像的后續(xù)幀重復(fù)步驟SlM至S158。另一方面，當(dāng)接收到操縱結(jié)束信號(hào)時(shí)，計(jì)算單元150校正虛擬對(duì)象的位置(步驟S16》。然后，終止觀察側(cè)圖像處理。
<3.關(guān)于管理服務(wù)器的說(shuō)明>
13 [3-1.設(shè)備的示例性結(jié)構(gòu)] 圖11是示出根據(jù)本實(shí)施例的管理服務(wù)器200的結(jié)構(gòu)實(shí)例的框圖。如圖12中所示， 管理服務(wù)器200包括通信單元210、存儲(chǔ)單元220以及用戶管理單元230。
(通信單元) 通信單元210經(jīng)由有線通信連接或無(wú)線通信連接向/從每個(gè)圖像處理設(shè)備100的通信單元170發(fā)送和接收信號(hào)。在管理服務(wù)器200的通信單元210與每個(gè)圖像處理設(shè)備 100的通信單元170之間發(fā)送和接收的信號(hào)包括操縱開(kāi)始信號(hào)、操縱結(jié)束信號(hào)以及自身位置通知信號(hào)。
(存儲(chǔ)單元) 存儲(chǔ)單元220使用諸如硬盤(pán)或半導(dǎo)體存儲(chǔ)器的存儲(chǔ)介質(zhì)來(lái)存儲(chǔ)用于管理顯示相同虛擬對(duì)象的一組圖像處理設(shè)備100的數(shù)據(jù)庫(kù)。例如，存儲(chǔ)單元220中存儲(chǔ)的數(shù)據(jù)庫(kù)包括關(guān)于使用自身位置通知信號(hào)以規(guī)則間隔收集的每個(gè)圖像處理設(shè)備100的攝像裝置102的姿勢(shì)和位置的數(shù)據(jù)。另外，例如，存儲(chǔ)單元220中存儲(chǔ)的數(shù)據(jù)庫(kù)可以包括可以由每個(gè)圖像處理設(shè)備100顯示的虛擬對(duì)象的對(duì)象ID。
(用戶管理單元) 當(dāng)通信單元210接收到自身位置通知信號(hào)時(shí)，用戶管理單元230更新存儲(chǔ)單元220 中存儲(chǔ)的、關(guān)于發(fā)送有關(guān)的自身位置通知信號(hào)的圖像處理設(shè)備100的姿勢(shì)和位置的數(shù)據(jù)。 當(dāng)通信單元210接收到操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)時(shí)，用戶管理單元230向作為有關(guān)信號(hào)源的顯示相同虛擬對(duì)象的另一圖像處理設(shè)備100傳送操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)。例如，用戶管理單元230可以采用與存儲(chǔ)單元220的數(shù)據(jù)庫(kù)中操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)中包括的對(duì)象ID相關(guān)聯(lián)的圖像處理設(shè)備100作為每個(gè)信號(hào)所傳送到的設(shè)備?？蛇x擇地，例如，用戶管理單元230可以采用其攝像裝置102的視野包括由操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)所表明的虛擬對(duì)象位置的圖像處理設(shè)備100作為每個(gè)信號(hào)所傳送到的設(shè)備。
[3-2.處理的流程] 圖12是示出根據(jù)本實(shí)施例的由管理服務(wù)器200執(zhí)行的信號(hào)傳送處理的流程實(shí)例的流程圖。
如圖12中所示，首先，通信單元210監(jiān)視是否接收到操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)(步驟S202)。當(dāng)接收到操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)時(shí)，隨后執(zhí)行步驟S204。隨后，用戶管理單元230從存儲(chǔ)單元220獲得每個(gè)圖像處理設(shè)備100的狀態(tài)(步驟S204)。這里獲得的每個(gè)圖像處理設(shè)備100的狀態(tài)可以包括由每個(gè)圖像處理設(shè)備100顯示的虛擬對(duì)象的對(duì)象ID或者每個(gè)圖像處理設(shè)備100的攝像裝置102的姿勢(shì)和位置。隨后，用戶管理單元230 確定是否存在共享虛擬對(duì)象的另一圖像處理設(shè)備100(除了操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)的源之外的設(shè)備)(步驟S206)。當(dāng)不存在共享虛擬對(duì)象的其它圖像處理設(shè)備100時(shí)，跳過(guò)步驟S208。另一方面，當(dāng)存在共享虛擬對(duì)象的另一圖像處理設(shè)備100時(shí)，通信單元210向另一圖像處理設(shè)備100傳送操縱開(kāi)始信號(hào)或操縱結(jié)束信號(hào)(步驟S208)。然后，終止管理服務(wù)器200執(zhí)行的信號(hào)傳送處理。
<4.變型〉 圖13是示出根據(jù)本實(shí)施例變型的圖像處理系統(tǒng)的示意圖。圖13示出包括圖像處理設(shè)備300a、300b和300c的圖像處理系統(tǒng)。由用戶Ua、Ub和Uc分別使用圖像處理設(shè)備300a、300b和300c。這些設(shè)備可以經(jīng)由有線通信連接或無(wú)線通信連接彼此通信。
通常，圖像處理設(shè)備300a、300b和300c具有與如參照?qǐng)D4說(shuō)明的圖像處理設(shè)備 100等同的結(jié)構(gòu)。然而，在不依賴于管理服務(wù)器200的情況下，圖像處理設(shè)備300a、300b和 300c的通信單元170直接發(fā)送和接收操縱開(kāi)始信號(hào)和操縱結(jié)束信號(hào)。例如，當(dāng)通信單元170 接收到操縱開(kāi)始信號(hào)時(shí)，圖像處理設(shè)備300a、300b和300c執(zhí)行如下只有在圖像處理設(shè)備 300a、300b和300c作為有關(guān)信號(hào)的源顯示同樣虛擬對(duì)象的情形中，圖像識(shí)別單元140才識(shí)別操縱物。在此情形中，例如，基于操縱開(kāi)始信號(hào)中包括的虛擬對(duì)象的位置數(shù)據(jù)或?qū)ο驣D 確定是否有必要識(shí)別操縱物。
例如，在圖13的實(shí)例中，圖像處理設(shè)備300a、300b共享虛擬對(duì)象VI。換言之，圖像處理設(shè)備300a的HMD 10 和圖像處理設(shè)備300b的HMD 104b均可以顯示虛擬對(duì)象Vl。另一方面，圖像處理設(shè)備300c不共享虛擬對(duì)象Vl。代替共享虛擬對(duì)象Vl，圖像處理設(shè)備300c 的HMD l(Mc可以顯示不同的虛擬對(duì)象V2。在這種實(shí)例中，將假定如下情形用戶fe是操縱虛擬對(duì)象Vl的人，用戶fe通過(guò)按壓圖像處理設(shè)備300a的按鈕106a開(kāi)始虛擬對(duì)象Vl的操縱。在這種情形中，圖像處理設(shè)備300a檢測(cè)第一用戶輸入，并且向圖像處理設(shè)備300b和圖像處理設(shè)備300c發(fā)送操縱開(kāi)始信號(hào)Si。例如，操縱開(kāi)始信號(hào)Sl包括虛擬對(duì)象Vl的位置數(shù)據(jù)或?qū)ο驣D。當(dāng)圖像處理設(shè)備300b接收到操縱開(kāi)始信號(hào)Sl時(shí)，圖像處理設(shè)備300b基于有關(guān)信號(hào)中包括的位置數(shù)據(jù)或?qū)ο驣D確定將由圖像處理設(shè)備300b顯示的虛擬對(duì)象Vl的操縱的開(kāi)始。于是，圖像處理設(shè)備300b通過(guò)圖像識(shí)別開(kāi)始操縱物(諸如用戶Ua的手或者標(biāo)志)的跟蹤。另一方面，圖像處理設(shè)備300c基于操縱開(kāi)始信號(hào)Sl中包括的位置數(shù)據(jù)或?qū)ο驣D確定有關(guān)信號(hào)與將由圖像處理設(shè)備300c顯示的虛擬對(duì)象無(wú)關(guān)。于是，圖像處理設(shè)備300c忽略從圖像處理設(shè)備300a接收的操縱開(kāi)始信號(hào)Si。
<5.總結(jié)〉 已參照?qǐng)D1至圖13在上文中說(shuō)明了本發(fā)明的實(shí)施例和變型。根據(jù)本實(shí)施例，當(dāng)檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)，操縱側(cè)圖像處理設(shè)備識(shí)別通過(guò)拍攝真實(shí)空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識(shí)別的結(jié)果，操縱側(cè)圖像處理設(shè)備控制虛擬對(duì)象的顯示。此外，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送操縱開(kāi)始信號(hào)。相應(yīng)地，觀察側(cè)圖像處理設(shè)備也識(shí)別通過(guò)拍攝真實(shí)空間的圖像獲得的輸入圖像中出現(xiàn)的操縱物，作為識(shí)別的結(jié)果，觀察側(cè)圖像處理設(shè)備控制虛擬對(duì)象的顯示。由此，由于操縱側(cè)設(shè)備以及觀察側(cè)設(shè)備通過(guò)圖像識(shí)別跟蹤操縱物，所以不出現(xiàn)由于跟蹤結(jié)果的傳送引起的延遲。此外，操縱開(kāi)始信號(hào)包括用于識(shí)別虛擬對(duì)象的對(duì)象ID或者虛擬對(duì)象的位置數(shù)據(jù)。因此，不共享虛擬對(duì)象的圖像處理設(shè)備無(wú)需執(zhí)行不必要的圖像識(shí)別處理。在檢測(cè)到表示操縱結(jié)束的第二用戶輸入的情形中，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送操縱結(jié)束信號(hào)。相應(yīng)地，在不操縱虛擬對(duì)象時(shí)，圖像處理設(shè)備中所有圖像處理設(shè)備無(wú)需執(zhí)行圖像識(shí)別處理。如上所述，根據(jù)本實(shí)施例，操縱側(cè)設(shè)備以及觀察側(cè)設(shè)備通過(guò)圖像識(shí)別跟蹤操縱物，另外，根據(jù)基于設(shè)備之間交換的信號(hào)的定時(shí)啟動(dòng)圖像識(shí)別處理。因此，可以在有效地減少處理負(fù)荷并減少真實(shí)世界的狀態(tài)與虛擬對(duì)象的狀態(tài)之間的不匹配的同時(shí)提供混合現(xiàn)實(shí)。
根據(jù)本實(shí)施例，從操縱側(cè)圖像處理設(shè)備向觀察側(cè)圖像處理設(shè)備發(fā)送的操縱結(jié)束信號(hào)包括表示在操縱結(jié)束時(shí)虛擬對(duì)象的位置的位置數(shù)據(jù)。由此，即使當(dāng)在由操縱側(cè)圖像處理設(shè)備生成的操縱物的跟蹤結(jié)果與由觀察側(cè)圖像處理設(shè)備生成的操縱物的跟蹤結(jié)果之間存在暫時(shí)誤差時(shí)，觀察側(cè)圖像處理設(shè)備也可以校正虛擬對(duì)象的位置。
可選擇地，在檢測(cè)到第一用戶輸入之后，操縱側(cè)圖像處理設(shè)備可以進(jìn)行等待，直到確定操縱物與虛擬對(duì)象相接觸為止，并且可以此后發(fā)送操縱開(kāi)始信號(hào)。在此情形中，可以進(jìn)一步減少觀察側(cè)圖像識(shí)別處理的負(fù)荷。
可以通過(guò)管理圖像處理設(shè)備組的管理服務(wù)器在圖像處理設(shè)備之間發(fā)送和接收操縱開(kāi)始信號(hào)和操縱結(jié)束信號(hào)。在此情形中，當(dāng)管理服務(wù)器只向顯示相同虛擬對(duì)象的圖像處理設(shè)備傳送信號(hào)時(shí)，可以進(jìn)一步減少觀察側(cè)圖像識(shí)別處理的負(fù)荷并且可以消除不必要的傳
%!里。
通常用軟件實(shí)現(xiàn)如在本說(shuō)明書(shū)中說(shuō)明的由圖像處理設(shè)備100和300以及管理服務(wù)器200執(zhí)行的一系列處理。例如，在每個(gè)設(shè)備中或者每個(gè)設(shè)備外部布置的存儲(chǔ)介質(zhì)中預(yù)先存儲(chǔ)構(gòu)建用于實(shí)現(xiàn)一系列處理的軟件的程序。例如，每個(gè)程序在執(zhí)行期間被加載到RAM(隨機(jī)存取存儲(chǔ)器)，并且由諸如CPU(中央處理單元)的處理器執(zhí)行。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解依據(jù)設(shè)計(jì)需要和其它因素，可以做出各種變形、組合、 子組合和修改，只要它們?cè)谒綑?quán)利要求或其等同物的范圍內(nèi)。
本申請(qǐng)包含與2010年2月M日提交日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-038777中公開(kāi)的主題相關(guān)的主題，其全部?jī)?nèi)容經(jīng)引用包含于此。
1權(quán)利要求
1.一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像；圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計(jì)算單元，用于根據(jù)由所述圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算所述虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計(jì)算單元計(jì)算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對(duì)象；以及通信單元，用于在檢測(cè)到所述第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述第一通知信號(hào)包括用于標(biāo)識(shí)所述虛擬對(duì)象的標(biāo)識(shí)數(shù)據(jù)或者表示所述虛擬對(duì)象位置的位置數(shù)據(jù)。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，當(dāng)檢測(cè)到表示操縱結(jié)束的第二用戶輸入時(shí)，所述通信單元向所述另一設(shè)備發(fā)送第二通知信號(hào)以通知操縱結(jié)束。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，所述第二通知信號(hào)包括表示由所述計(jì)算單元計(jì)算出的表示所述虛擬對(duì)象位置的位置數(shù)據(jù)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述圖像識(shí)別單元還在所述通信單元從另一設(shè)備接收到所述第一通知信號(hào)時(shí)識(shí)別出現(xiàn)在所述輸入圖像中的所述操縱物。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中，所述圖像識(shí)別單元在由所述通信單元接收到的所述第一通知信號(hào)與要由所述圖像處理設(shè)備顯示的虛擬對(duì)象無(wú)關(guān)時(shí)不識(shí)別所述操縱物。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中，在檢測(cè)到所述第一用戶輸入并且在之后作為由所述圖像識(shí)別單元提供的所述操縱物的識(shí)別結(jié)果確定所述操縱物與所述虛擬對(duì)象相接觸時(shí)，所述通信單元向所述另一設(shè)備發(fā)送所述第一通知信號(hào)。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述通信單元向管理顯示同樣虛擬對(duì)象的一組設(shè)備的信息處理設(shè)備發(fā)送所述第一通知信號(hào)。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中，所述第一通知信號(hào)包括用于標(biāo)識(shí)所述虛擬對(duì)象的標(biāo)識(shí)數(shù)據(jù)或者表示所述虛擬對(duì)象位置的位置數(shù)據(jù)，且所述第一通知信號(hào)被經(jīng)由所述信息處理設(shè)備傳送到顯示相同虛擬對(duì)象的另一設(shè)備。
10.如權(quán)利要求1所述的圖像處理設(shè)備，還包括存儲(chǔ)單元，存儲(chǔ)表示所述操縱物的操縱物圖像，其中，所述圖像識(shí)別單元使用所述存儲(chǔ)單元中存儲(chǔ)的所述操縱物圖像識(shí)別出現(xiàn)在所述輸入圖像中的所述操縱物。
11.一種由圖像處理設(shè)備執(zhí)行的圖像處理方法，包括步驟 獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像； 檢測(cè)表示操縱開(kāi)始的第一用戶輸入；將第一通知信號(hào)發(fā)送到顯示與要由所述圖像處理設(shè)備操縱的虛擬對(duì)象相同的虛擬對(duì)象的另一設(shè)備，以通知操縱開(kāi)始；識(shí)別出現(xiàn)在所述輸入圖像中的用于所述虛擬對(duì)象的操縱的操縱物；根據(jù)操縱物的識(shí)別結(jié)果計(jì)算所述虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；以及在計(jì)算出的所述顯示裝置的屏幕的位置處顯示所述虛擬對(duì)象。
12.—種程序，用于使控制圖像處理設(shè)備的計(jì)算機(jī)作為輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像； 圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計(jì)算單元，用于根據(jù)由所述圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算所述虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計(jì)算單元計(jì)算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對(duì)象；以及通信單元，用于在檢測(cè)到所述第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)。
13.—種包括兩個(gè)或更多個(gè)圖像處理設(shè)備的圖像處理系統(tǒng)，其中，所述圖像處理設(shè)備中的每一個(gè)包括輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像而生成的輸入圖像； 圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，所述操縱物出現(xiàn)在所述輸入圖像中；計(jì)算單元，用于根據(jù)由所述圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算所述虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由所述計(jì)算單元計(jì)算出的所述顯示裝置的屏幕的所述位置處顯示所述虛擬對(duì)象；以及通信單元，用于在檢測(cè)到所述第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)，其中，所述圖像識(shí)別單元還在所述通信單元從另一設(shè)備接收到所述第一通知信號(hào)時(shí)識(shí)別所述輸入圖像中出現(xiàn)的所述操縱物。
全文摘要
提供了一種圖像處理設(shè)備，包括輸入圖像獲取單元，用于獲得通過(guò)拍攝真實(shí)空間的圖像生成的輸入圖像；圖像識(shí)別單元，用于在檢測(cè)到表示操縱開(kāi)始的第一用戶輸入時(shí)識(shí)別用于操縱虛擬對(duì)象的操縱物，其中，操縱物出現(xiàn)在輸入圖像中；計(jì)算單元，用于根據(jù)由圖像識(shí)別單元提供的操縱物的識(shí)別結(jié)果計(jì)算虛擬對(duì)象要顯示在顯示裝置的屏幕上的位置；顯示控制單元，用于在由計(jì)算單元計(jì)算出的顯示裝置的屏幕的位置處顯示虛擬對(duì)象；以及通信單元，用于在檢測(cè)到第一用戶輸入時(shí)向顯示相同虛擬對(duì)象的另一設(shè)備發(fā)送用于通知操縱開(kāi)始的第一通知信號(hào)。
文檔編號(hào)G06F3/01GK102193625SQ20111004127
公開(kāi)日2011年9月21日 申請(qǐng)日期2011年2月17日 優(yōu)先權(quán)日2010年2月24日
發(fā)明者松田晃一 申請(qǐng)人:索尼公司