專利名稱：復(fù)合現(xiàn)實(shí)空間圖像生成方法和復(fù)合現(xiàn)實(shí)感系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將現(xiàn)實(shí)空間圖像和假想空間圖像重疊(superimpose)起來，生成復(fù)合現(xiàn)實(shí)空間圖像的復(fù)合現(xiàn)實(shí)感技術(shù)。
背景技術(shù)：
近年來，對以現(xiàn)實(shí)空間與假想空間的沒有接縫的結(jié)合為目的的復(fù)合現(xiàn)實(shí)感的研究正在盛行。例如，像在日本特開平11-88913號公報(bào)中記載的那樣，進(jìn)行復(fù)合現(xiàn)實(shí)感展示的復(fù)合現(xiàn)實(shí)感系統(tǒng)，作為向觀察者顯示復(fù)合現(xiàn)實(shí)空間圖像的系統(tǒng)而實(shí)現(xiàn)，該復(fù)合現(xiàn)實(shí)空間圖像，在由錄像機(jī)等攝像裝置拍攝出的現(xiàn)實(shí)空間的圖像上，重疊假想空間(例如，通過計(jì)算機(jī)圖形(CG)，描畫3維模型的假想物體或字符信息等)的圖像。
以往，作為這樣的復(fù)合現(xiàn)實(shí)感系統(tǒng)，有在作為位于(存在于)現(xiàn)實(shí)空間的現(xiàn)實(shí)物體的模型上，作為假想空間的圖像重疊CG模型的技術(shù)。
在該現(xiàn)有的復(fù)合現(xiàn)實(shí)感系統(tǒng)中，在模型上重疊顯示CG模型和說明模型的部件的注釋(annotation)。
另外，申請人通過日本特愿2002-95535提出了以下技術(shù)考慮進(jìn)深(遮蓋(occlusion))，在觀察者的手位于CG模型前面的情況下，使觀察者的手不被CG模型遮蓋(即，使得在觀察者的手的區(qū)域內(nèi)不顯示CG模型)，實(shí)現(xiàn)沒有不協(xié)調(diào)感的顯示。
但是，在現(xiàn)有的復(fù)合現(xiàn)實(shí)感系統(tǒng)中，當(dāng)進(jìn)行顯示，使得觀察者的手不被CG模型遮蓋時(shí)，不僅對CG模型，即使對注釋也進(jìn)行相同的顯示控制。因此，當(dāng)觀察者的手與注釋顯示重合時(shí)，無法觀察重合部分的注釋顯示。
注釋有時(shí)包含當(dāng)觀察者體驗(yàn)復(fù)合現(xiàn)實(shí)感時(shí)所必需的信息，當(dāng)將其遮蓋起來時(shí)，對于觀察者將產(chǎn)生不便。特別是，在將觀察者要操作的按鈕的種類或操作方法的說明作為注釋顯示的情況下，該問題變得顯著。
因此，希望有例如兼顧C(jī)G模型被手遮蓋、而注釋不被手遮蓋這樣的沒有不協(xié)調(diào)感的顯示和使用方便性好的顯示的技術(shù)，但當(dāng)前并不存在這樣的技術(shù)。

發(fā)明內(nèi)容
本發(fā)明是鑒于這樣的現(xiàn)有技術(shù)的問題而完成的，其主要目的在于提供一種復(fù)合現(xiàn)實(shí)空間圖像生成方法及裝置，可以選擇性地處理假想空間圖像中的、要考慮遮蓋進(jìn)行顯示的圖像，和無須那樣做的圖像。
為了達(dá)到上述目的，本發(fā)明提供一種復(fù)合現(xiàn)實(shí)空間圖像生成方法，生成將拍攝現(xiàn)實(shí)空間而獲得的現(xiàn)實(shí)空間圖像和假想空間圖像重疊起來的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括第1圖像合成步驟，將上述假想空間圖像中的、要考慮上述現(xiàn)實(shí)空間中的物體的遮蓋的第1假想空間圖像，重疊在上述現(xiàn)實(shí)空間圖像上；以及第2圖像合成步驟，將上述假想空間圖像中的、應(yīng)不考慮遮蓋而顯示的第2假想空間圖像，重疊于在上述第1圖像合成步驟生成的圖像上。
此外，提供一種復(fù)合現(xiàn)實(shí)空間圖像生成裝置，生成將攝像現(xiàn)實(shí)空間而獲得的現(xiàn)實(shí)空間圖像和假想空間圖像重疊起來的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括第1圖像合成裝置，將上述假想空間圖像中的、要考慮上述現(xiàn)實(shí)空間中的物體的遮蓋的第1假想空間圖像，重疊在上述現(xiàn)實(shí)空間圖像上；以及第2圖像合成裝置，將上述假想空間圖像中的、應(yīng)不考慮遮蓋而顯示的第2假想空間圖像，重疊于在上述第1圖像合成裝置生成的圖像上。
另外，提供一種復(fù)合現(xiàn)實(shí)空間圖像生成方法，生成重疊現(xiàn)實(shí)空間圖像和假想空間圖像的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括以下步驟取得觀察者的位置和姿勢的信息，從上述現(xiàn)實(shí)空間圖像抽取被攝體區(qū)域，基于上述觀察者的位置和姿勢的信息，生成第1假想空間圖像，對上述抽取出的被攝體區(qū)域以外的區(qū)域，合成上述第1假想空間圖像，對上述合成圖像，在基于上述觀察者的位置和姿勢信息的圖像位置，合成第2假想空間圖像。
另外，上述目的還可以通過使用本發(fā)明的復(fù)合現(xiàn)實(shí)空間圖像生成裝置的復(fù)合現(xiàn)實(shí)感系統(tǒng)來達(dá)到。


附圖包含在說明書中并構(gòu)成說明書的一部分，說明本發(fā)明的實(shí)施例，與說明書一起說明本發(fā)明的原理。
圖1是表示本發(fā)明的實(shí)施方式的數(shù)字模型系統(tǒng)的構(gòu)成例的框圖。
圖2是示意地表示在圖1的系統(tǒng)中使用的模型(mock-up)的圖。
圖3是示意地表示在圖2的模型上重疊3DCG模型的狀態(tài)的圖。
圖4是示意地表示在圖3的狀態(tài)下追加顯示注釋的狀態(tài)的圖。
圖5是說明注釋被觀察者的手遮蓋的現(xiàn)有狀態(tài)的圖。
圖6是示意地表示本發(fā)明的實(shí)施方式下的顯示狀態(tài)的圖。
圖7A和圖7B是說明被攝體區(qū)域抽取單元106的處理的圖。
圖8是說明圖像合成單元109的處理的流程圖。
圖9是表示模型的姿勢(orientation)變化時(shí)的注釋顯示的狀態(tài)的圖。
圖10是表示可作為PC101利用的通用計(jì)算機(jī)裝置的構(gòu)成例的圖。
具體實(shí)施例方式
下面，參照附圖，詳細(xì)地說明本發(fā)明的優(yōu)選實(shí)施例。
在本實(shí)施方式中，作為利用與本發(fā)明有關(guān)的復(fù)合現(xiàn)實(shí)空間圖像生成裝置的復(fù)合現(xiàn)實(shí)感系統(tǒng)，說明利用了MR(Mixed Reality)技術(shù)的數(shù)字模型系統(tǒng)。
與本實(shí)施方式有關(guān)的數(shù)字模型系統(tǒng)，是在某工業(yè)產(chǎn)品的簡單的模型上使用MR技術(shù)，重疊顯示該產(chǎn)品的詳細(xì)形狀和外觀的3維計(jì)算機(jī)圖形(3DCG)并展示的系統(tǒng)。系統(tǒng)的體驗(yàn)者能夠一邊觀察重疊了產(chǎn)品3DCG的模型，一邊實(shí)際把模型拿在手里并觸摸，并模擬地使之進(jìn)行操作。
在模型中內(nèi)置了位置姿勢傳感器(position and orientation sensor)，生成并重疊顯示與根據(jù)其測定值檢測出的模型的位置姿勢相對應(yīng)的3DCG。因此體驗(yàn)者能夠一邊擺弄簡易的模型，一邊體驗(yàn)持有重疊于模型的詳細(xì)的3DCG所展示的產(chǎn)品那樣的感覺。而且，本實(shí)施方式中的數(shù)字模型系統(tǒng)，具有顯示關(guān)于使其體驗(yàn)的工業(yè)產(chǎn)品的注釋(部件名、功能、使用方法)的功能。
圖1為表示本實(shí)施方式的數(shù)字模型系統(tǒng)的系統(tǒng)結(jié)構(gòu)的圖。PC101為控制系統(tǒng)整體的控制器單元，具有視頻捕捉裝置A102、視頻捕捉裝置B103、顯示控制單元104、位置姿勢測量單元105、被攝體區(qū)域抽取單元106、3DCG模型生成單元107、注釋生成單元108、圖像合成單元109以及被攝體顏色信息登錄單元110。
透視(see-through)型HMD(頭盔式顯示器head mount display)32具有左眼攝像機(jī)33、右眼攝像機(jī)34和LCD等影像顯示單元35以及檢測觀察者的視點(diǎn)位置姿勢的位置姿勢傳感器36。左眼攝像機(jī)33為拍攝從觀察者的左眼位置觀察到的影像的照相機(jī)。由視頻捕捉裝置A102捕捉拍攝出的影像。右眼攝像機(jī)34為拍攝從觀察者的右眼位置觀察到的影像的照相機(jī)。由視頻捕捉裝置B103捕捉拍攝出的影像。影像顯示單元35為向觀察者展示顯示控制單元104輸出的復(fù)合現(xiàn)實(shí)空間圖像的顯示裝置。位置姿勢傳感器36檢測觀察者的視點(diǎn)位置姿勢，發(fā)送到位置姿勢測量單元105。
模型11是在本實(shí)施方式中，如圖2所示的照相機(jī)的實(shí)物大小的模型，觀察者能夠自由地拿在手里。該模型11雖然是作為工業(yè)產(chǎn)品的照相機(jī)的實(shí)物大小的模型，但顏色為單色，并且只概略模仿外形。為了給觀察者帶來與操作實(shí)物時(shí)相同的感覺，重量也與實(shí)物幾乎相同。
在模型11中內(nèi)置了位置姿勢傳感器12。位置姿勢傳感器12固定或內(nèi)置于模型11內(nèi)的預(yù)定位置，模型11與位置姿勢傳感器12的位置關(guān)系保持一定。因此，能夠從位置姿勢傳感器12的位置姿勢信息，計(jì)算模型的位置姿勢。
將由位置姿勢傳感器12測量出的位置姿勢信息發(fā)送到PC101的位置姿勢測量單元105。位置姿勢測量單元105，從設(shè)置于HMD的位置姿勢傳感器36、和設(shè)置于模型的位置姿勢傳感器12，接收位置姿勢信息。位置姿勢測量單元105對接收到的位置姿勢信息進(jìn)行坐標(biāo)變換等處理，求得在世界坐標(biāo)系下的觀察者的視點(diǎn)位置姿勢和模型11的位置姿勢，將其發(fā)送到3DCG模型生成單元107。
3DCG模型生成單元107，根據(jù)接收到的2個(gè)位置姿勢信息，生成要從觀察者的左右眼各自的視點(diǎn)觀察到的3DCG模型(例如，圖3所示的CG照相機(jī)21)。將已生成的從左右眼各自的視點(diǎn)觀察到的3DCG模型，發(fā)送到圖像合成單元109。
圖3為示意地表示在模型11上，使用MR技術(shù)，重疊了CG照相機(jī)21的狀態(tài)的圖。CG照相機(jī)21是照相機(jī)的3DCG模型，具有實(shí)物大小。由于當(dāng)然具有與模型11相同的形狀和大小，因而若使其與模型11的位置姿勢一致，重疊CG照相機(jī)21，則兩者恰好重合。
用視頻捕捉裝置A102和視頻捕捉裝置B103捕捉的、來自左眼攝像機(jī)33和右眼攝像機(jī)34的左右的影像，被分別發(fā)送到圖像合成單元109和被攝體區(qū)域抽取單元106。
使用圖7A、圖7B，說明被攝體區(qū)域抽取單元106的動(dòng)作。被攝體區(qū)域抽取單元106，將用視頻捕捉裝置A102和視頻捕捉裝置B103捕捉的實(shí)拍圖像(圖7A)的各像素的顏色信息，與在被攝體顏色信息登錄單元110上預(yù)先登錄的被攝體的顏色信息相比較，判斷具有與登錄的顏色信息一致或相近的顏色的像素為被攝體區(qū)域。對各像素進(jìn)行這樣的判斷，判斷結(jié)果，例如，以生成包含于被攝體的像素為1、不包含的像素為0這樣的值的二維圖像(圖7B)的形式，向圖像合成單元109發(fā)送左右的被攝體區(qū)域圖像。
另外，在本實(shí)施方式中，被攝體為觀察者的手，在被攝體顏色信息登錄單元110上，登錄預(yù)先取得的關(guān)于皮膚顏色的信息。
用圖8說明圖像合成單元109中的圖像合成處理。在步驟1101中，將來自視頻捕捉裝置A102和視頻捕捉裝置B103捕捉的實(shí)拍圖像，傳送到作為用于圖像顯示的圖像存儲器的左眼用和右眼用的幀緩存器(圖中未示)上。在步驟1102中，將在被攝體區(qū)域抽取單元106生成的被攝體區(qū)域圖像，傳送到作為用于掩模處理的圖像存儲器的左眼用和右眼用模板(stencil)緩存器(圖中未示)。
在步驟1103中，分別對左眼用圖像、右眼用圖像，關(guān)于各坐標(biāo)(i，j)的像素，參照模板緩存器的值stencil(i，j)，在stencil(i，j)＝1、即實(shí)拍圖像中的像素real(i，j)包含于被攝體區(qū)域內(nèi)時(shí)，不更新相應(yīng)的幀緩存器的像素frame(i，j)，在stencil(i，j)＝0、即實(shí)拍圖像中的像素real(i，j)，未包含于被攝體區(qū)域內(nèi)時(shí)，并且僅對要重疊的CG照相機(jī)21的像素，用3DCG模型生成單元107生成的CG照相機(jī)21的像素值CGI(i，j)，置換frame(i，j)的值。由此，生成實(shí)拍圖像和CG圖像(僅為除去被攝體區(qū)域的部分)合成的圖像(復(fù)合現(xiàn)實(shí)空間圖像)。將生成的圖像發(fā)送到注釋生成單元108。
注釋生成單元108，例如作為CG圖像生成圖4所示的注釋41，為了指示3DCG圖像的預(yù)定位置(在圖4中，為快門按鈕和鏡頭)，在接收到的左眼用和右眼用合成圖像上進(jìn)行蓋寫。在本實(shí)施方式中，注釋41是位于三維假想空間的文本，與CG照相機(jī)21保持一定位置關(guān)系，像CG照相機(jī)21的一個(gè)部件那樣連動(dòng)地改變位置姿勢。通過最后蓋寫注釋，即使注釋與被攝體區(qū)域重疊，觀察者也能夠看到注釋。
下面，具體地說明為了顯示3DCG的正確位置而顯示注釋41的方法。從位置姿勢測量單元105取得模型的位置姿勢信息和觀察者的位置姿勢信息?；谶@些位置姿勢信息以及注釋與CG照相機(jī)的位置關(guān)系，確定注釋顯示位置。從而，對于從圖像合成單元109輸出的圖像，在依照已確定的注釋顯示位置的圖像位置上，蓋寫與注釋相對應(yīng)的文本。
這樣，通過將注釋蓋寫到合成實(shí)拍圖像和3DCG圖像的合成圖像上，能夠以簡單的結(jié)構(gòu)生成圖6所示的顯示圖像。
另外，作為注釋的顯示方法，例如可以采用下述方法等任意的方法從3DCG模型生成單元107取得3DCG中的快門按鈕或鏡頭的圖像坐標(biāo)，生成注釋使得指示該圖像坐標(biāo)。注釋生成單元108，將蓋寫了注釋的復(fù)合現(xiàn)實(shí)空間圖像，發(fā)送到顯示控制單元104。
圖5是表示在進(jìn)行圖4所示的注釋顯示時(shí)，使用現(xiàn)有方法的情況下的顯示狀態(tài)的圖。表示通過將觀察者的手作為被攝體區(qū)域抽取、將被攝體區(qū)域作為掩模使用，使得觀察者的手不被CG照相機(jī)21遮蓋而顯示的一例。顯示用觀察者的手51將CG照相機(jī)21遮蓋的情形，表現(xiàn)CG照相機(jī)21在比手的位置更深處，但同時(shí)，對鏡頭的注釋41也被遮蓋而不能讀取。
另一方面，在本實(shí)施方式中，因?yàn)闃?gòu)成為最后蓋寫注釋，所以即使在圖5所示的位置存在被攝體區(qū)域(即觀察者的手)，也在手之上顯示注釋，使得能夠閱讀注釋。即，可以進(jìn)行考慮了深度的沒有不諧調(diào)感的顯示，并且不依賴被攝體區(qū)域的位置地讀取注釋。
顯示控制單元104，向透視型HMD32的影像顯示單元35發(fā)送左眼用復(fù)合現(xiàn)實(shí)空間圖像和右眼用復(fù)合現(xiàn)實(shí)空間圖像，影像顯示單元35接收各自的圖像并顯示。
再者，在本實(shí)施方式中，即使如圖9所示，在改變模型11的姿勢時(shí)，或在改變觀察者的姿勢時(shí)，總是在垂直于從觀察者的視點(diǎn)到模型的直線的面(顯示面)上，在與觀察者的姿勢相同的方向上，顯示注釋。由此，不管模型或觀察者的姿勢怎樣，注釋都易于被觀察者閱讀。
此外，也可以是由設(shè)置于模型11的位置姿勢傳感器12檢測模型11的方向，進(jìn)行按照模型11的方向的注釋顯示。例如在本實(shí)施方式中，在照相機(jī)的正面(相對被攝體的面)面向觀察者時(shí)，能夠顯示對從正面可見的范圍的注釋；在反面面向觀察者時(shí)，能夠顯示對從反面可見的范圍的注釋。
圖10是表示可作為本實(shí)施方式的PC101利用的計(jì)算機(jī)裝置的構(gòu)成例的框圖。
在圖中，顯示器201顯示由應(yīng)用程序處理中的數(shù)據(jù)的信息、各種消息菜單等，由CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等構(gòu)成。作為顯示器控制器的CRTC202，進(jìn)行對顯示器201的畫面顯示控制。鍵盤203和定位裝置(pointing device)204用于輸入字符等，或者指示GUI(Graphical User Interface)上的圖標(biāo)或按鈕等。CPU205負(fù)責(zé)計(jì)算機(jī)裝置整體的控制。
ROM206(Read Only Memory)存儲CPU205運(yùn)行的程序或參數(shù)等。RAM(Random Access Memory)207能夠作為CPU運(yùn)行各種程序時(shí)的工作區(qū)域、錯(cuò)誤處理時(shí)的暫時(shí)存儲區(qū)域等使用。
硬盤驅(qū)動(dòng)器(HDD)208、可移動(dòng)媒體驅(qū)動(dòng)器(RMD)209作為外部存儲裝置發(fā)揮功能?？梢苿?dòng)媒體驅(qū)動(dòng)器是進(jìn)行可拆裝的存儲介質(zhì)的讀寫或讀取的裝置，不僅可以是軟盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器、光磁盤驅(qū)動(dòng)器、存儲卡讀卡器，還可以是拆裝式HDD等。
并且，包括應(yīng)用程序、錯(cuò)誤處理程序，包括實(shí)現(xiàn)在本實(shí)施方式中說明的PC101的各種功能的程序，以及OS、瀏覽器等應(yīng)用程序、數(shù)據(jù)、程序庫等，根據(jù)其用途，被存儲在ROM206、HDD208、RMD209(的存儲介質(zhì))中的至少一個(gè)中。
擴(kuò)展插槽210是遵照例如PCI(Peripheral Component Interconnect)總線標(biāo)準(zhǔn)的擴(kuò)展卡安裝用插槽，能夠安裝視頻捕捉板、聲板、GPIB板等各種擴(kuò)展板。
網(wǎng)絡(luò)接口211是用于將計(jì)算機(jī)裝置連接到計(jì)算機(jī)網(wǎng)絡(luò)的接口?？偩€212由地址總線、數(shù)據(jù)總線和控制總線組成，連接在上述各單元之間。并且，除了網(wǎng)絡(luò)接口211，還具有RS-232C、RS-422、USB(Universal Serial Bus)、IEEE1394等串行接口、和IEEE1284等并行接口，可與調(diào)制解調(diào)器、打印機(jī)等外部設(shè)備連接。
這樣的通用計(jì)算機(jī)裝置通過使用OS和必要的驅(qū)動(dòng)軟件等，使用經(jīng)由網(wǎng)絡(luò)接口211根據(jù)需要而連接的路由器(包含撥號路由器)、或經(jīng)由串行接口而連接的調(diào)制解調(diào)器和TA等，能夠與計(jì)算機(jī)網(wǎng)絡(luò)或公共電話網(wǎng)上的其它設(shè)備進(jìn)行通信。
在將圖10所示的通用計(jì)算機(jī)作為PC101使用的情況下，視頻捕捉裝置A102、視頻捕捉裝置B103和位置姿勢測量單元105，例如作為安裝于擴(kuò)展插槽的視頻捕捉板和位置姿勢傳感器12、36的接口板、及其控制程序而實(shí)現(xiàn)。另外，被攝體區(qū)域抽取單元106、3DCG模型生成單元107、注釋生成單元108以及圖像合成單元109，可通過CPU105運(yùn)行軟件來實(shí)現(xiàn)。另外，顯示控制單元104由CRTC201來實(shí)現(xiàn)。
如以上說明的那樣，按照本實(shí)施方式，能夠同時(shí)實(shí)現(xiàn)考慮了用于消除視覺上的不諧調(diào)感的深度(遮蓋)的顯示，和考慮了觀察者的使用方便性的顯示。
在上述實(shí)施方式中，為了易于理解，說明了包括HMD和模型的復(fù)合現(xiàn)實(shí)感系統(tǒng)，但這些并不是必需的。涉及現(xiàn)實(shí)空間圖像的獲得、復(fù)合現(xiàn)實(shí)空間圖像的顯示、模型和觀察者視點(diǎn)的位置姿勢測量的結(jié)構(gòu)不是必須的，也可以用外部裝置進(jìn)行這些圖像或信息的收集、顯示。
另外，在上述實(shí)施方式中，比較登錄于被攝體顏色信息登錄單元的顏色和圖像中的各像素，來檢測被攝體區(qū)域。但是，也可以是例如在將被攝體作為觀察者的手的情況下，當(dāng)根據(jù)模型的位置姿勢傳感器的輸出值，判斷出觀察者拿著模型時(shí)，從實(shí)拍圖像中的模型部分，抽取與模型的顏色不同的顏色區(qū)域，或者將該區(qū)域作為被攝體區(qū)域，或者作為被攝體顏色信息使用該區(qū)域的顏色，如上述那樣求得被攝體區(qū)域。通過這樣動(dòng)態(tài)地設(shè)定被攝體顏色信息，或檢測被攝體區(qū)域，可以應(yīng)對觀察者戴上手套的情況等多種狀況。
另外，在上述實(shí)施方式中，示出的是將本發(fā)明用在利用復(fù)合現(xiàn)實(shí)感的模型系統(tǒng)上的例子，但并不限于顯示表示現(xiàn)實(shí)物體外觀的假想空間圖像的用途，還可適用于在要顯示的假想空間圖像中存在要考慮深度(遮蓋)的圖像，和不需要這樣做的圖像那樣的任意用途和復(fù)合現(xiàn)實(shí)感系統(tǒng)。因此，不考慮遮蓋地進(jìn)行顯示的假想空間圖像也不限于注釋，可以是任意的假想空間圖像。
另外，在上述實(shí)施方式中，說明了被攝體為觀察者的手的情況，但也可以是觀察者操作的器具、身體的其它部位，或觀察者以外的現(xiàn)實(shí)物體。
在上述實(shí)施方式中，只對由1臺設(shè)備構(gòu)成PC101的情況進(jìn)行了說明，但也可以用由多個(gè)設(shè)備構(gòu)成的系統(tǒng)來實(shí)現(xiàn)相同的功能。
另外，從存儲介質(zhì)直接、或使用有線/無線通信，將實(shí)現(xiàn)上述實(shí)施方式的功能的軟件的程序，提供給具有可運(yùn)行該程序的計(jì)算機(jī)的系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)運(yùn)行該所提供的程序來實(shí)現(xiàn)相同的功能的情況，也包括在本發(fā)明中。
因此，為了用計(jì)算機(jī)實(shí)現(xiàn)本發(fā)明的功能處理，提供并安裝到該計(jì)算機(jī)上的程序代碼本身也實(shí)現(xiàn)本發(fā)明。即，用于實(shí)現(xiàn)本發(fā)明的功能處理的計(jì)算機(jī)程序本身也包括在本發(fā)明中。
此時(shí)，只要具有程序的功能，則不問目標(biāo)代碼、由解釋程序運(yùn)行的程序、提供給OS的腳本數(shù)據(jù)等程序的形態(tài)。
作為用于提供程序的存儲介質(zhì)，例如有軟盤、硬盤、磁帶等磁存儲介質(zhì)、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/磁光存儲介質(zhì)、非易失性的半導(dǎo)體存儲器等。
作為使用有線/無線通信的程序的提供方法，可以列舉以下方法在計(jì)算機(jī)網(wǎng)絡(luò)的服務(wù)器上存儲形成本發(fā)明的計(jì)算機(jī)程序本身、或被壓縮的具有自動(dòng)安裝功能的文件等，可以在客戶端計(jì)算機(jī)上成為形成本發(fā)明的計(jì)算機(jī)程序的數(shù)據(jù)文件(程序數(shù)據(jù)文件)，向有連接的客戶端計(jì)算機(jī)下載程序數(shù)據(jù)文件。此時(shí)，還可以將程序數(shù)據(jù)文件分割成多個(gè)程序段文件，在不同的服務(wù)器上，配置程序段文件。
即，使多個(gè)用戶下載用于用計(jì)算機(jī)實(shí)現(xiàn)本發(fā)明的功能處理的程序數(shù)據(jù)文件的服務(wù)器裝置，也包括在本發(fā)明中。
另外，也可以對本發(fā)明的程序進(jìn)行加密，并將其存儲到CD-ROM等存儲介質(zhì)中發(fā)布給用戶，對滿足預(yù)定條件的用戶通過讓用戶經(jīng)由例如因特網(wǎng)從主頁下載來提供解密的密鑰信息，通過使用該密鑰信息運(yùn)行被加密的程序，將其安裝到計(jì)算機(jī)上，由此來實(shí)現(xiàn)。
而且，不僅通過計(jì)算機(jī)執(zhí)行讀出的程序代碼，能夠?qū)崿F(xiàn)上述實(shí)施方式的功能，根據(jù)該程序代碼的指示，在計(jì)算機(jī)上運(yùn)行的OS(操作系統(tǒng))等進(jìn)行實(shí)際處理的一部分或全部，通過該處理也能夠?qū)崿F(xiàn)上述并且，從存儲介質(zhì)讀出的程序代碼，在被寫入到插在計(jì)算機(jī)中的功能擴(kuò)充卡或連接在計(jì)算機(jī)上的功能擴(kuò)充單元所具備的存儲器中后，根據(jù)該程序代碼的指示，該功能擴(kuò)充卡或功能擴(kuò)充單元所具有的CPU等進(jìn)行實(shí)際處理的一部分或全部，通過該處理也能夠?qū)崿F(xiàn)上述實(shí)施方式的功能。
本發(fā)明可以做出許多不同的實(shí)施例而不脫離其精神和范圍，因此本發(fā)明并不限于特定于特定的實(shí)施例而由所附的權(quán)利要求限定。
權(quán)利要求
1.一種復(fù)合現(xiàn)實(shí)空間圖像生成方法，生成將拍攝現(xiàn)實(shí)空間而獲得的現(xiàn)實(shí)空間圖像和假想空間圖像重疊起來的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括第1圖像合成步驟，將上述假想空間圖像中的、要考慮上述現(xiàn)實(shí)空間中的物體的遮蓋的第1假想空間圖像，重疊在上述現(xiàn)實(shí)空間圖像上；以及第2圖像合成步驟，將上述假想空間圖像中的、應(yīng)不考慮遮蓋而顯示的第2假想空間圖像，重疊于在上述第1圖像合成步驟生成的圖像上。
2.根據(jù)權(quán)利要求1所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，上述第1圖像合成步驟包括，被攝體區(qū)域抽取步驟，從上述現(xiàn)實(shí)空間圖像中抽取預(yù)定的被攝體區(qū)域；以及重疊步驟，只將上述第1假想空間圖像的、不包含于上述被攝體區(qū)域的區(qū)域，重疊在上述現(xiàn)實(shí)空間圖像上。
3.根據(jù)權(quán)利要求1所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，上述第1假想空間圖像是表示現(xiàn)實(shí)空間中的物體外觀的圖像，上述第2假想空間圖像是表示關(guān)于上述物體的注釋的圖像。
4.根據(jù)權(quán)利要求3所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，根據(jù)上述物體的位置姿勢，使上述第2假想空間圖像的內(nèi)容或顯示位置變化。
5.一種復(fù)合現(xiàn)實(shí)空間圖像生成裝置，生成將攝像現(xiàn)實(shí)空間而獲得的現(xiàn)實(shí)空間圖像和假想空間圖像重疊起來的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括第1圖像合成裝置，將上述假想空間圖像中的、要考慮上述現(xiàn)實(shí)空間中的物體的遮蓋的第1假想空間圖像，重疊在上述現(xiàn)實(shí)空間圖像上；以及第2圖像合成裝置，將上述假想空間圖像中的、應(yīng)不考慮遮蓋而顯示的第2假想空間圖像，重疊于在上述第1圖像合成裝置生成的圖像上。
6.一種復(fù)合現(xiàn)實(shí)感系統(tǒng)，其特征在于，使用權(quán)利要求5所述的復(fù)合現(xiàn)實(shí)空間圖像生成裝置。
7.一種復(fù)合現(xiàn)實(shí)空間圖像生成方法，生成重疊現(xiàn)實(shí)空間圖像和假想空間圖像的復(fù)合現(xiàn)實(shí)空間圖像，其特征在于，包括以下步驟取得觀察者的位置和姿勢的信息，從上述現(xiàn)實(shí)空間圖像抽取被攝體區(qū)域，基于上述觀察者的位置和姿勢的信息，生成第1假想空間圖像，對上述抽取出的被攝體區(qū)域以外的區(qū)域，合成上述第1假想空間圖像，對上述合成圖像，在基于上述觀察者的位置和姿勢信息的圖像位置，合成第2假想空間圖像。
8.根據(jù)權(quán)利要求7所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，上述第2假想空間圖像是表示注釋的圖像。
9.根據(jù)權(quán)利要求7所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，進(jìn)一步取得現(xiàn)實(shí)物體的位置和姿勢的信息，基于上述觀察者的位置和姿勢的信息，和上述現(xiàn)實(shí)物體的位置和姿勢的信息，生成上述第1和上述第2假想空間圖像。
10.根據(jù)權(quán)利要求7所述的復(fù)合現(xiàn)實(shí)空間圖像生成方法，其特征在于，上述第2假想空間圖像是文本圖像，進(jìn)一步基于上述第1假想空間圖像和上述第2假想空間圖像的位置關(guān)系，以及上述觀察者的位置和姿勢的信息，和上述現(xiàn)實(shí)物體的位置和姿勢的信息，確定蓋寫上述合成圖像的上述第2假想空間圖像的圖像位置，在上述確定的圖像位置，蓋寫上述文本圖像。
全文摘要
提供一種復(fù)合現(xiàn)實(shí)空間圖像生成方法和復(fù)合現(xiàn)實(shí)感系統(tǒng)，生成將拍攝現(xiàn)實(shí)空間而獲得的現(xiàn)實(shí)空間圖像和假想空間圖像重疊起來的復(fù)合現(xiàn)實(shí)空間圖像。本發(fā)明的現(xiàn)實(shí)空間圖像生成裝置包括圖像合成單元(109)，將假想空間圖像中的、要考慮現(xiàn)實(shí)空間中的物體的遮蓋的假想空間圖像重疊在現(xiàn)實(shí)空間圖像上；以及注釋生成單元(108)，進(jìn)一步地重疊假想空間圖像中的、應(yīng)不考慮遮蓋而顯示的圖像。由此，可以生成同時(shí)實(shí)現(xiàn)沒有不諧調(diào)感的顯示和使用方便的顯示的復(fù)合現(xiàn)實(shí)空間圖像。
文檔編號G06T17/40GK1604659SQ20041008106
公開日2005年4月6日 申請日期2004年9月30日 優(yōu)先權(quán)日2003年9月30日
發(fā)明者松井太一, 鈴木雅博 申請人:佳能株式會社