專利名稱：圖像顯示裝置和方法、測(cè)量裝置和方法、識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在車輛的前窗部具有顯示對(duì)該車輛的搭乘者提示的圖像的顯示裝置的圖像顯示技術(shù)，另外，涉及一種用于測(cè)量其中具有對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像部和對(duì)大致的位置姿勢(shì)進(jìn)行測(cè)量的位置姿勢(shì)測(cè)量部的攝像裝置的位置姿勢(shì)或測(cè)量對(duì)象的位置姿勢(shì)的標(biāo)識(shí)(index)的識(shí)別技術(shù)。
背景技術(shù)：
汽車導(dǎo)航系統(tǒng)隨著近年來(lái)的高功能化和低價(jià)格化等而得到普及。隨著ITS(智能運(yùn)輸系統(tǒng))的發(fā)展，人們期望汽車導(dǎo)航系統(tǒng)顯示器起到除導(dǎo)航信息以外還能提示幫助駕駛者的各種各樣信息的終端的作用。
然而，對(duì)于現(xiàn)有的汽車導(dǎo)航系統(tǒng)而言，駕駛者為了觀看顯示器，必須將視線一度轉(zhuǎn)移到車內(nèi)。因此，在觀看顯示器期間，僅能通過(guò)周邊觀察來(lái)了解道路狀況，這樣，就存在前方注意力被瞬間中斷的問(wèn)題。
在解決該問(wèn)題的技術(shù)中，有HUD(抬頭觀察型顯示器)技術(shù)。HUD是將圖像投影并顯示到車輛的前窗上的裝置。這樣，無(wú)需從實(shí)際場(chǎng)景轉(zhuǎn)移視線即可獲得導(dǎo)航信息。
另外，現(xiàn)有的汽車導(dǎo)航系統(tǒng)存在著這樣的問(wèn)題，即必須由駕駛者自身將在顯示器提示的導(dǎo)航信息(在大多數(shù)場(chǎng)合下，被重疊顯示到地圖上)與實(shí)際場(chǎng)景相互聯(lián)系起來(lái)，存在難以直觀地理解的問(wèn)題。
針對(duì)上述問(wèn)題，在現(xiàn)有技術(shù)中，有人曾提出了被稱作“場(chǎng)景疊加HUD(On-the-Scene HUD)”的裝置。場(chǎng)景疊加HUD將車輛的前窗作為透視顯示器，在前窗上提示導(dǎo)航信息，以便于將駕駛者認(rèn)為必要的導(dǎo)航信息重疊到實(shí)際場(chǎng)景上的適當(dāng)位置而進(jìn)行觀察(例如，參照非專利文獻(xiàn)1，J.Fukano，S.Okabayashi，M.SakataAutomotive Head-UpDisplays for Navigation Use，The 14th Intemational Conference onEnhanced Safety of Vehicles，no.94-S2-O-02，PP.306-314，1994.)根據(jù)上述非專利文獻(xiàn)1，如使用場(chǎng)景疊加HUD，駕駛者可在更短的時(shí)間內(nèi)識(shí)別導(dǎo)航信息。然而，關(guān)于將導(dǎo)航信息重疊提示到實(shí)際場(chǎng)景上的適當(dāng)位置所用的具體的位置對(duì)齊方法，卻并未進(jìn)行描述。
一般而言，在實(shí)際場(chǎng)景的預(yù)定位置上重疊顯示預(yù)定信息的技術(shù)被稱為復(fù)合現(xiàn)實(shí)感技術(shù)。在復(fù)合現(xiàn)實(shí)感提示裝置的一般的構(gòu)成中，觀察者將透明型的HMD(頭戴式顯示器)安裝于頭部，從而可以同時(shí)觀察顯示于顯示器上的圖像和越過(guò)顯示器觀看到的實(shí)際場(chǎng)景。此時(shí)，為了將預(yù)定的圖像重疊到實(shí)際場(chǎng)景的預(yù)定位置，需要測(cè)量實(shí)際場(chǎng)景中的觀察者的視點(diǎn)位置和姿勢(shì)，來(lái)生成與其相隨的圖像。
觀察者的視點(diǎn)位置和姿勢(shì)的測(cè)量可以通過(guò)各種方法進(jìn)行。雖然，一般而言是采用將磁傳感器和超聲波傳感器安裝于HMD的方法，但是，由于需要將磁或超聲波的發(fā)生源設(shè)置到實(shí)際場(chǎng)景中，所以，就存在著觀察者可移動(dòng)的范圍受到限制的問(wèn)題。另外，這些方法也存在著不能獲得足夠高的測(cè)量精度的問(wèn)題。
另一方面，作為不受測(cè)量范圍限制而可以高精度地測(cè)量視點(diǎn)位置和姿勢(shì)的方法，有人提出了這樣的方案，即將攝像機(jī)安裝于HMD，從攝影獲得的圖像中檢測(cè)出實(shí)際場(chǎng)景中的標(biāo)識(shí)，并據(jù)此測(cè)量視點(diǎn)位置和姿勢(shì)。例如，過(guò)去通過(guò)將從圖像中取出的標(biāo)識(shí)的圖像坐標(biāo)用作擴(kuò)展卡爾曼濾波器的輸入，將視點(diǎn)位置和姿勢(shì)作為狀態(tài)變量來(lái)估計(jì)(例如，參照非專利文獻(xiàn)2，橫小路泰義、菅原嘉彥、吉川恒夫《圖像和使用了加速度儀的HMD上的映像的正確的重疊》，『日本虛擬現(xiàn)實(shí)學(xué)會(huì)論文集』，Vol.4，no.4，pp 589-598，1999.)。
然而，通過(guò)上述使用了HMD的復(fù)合現(xiàn)實(shí)感提示裝置的位置重合方法不能實(shí)現(xiàn)場(chǎng)景重疊HUD的位置重合。這是由于在HMD中將觀察者的視點(diǎn)固定于顯示器，而在HUD中并不固定觀察者(駕駛者)的視點(diǎn)與顯示器的相對(duì)的位置關(guān)系。
在顯示器與視點(diǎn)的位置關(guān)系不固定的類型的復(fù)合現(xiàn)實(shí)感提示裝置中，例如，過(guò)去為了對(duì)齊位置，需要測(cè)量實(shí)際場(chǎng)景中的顯示器的面的位置及姿勢(shì)和觀察者相對(duì)于顯示面的位置(例如，參照專利文獻(xiàn)日本特開(kāi)2000-276613號(hào)公報(bào))。
另一方面，關(guān)于車輛的位置和方位的測(cè)量，在現(xiàn)有的汽車導(dǎo)航系統(tǒng)中利用基于GPS(全球定位系統(tǒng))和慣性航法的車輛測(cè)量裝置。
然而，上述專利文獻(xiàn)1所述的裝置是以將顯示部保持于手中使用為前提的裝置，顯示部的位置和姿勢(shì)的測(cè)量假定利用磁傳感器和超聲波傳感器來(lái)進(jìn)行，而未示出在較廣范圍內(nèi)移動(dòng)的車輛的測(cè)量手法。
另外，上述非專利文獻(xiàn)2所述的手法由于是用于測(cè)量可采取任意位置和姿勢(shì)的人的頭部的手法，所以，解的自由度大，有時(shí)會(huì)存在輸出錯(cuò)誤的估計(jì)值的問(wèn)題。
另外，上述非專利文獻(xiàn)2所述的手法存在這樣的問(wèn)題，即為了對(duì)可能被包含于攝像機(jī)的視體的所有標(biāo)識(shí)進(jìn)行檢測(cè)處理，即使具有因?yàn)楸粚?shí)際場(chǎng)景中的其它物體隱蔽而未能在圖像上觀察到的標(biāo)識(shí)，有時(shí)也進(jìn)行該標(biāo)識(shí)的檢測(cè)處理，而成為引起標(biāo)識(shí)錯(cuò)誤檢測(cè)的原因，輸出錯(cuò)誤的位置和姿勢(shì)的估計(jì)值。
另外，基于GPS和慣性航法的車輛測(cè)量裝置的精度較低，特別是，在交叉路口的行進(jìn)方向指示和事前的行車線方向指示的那樣的必須實(shí)施與實(shí)際場(chǎng)景的正確位置對(duì)齊的用途中的適用比較困難。
本發(fā)明就是鑒于上述問(wèn)題而作出的，其目的在于提供一種在實(shí)際場(chǎng)景上的適當(dāng)位置重疊并提示車輛的導(dǎo)航信息的技術(shù)。
另外，對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像機(jī)等的攝像部(以下適當(dāng)?shù)馗姆Q攝像機(jī))的位置姿勢(shì)測(cè)量，例如在融合顯示現(xiàn)實(shí)空間與假想空間的復(fù)合現(xiàn)實(shí)感系統(tǒng)中是必要的。作為與其相關(guān)的現(xiàn)有技術(shù)，有這樣一種方法，即使用配置于現(xiàn)實(shí)空間的位置已知的標(biāo)記或現(xiàn)實(shí)空間的位置已知的特征點(diǎn)(以下將標(biāo)記和特征點(diǎn)合起來(lái)稱為標(biāo)識(shí))，校正用以測(cè)定攝像機(jī)的位置姿勢(shì)的位置姿勢(shì)傳感器的測(cè)量誤差(例如，參照專利文獻(xiàn)2日本特開(kāi)平11-084307號(hào)公報(bào)、專利文獻(xiàn)3日本特開(kāi)2000-041173號(hào)公報(bào)、專利文獻(xiàn)4日本特愿2000-354230號(hào)公報(bào))。
在上述方法的現(xiàn)有技術(shù)中，雖然其計(jì)算原理、裝置、步驟各不相同，但是，根據(jù)從用于測(cè)量攝像機(jī)的位置姿勢(shì)的6自由度的位置姿勢(shì)傳感器獲得的信息、配置于現(xiàn)實(shí)空間的位置已知的標(biāo)識(shí)的信息、以及由攝像機(jī)捕捉該標(biāo)識(shí)得到的信息，求出攝像機(jī)的位置姿勢(shì)。
在這些方法中，作為求出從圖像檢測(cè)到的標(biāo)識(shí)與配置在現(xiàn)實(shí)空間的標(biāo)識(shí)中的哪個(gè)標(biāo)識(shí)相對(duì)應(yīng)的一個(gè)方法，使用這樣的方法，即比較從圖像檢測(cè)到的標(biāo)識(shí)的坐標(biāo)和根據(jù)位置姿勢(shì)測(cè)量值進(jìn)行投影而獲得的在圖像面上的標(biāo)識(shí)的坐標(biāo)，求出距離近的一方所對(duì)應(yīng)的標(biāo)識(shí)。
假想這樣的場(chǎng)合，即例如，對(duì)如圖11所示地存在塔狀物體的現(xiàn)實(shí)空間，將以上的“用于校正位置姿勢(shì)傳感器的測(cè)量誤差的標(biāo)識(shí)”配置于該塔狀物體的各個(gè)方向的側(cè)面。
在該圖中，標(biāo)號(hào)5201是對(duì)上述現(xiàn)實(shí)空間進(jìn)行攝像的攝像機(jī)，標(biāo)號(hào)5202是測(cè)量攝像機(jī)5201的大致位置姿勢(shì)的3維位置姿勢(shì)傳感器，標(biāo)號(hào)5203、5204是用于校正3維位置姿勢(shì)傳感器5202的測(cè)量誤差的標(biāo)識(shí)，標(biāo)號(hào)5205是配置標(biāo)識(shí)5203、5204的塔狀物體。另外，假想攝像機(jī)5201可在該塔狀物體5205的周圍移動(dòng)，存在對(duì)塔狀物體5205的各側(cè)面進(jìn)行完全攝像的可能性的場(chǎng)合。
在這樣的場(chǎng)合下，如圖12所示，存在著從與塔狀物體5205的側(cè)面大體垂直的位置進(jìn)行攝像的場(chǎng)合。在該圖中，標(biāo)號(hào)5300是由攝像機(jī)5201攝像的圖像(攝像畫(huà)面)，標(biāo)號(hào)5301表示圖11中的標(biāo)識(shí)5203拍攝成圖像后的標(biāo)識(shí)。標(biāo)號(hào)5302表示根據(jù)由3維位置姿勢(shì)傳感器5202測(cè)量的攝像機(jī)5201的位置姿勢(shì)，在攝像圖像5300的圖像面上投影并計(jì)算標(biāo)識(shí)5203的3維位置而獲得的在攝像圖像上的坐標(biāo)。標(biāo)號(hào)5303表示在攝像圖像5300的圖像面上投影并計(jì)算標(biāo)識(shí)5204的3維位置而獲得的在攝像畫(huà)面上的坐標(biāo)。
假如3維位置姿勢(shì)傳感器5202的位置姿勢(shì)測(cè)量值沒(méi)有誤差，那么，由標(biāo)號(hào)5302所示的坐標(biāo)位置和圖像5301的坐標(biāo)位置本來(lái)是相同的坐標(biāo)，但是，實(shí)際上，由于在位置姿勢(shì)測(cè)量值中含有誤差，所以，不為相同位置。在現(xiàn)有技術(shù)中，作為求出從攝像圖像檢測(cè)到的標(biāo)識(shí)(在圖12中，為標(biāo)號(hào)5301)與實(shí)際配置的標(biāo)識(shí)中的哪個(gè)標(biāo)識(shí)對(duì)應(yīng)的方法，利用從圖像檢測(cè)到的標(biāo)識(shí)的坐標(biāo)值與根據(jù)位置姿勢(shì)測(cè)量值計(jì)算的該標(biāo)識(shí)在畫(huà)面上的坐標(biāo)值之間的距離。為此，在該圖12所示例中，和標(biāo)號(hào)5302所示坐標(biāo)位置與圖像5301的坐標(biāo)位置之間的距離相比而言，由標(biāo)號(hào)5303所示坐標(biāo)位置與圖像5301的坐標(biāo)位置之間的距離由于受到傳感器的影響而變短，所以，判斷為標(biāo)號(hào)5301與5303對(duì)應(yīng)的標(biāo)識(shí)。標(biāo)號(hào)5303是被配置于該塔狀物體5205的背側(cè)的標(biāo)識(shí)的投影點(diǎn)，所以，意味著錯(cuò)誤對(duì)應(yīng)。
因此，本發(fā)明的另一目的在于正確識(shí)別從圖像檢測(cè)出的標(biāo)識(shí)與被配置于現(xiàn)實(shí)空間的標(biāo)識(shí)中的哪個(gè)標(biāo)識(shí)對(duì)應(yīng)。

發(fā)明內(nèi)容
為了達(dá)到上述目的，例如本發(fā)明的圖像顯示裝置具有以下的結(jié)構(gòu)。
即，本發(fā)明的圖像顯示裝置具有在車輛的前窗部顯示對(duì)該車輛的搭乘者提示的圖像的顯示裝置；其特征在于，包括車輛測(cè)量單元，測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位；頭部測(cè)量單元，測(cè)量在上述車輛內(nèi)定義的坐標(biāo)系中的上述車輛的搭乘者的頭部位置；以及控制單元，控制上述顯示裝置使得在上述前窗部將上述圖像顯示到與由上述車輛測(cè)量單元測(cè)量的上述車輛的位置、方位和由上述頭部測(cè)量單元測(cè)量的上述頭部的位置對(duì)應(yīng)的位置。
為了達(dá)到本發(fā)明的目的，本發(fā)明的測(cè)量裝置具有例如以下結(jié)構(gòu)。
即，本發(fā)明的測(cè)量裝置搭載于車輛，對(duì)該車輛的世界坐標(biāo)系的位置、方位進(jìn)行測(cè)量；其特征在于，包括外界攝像單元，對(duì)上述車輛的外界進(jìn)行攝像；位置計(jì)算單元，求出包含于由該外界攝像單元所攝像的上述外界的圖像的標(biāo)識(shí)在該圖像中的位置；以及位置方位測(cè)量單元，根據(jù)由上述位置計(jì)算單元求出的上述標(biāo)識(shí)在上述圖像中的位置測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
為了達(dá)到本發(fā)明的目的，本發(fā)明的測(cè)量裝置具有例如以下的結(jié)構(gòu)。
即，本發(fā)明的測(cè)量裝置通過(guò)檢測(cè)由攝影裝置所攝影的物體的圖像中的標(biāo)識(shí)，進(jìn)行上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)的測(cè)量；其特征在于具有選擇不被隱蔽地將要在上述攝影圖像上觀測(cè)到的標(biāo)識(shí)的標(biāo)識(shí)選擇單元；根據(jù)選擇的標(biāo)識(shí)的信息測(cè)量上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)。
為了達(dá)到本發(fā)明的目的，本發(fā)明的圖像顯示方法具有例如以下的結(jié)構(gòu)。
即，本發(fā)明提供一種圖像顯示裝置的圖像顯示方法，所述圖像顯示裝置具有在車輛的前窗部顯示對(duì)該車輛的搭乘者提示的圖像的顯示裝置；其特征在于，包括以下步驟車輛測(cè)量步驟，測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位；頭部測(cè)量步驟，測(cè)量在上述車輛內(nèi)定義的坐標(biāo)系中的上述車輛的搭乘者的頭部位置；以及控制步驟，控制上述顯示裝置使得在上述前窗部將上述圖像顯示到與由上述車輛測(cè)量步驟測(cè)量的上述車輛的位置、方位和由上述頭部測(cè)量步驟測(cè)量的上述頭部的位置對(duì)應(yīng)的位置。
為了達(dá)到本發(fā)明的目的，本發(fā)明的測(cè)量方法具有例如以下結(jié)構(gòu)。
即，本發(fā)明的測(cè)量方法搭載于車輛，對(duì)該車輛的世界坐標(biāo)系的位置、方位進(jìn)行測(cè)量；其特征在于，包括以下步驟外界攝像步驟，使用攝像裝置對(duì)該車輛的外界進(jìn)行攝像；位置計(jì)算步驟，求出包含于由該外界攝像步驟所攝像的上述外界圖像的標(biāo)識(shí)在該圖像中的位置；以及位置方位測(cè)量步驟，根據(jù)由上述位置計(jì)算步驟求出的上述標(biāo)識(shí)在上述圖像中的位置測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
為了達(dá)到本發(fā)明的目的，本發(fā)明的測(cè)量方法具有例如以下的結(jié)構(gòu)。
即，本發(fā)明的測(cè)量方法通過(guò)檢測(cè)由攝影裝置所攝影的物體的圖像中的標(biāo)識(shí)，進(jìn)行上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)的測(cè)量；其特征在于包括選擇不被隱蔽地將要在上述攝影圖像上觀測(cè)到的標(biāo)識(shí)的標(biāo)識(shí)選擇步驟；根據(jù)選擇的標(biāo)識(shí)的信息測(cè)量上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)。
為了達(dá)到本發(fā)明的目的，本發(fā)明的信息處理方法具有例如以下的結(jié)構(gòu)。
本發(fā)明的信息處理方法包括檢測(cè)步驟，檢測(cè)由對(duì)配置了標(biāo)識(shí)的現(xiàn)實(shí)空間的圖像進(jìn)行攝像的攝像單元獲得的攝像圖像中的標(biāo)識(shí)位置；和第1計(jì)算步驟，在根據(jù)測(cè)量求出了上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)中的至少一者的場(chǎng)合，根據(jù)上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)求出將上述現(xiàn)實(shí)空間中的標(biāo)識(shí)投影到上述攝像圖像上的場(chǎng)合的坐標(biāo)位置；在上述攝像圖像中，根據(jù)由上述檢測(cè)步驟檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置和由上述第1計(jì)算步驟計(jì)算出的坐標(biāo)位置進(jìn)行使相互距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理；其特征在于包括第2計(jì)算步驟，求出使用關(guān)注標(biāo)識(shí)的法線向量和上述攝像單元的視軸向量進(jìn)行計(jì)算得到的值；和決定步驟，根據(jù)由上述第2計(jì)算步驟求出的值所取的范圍決定是否進(jìn)行上述第1計(jì)算步驟的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理；在上述決定步驟決定了進(jìn)行上述第1計(jì)算步驟的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理的場(chǎng)合，根據(jù)由上述第1計(jì)算步驟計(jì)算出的上述關(guān)注標(biāo)識(shí)的坐標(biāo)位置和由上述檢測(cè)步驟檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置中的任一個(gè)進(jìn)行使距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理。
為了達(dá)到本發(fā)明的目的，本發(fā)明的信息處理裝置具有例如以下的結(jié)構(gòu)。
本發(fā)明的信息處理裝置包括攝像單元，對(duì)配置了標(biāo)識(shí)的現(xiàn)實(shí)空間的圖像進(jìn)行攝像；檢測(cè)單元，檢測(cè)由攝像單元獲得的攝像圖像中的標(biāo)識(shí)的位置；以及第1計(jì)算單元，在根據(jù)測(cè)量求出了上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)中的至少一者的場(chǎng)合，根據(jù)上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)求出將上述現(xiàn)實(shí)空間中的標(biāo)識(shí)投影到上述攝像圖像上的場(chǎng)合的坐標(biāo)位置；在上述攝像圖像中，根據(jù)由上述檢測(cè)單元檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置和由上述第1計(jì)算單元計(jì)算出的坐標(biāo)位置進(jìn)行使相互距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理；其特征在于包括第2計(jì)算單元，求出使用關(guān)注標(biāo)識(shí)的法線向量和上述攝像單元的視軸向量計(jì)算的值；和決定單元根據(jù)由上述第2計(jì)算單元求出的值所取的范圍決定是否進(jìn)行上述第1計(jì)算單元的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理；在上述決定單元決定進(jìn)行上述第1計(jì)算單元的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理的場(chǎng)合，根據(jù)由上述第1計(jì)算單元計(jì)算出的上述關(guān)注標(biāo)識(shí)的坐標(biāo)位置和由上述檢測(cè)單元檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置中的任一個(gè)進(jìn)行使距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理。
為了達(dá)到本發(fā)明的目的，本發(fā)明的識(shí)別方法具有例如以下的結(jié)構(gòu)。
一種標(biāo)識(shí)的識(shí)別方法，用于對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像裝置的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述攝像裝置的大致位置姿勢(shì)的位置姿勢(shì)測(cè)量步驟；上述攝像裝置進(jìn)行包含標(biāo)識(shí)的上述現(xiàn)實(shí)空間的攝像的攝像步驟；求出包含在上述攝像步驟得到的現(xiàn)實(shí)空間的圖像中的標(biāo)識(shí)在上述圖像中的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；求出在上述位置姿勢(shì)測(cè)量步驟得到的位置姿勢(shì)中的、上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
為了達(dá)到本發(fā)明的目的，本發(fā)明的識(shí)別方法具有例如以下的結(jié)構(gòu)。
即，本發(fā)明的標(biāo)識(shí)的識(shí)別方法，用于現(xiàn)實(shí)空間中的對(duì)象物體的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述對(duì)象物體的大致位置姿勢(shì)的位置姿勢(shì)測(cè)量步驟；用固定的攝像裝置對(duì)上述對(duì)象物體進(jìn)行攝像的攝像步驟；求出在上述攝像步驟得到的攝像圖像中的標(biāo)識(shí)的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述位置姿勢(shì)測(cè)量步驟得到的位置姿勢(shì)，求出上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
為了達(dá)到本發(fā)明的目的，本發(fā)明的識(shí)別方法具有例如以下的結(jié)構(gòu)。
即，本發(fā)明的標(biāo)識(shí)的識(shí)別方法，用于現(xiàn)實(shí)空間中的對(duì)象物體的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述對(duì)象物體的大致位置姿勢(shì)的第1位置姿勢(shì)測(cè)量步驟；測(cè)量對(duì)上述對(duì)象物體進(jìn)行攝像的攝像裝置的大致位置姿勢(shì)的第2位置姿勢(shì)測(cè)量步驟；用上述攝像裝置對(duì)上述對(duì)象物體進(jìn)行攝像的攝像步驟；求出在上述攝像步驟得到的攝像圖像中的標(biāo)識(shí)的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1位置姿勢(shì)測(cè)量步驟和上述第2位置姿勢(shì)測(cè)量步驟得到的以上述攝像裝置為基準(zhǔn)的對(duì)象物體的位置姿勢(shì)，或者以上述對(duì)象物體為基準(zhǔn)的上述攝像裝置的位置姿勢(shì)，求出上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述第2位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與上述第1位置姿勢(shì)測(cè)量步驟得到的標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
本發(fā)明的其它特征和優(yōu)點(diǎn)將在根據(jù)附圖進(jìn)行的以下說(shuō)明中變得明確，在該附圖中，對(duì)相同或相似的部分采用相同的參照標(biāo)號(hào)。


附圖和說(shuō)明書(shū)成為一體并構(gòu)成其一部分，和本發(fā)明的實(shí)施例及其描述一起對(duì)本發(fā)明的原理進(jìn)行闡釋。
圖1是表示安裝于車輛上的本發(fā)明的第1實(shí)施方式的圖像顯示裝置的功能構(gòu)成的框圖。
圖2是表示虛像171的例的圖。
圖3是表示由搭乘者132觀察到的前窗部的狀態(tài)的圖。
圖4是車輛測(cè)量單元進(jìn)行的處理的流程圖。
圖5是表示用于檢測(cè)右后輪的回轉(zhuǎn)速度的構(gòu)成的圖。
圖6是表示外部標(biāo)識(shí)檢測(cè)部105的基本構(gòu)成的框圖。
圖7是頭部測(cè)量單元進(jìn)行的處理的流程圖。
圖8是作為控制單元的圖像生成部150進(jìn)行的處理的流程圖。
圖9是表示安裝于車輛900的罩部的外部攝影用攝像機(jī)100的圖。
圖10是表示包含了本發(fā)明的第18實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。
圖11是用來(lái)說(shuō)明現(xiàn)有技術(shù)的問(wèn)題點(diǎn)的示意圖，表示了配置于現(xiàn)實(shí)空間的成為標(biāo)識(shí)的標(biāo)記以及固定了3維位置姿勢(shì)測(cè)量裝置的攝像機(jī)的形態(tài)。
圖12是用來(lái)說(shuō)明現(xiàn)有技術(shù)的問(wèn)題點(diǎn)的示意圖，表示了在畫(huà)面上投影3維位置姿勢(shì)傳感器的測(cè)量值的坐標(biāo)和從圖像檢測(cè)標(biāo)識(shí)的坐標(biāo)。
圖13是本發(fā)明第18實(shí)施方式的標(biāo)識(shí)識(shí)別處理的流程圖。
圖14是表示包含了本發(fā)明第19實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。
圖15為本發(fā)明第19實(shí)施方式的系統(tǒng)的示意圖。
圖16為本發(fā)明第19實(shí)施方式的標(biāo)識(shí)識(shí)別處理的流程圖。
圖17是表示作為具有本發(fā)明第2 1實(shí)施方式的二維擴(kuò)展的圖形的標(biāo)識(shí)的一例的圖。
圖18是表示記錄了標(biāo)識(shí)信息數(shù)據(jù)的文件的內(nèi)容的圖。
圖19是表示包含了本發(fā)明第22實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。
圖20是由本發(fā)明的第22實(shí)施方式的計(jì)算機(jī)51050進(jìn)行的、在將合成圖像輸出到顯示部51011之前的處理的流程圖。
圖21是說(shuō)明圖17的標(biāo)識(shí)的法線向量的計(jì)算方法的圖。
圖22是表示計(jì)算機(jī)5150的基本構(gòu)成的框圖。
具體實(shí)施例方式
下面，參照附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。
(第1實(shí)施方式)圖1是表示安裝于車輛的本實(shí)施方式的圖像顯示裝置的功能構(gòu)成的框圖。本實(shí)施方式的圖像顯示裝置由外部攝影用攝像機(jī)100、外部標(biāo)識(shí)檢測(cè)部105、回轉(zhuǎn)速度儀110、車輛測(cè)量部120、搭乘者攝影用攝像機(jī)130、頭部標(biāo)識(shí)檢測(cè)部135、頭部測(cè)量部140、圖像生成部150、投影儀160、組合器170構(gòu)成。
搭乘者132(在本實(shí)施方式中，搭乘者即車輛的駕駛者)可通過(guò)前窗131看到外界的物體151，并且，還可看到顯示于安裝在前窗131的組合器170的、表示由圖像顯示裝置進(jìn)行的后述的處理所生成的導(dǎo)航信息的圖像。即，搭乘者132可在將導(dǎo)航信息重疊于上述外界的物體151的狀態(tài)下觀看。
下面說(shuō)明由外部攝影用攝像機(jī)100、外部標(biāo)識(shí)檢測(cè)部105、回轉(zhuǎn)速度儀110、車輛測(cè)量部120構(gòu)成的車輛測(cè)量單元。外部攝影用攝像機(jī)100朝著車輛的前方安裝于車輛的罩部，對(duì)車外的外界的實(shí)際場(chǎng)景進(jìn)行攝影，將攝影獲得的圖像輸出到外部標(biāo)識(shí)檢測(cè)部105。在圖9中示出了安裝于車輛900的罩部的外部攝影用攝像機(jī)100。外部標(biāo)識(shí)檢測(cè)部105輸入由外部攝影用攝像機(jī)100輸出的攝影圖像，從圖像檢測(cè)出設(shè)定于實(shí)際場(chǎng)景中的后述的外部標(biāo)識(shí)，將檢測(cè)出的外部標(biāo)識(shí)的圖像的位置(坐標(biāo))輸出到車輛測(cè)量部120?；剞D(zhuǎn)速度儀110連接到車輛的右后輪和左后輪，測(cè)量各車輪的回轉(zhuǎn)速度，將其測(cè)量結(jié)果輸出到車輛測(cè)量部120。車輛測(cè)量部120輸入由外部標(biāo)識(shí)檢測(cè)部105輸出的外部標(biāo)識(shí)的圖像坐標(biāo)和由回轉(zhuǎn)速度儀110輸出的各車輪的回轉(zhuǎn)速度，據(jù)此測(cè)量世界坐標(biāo)系的車輛的位置和方位，將其結(jié)果輸出到圖像生成部150。
下面說(shuō)明由搭乘者攝影用攝像機(jī)130、頭部標(biāo)識(shí)檢測(cè)部135、頭部測(cè)量部140構(gòu)成的頭部測(cè)量單元。搭乘者攝影用攝像機(jī)130朝著搭乘者132的頭部而安裝于前窗131上部，對(duì)搭乘者132的頭部進(jìn)行攝影，將攝影獲得的映像輸出到頭部標(biāo)識(shí)檢測(cè)部135。頭部標(biāo)識(shí)檢測(cè)部135輸入由搭乘者攝影用攝像機(jī)130輸出的攝影圖像，從圖像檢測(cè)出設(shè)定于搭乘者132的頭部的后述的頭部標(biāo)識(shí)，將檢測(cè)出的頭部的標(biāo)識(shí)的圖像的位置(坐標(biāo))輸出到頭部測(cè)量部140。頭部測(cè)量部140輸入由頭部標(biāo)識(shí)檢測(cè)部135輸出的頭部標(biāo)識(shí)的圖像坐標(biāo)，根據(jù)它測(cè)量在車輛內(nèi)定義的后述的坐標(biāo)系中的搭乘者132的頭部的位置，將其結(jié)果輸出到圖像生成部150。
下面，說(shuō)明作為控制單元的圖像生成部150。圖像生成部150從車輛測(cè)量部120輸入車輛的位置和方位，并且，從頭部測(cè)量部140輸入搭乘者132的頭部的位置，根據(jù)這些信息，進(jìn)行顯示圖像的生成，以使得表示預(yù)定的導(dǎo)航信息的圖像重疊到實(shí)際場(chǎng)景的預(yù)定的位置(在該圖的例中，物體151的前面<搭乘者132一側(cè)的面>)而被觀察，將其輸出到投影儀160。
下面，說(shuō)明作為投影儀160的顯示裝置。投影儀160設(shè)置于前窗131下部，輸入由圖像生成部150輸出的顯示圖像，朝組合器170投影。組合器170設(shè)置于前窗131上。由投影儀160投影的圖像在組合器170上被反射，包含了表示上述導(dǎo)航信息的圖像的圖像可以作為虛像171被搭乘者132觀察到。
圖2示出虛像171的例子。在該圖的例子中，作為導(dǎo)航信息，顯示出箭頭200。該圖的虛像171未在箭頭的圖像200以外的區(qū)域進(jìn)行任何顯示。圖3示出由搭乘者132觀察到的前窗部的狀態(tài)。如該圖所示，搭乘者132可通過(guò)前窗部觀察到外界的物體151，還可觀察到重疊于其上的虛像171，即箭頭的圖像200。
下面，更詳細(xì)地說(shuō)明上述車輛測(cè)量單元、頭部測(cè)量單元、控制單元、顯示裝置。首先，說(shuō)明以下使用的主要變量。
∑坐標(biāo)系。例如∑e表示由e定義的坐標(biāo)系。
x表示x坐標(biāo)的標(biāo)量值。例如e1xe2表示坐標(biāo)系∑e1中的e2的x坐標(biāo)。
y表示y坐標(biāo)的標(biāo)量值。例如e1ye2表示坐標(biāo)系∑e1中的e2的y坐標(biāo)。
z表示z坐標(biāo)的標(biāo)量值。例如e1ze2表示坐標(biāo)系∑e1中的e2的z坐標(biāo)。
r表示位置的3值向量例如e1re2表示坐標(biāo)系∑e1中的e2的位置。
p表示圖像位置的2值向量。例如1pe2表示圖像1中的E2的位置。
R表示姿勢(shì)的3×3矩陣。例如e1Re2表示坐標(biāo)系∑e1中的e2的姿勢(shì)。
φ表示由歐拉角描述的姿勢(shì)的3值向量。
ω表示繞各軸的角速度的3值向量。
b實(shí)際場(chǎng)景。∑b表示實(shí)際場(chǎng)景坐標(biāo)系(世界坐標(biāo)系)。
w車輛10。∑w表示車輛坐標(biāo)系。
u搭乘者132的頭部?！苪表示頭部坐標(biāo)系。
c1外部攝影用攝像機(jī)100。坐標(biāo)系∑c1表示外部攝影用攝像機(jī)坐標(biāo)系。
c2搭乘者攝影用攝像機(jī)130。坐標(biāo)系∑c2表示搭乘者攝影用攝像機(jī)坐標(biāo)系。
d虛像面。坐標(biāo)系∑d表示虛像面坐標(biāo)系。
l攝影圖像。坐標(biāo)系∑l表示圖像坐標(biāo)系(2維)。
g導(dǎo)航信息的重疊對(duì)象物體(例如外界的物體151)。
q作為導(dǎo)航信息顯示的像(例如箭頭200)。
ζ表示方位角(x-y平面內(nèi)的相對(duì)y軸的角度)的標(biāo)量值。bζw表示實(shí)際場(chǎng)景中的車輛的方位角。
x′表示x方向的速度成分的標(biāo)量值。
y′表示y方向的速度成分的標(biāo)量值。
ζ′表示方位角速度的標(biāo)量值。
t時(shí)間。例如rw(t)表示時(shí)間t的車輛的位置。
k表示取樣時(shí)間的整數(shù)。例如tk為第k的處理的時(shí)間。
Δt取樣時(shí)間之間的微小時(shí)間(infinitesimal interval)。即tk+1＝tk+Δt。
m外部標(biāo)識(shí)101。mi表示第i個(gè)檢測(cè)出的外部標(biāo)識(shí)。
M在圖像l1上檢測(cè)到的的外部標(biāo)識(shí)的總數(shù)。
n頭部標(biāo)識(shí)133。ni表示第i個(gè)檢測(cè)出的頭部標(biāo)識(shí)。
N在圖像l2上檢測(cè)到的頭部標(biāo)識(shí)的總數(shù)。
φ′車輪的回轉(zhuǎn)角速度(測(cè)量值)。
v表示車輛的速度的標(biāo)量值。
A從右后輪與左后輪的中間點(diǎn)到兩后輪的距離，已知。
B車輪的直徑，已知。
a1表示外部攝影用攝像機(jī)100的焦點(diǎn)距離的標(biāo)量值。已知。
a2表示搭乘者攝影用攝像機(jī)130的焦點(diǎn)距離的標(biāo)量值。已知。
yk觀測(cè)量向量。
y*k觀測(cè)量向量的估計(jì)值。
xk狀態(tài)量向量。
x*k狀態(tài)量向量的估計(jì)值。
fk(xk)狀態(tài)方程式。
hk(xk)觀測(cè)方程式。
Kk卡爾曼增益。
下面，對(duì)各坐標(biāo)系進(jìn)行如下定義，以此為前提進(jìn)行說(shuō)明。即，成為基準(zhǔn)的實(shí)際場(chǎng)景的坐標(biāo)系∑b使原點(diǎn)bO處于水平面上的適當(dāng)位置，在水平面內(nèi)分別直交的方向?yàn)閎X和bY軸，將水平面的法線方向?yàn)閎Z軸。車輛坐標(biāo)系∑w以車輛上的適當(dāng)?shù)奈恢米髟c(diǎn)wO，坐在駕駛座時(shí)從左朝右的方向?yàn)閣X軸，從后朝前的方向?yàn)閣Y軸，從下朝上的方向?yàn)閣Z軸。
頭部坐標(biāo)系∑u以搭乘者132的雙眼的中點(diǎn)為原點(diǎn)uO，從左眼朝右眼的方向?yàn)閡X軸，連接雙眼的中點(diǎn)與鼻的方向?yàn)閡Y軸，搭乘者132的正面方向?yàn)閡Z軸。外部攝影用攝像機(jī)坐標(biāo)系∑c1和搭乘者攝影用攝像機(jī)坐標(biāo)系∑c2分別以朝光軸的前方為cZ軸，從圖像的左朝右的方向?yàn)閏X軸，從圖像的上朝下方的方向?yàn)閏Y軸。另外，虛像面坐標(biāo)系∑d在投影儀投影的虛像面上取原點(diǎn)dO，從右朝左方向?yàn)閐X軸，從上朝下方向?yàn)閐Y軸，虛像面的法線方向?yàn)閐Z軸。
(車輛測(cè)量單元)圖4是車輛測(cè)量單元進(jìn)行的處理的流程圖。下面，參照該圖說(shuō)明該處理。車輛測(cè)量是根據(jù)擴(kuò)展卡爾曼濾波器的構(gòu)成進(jìn)行的。
下面，將擴(kuò)展卡爾曼濾波器的狀態(tài)量向量xk(6維)定義為排列時(shí)間tk的實(shí)際場(chǎng)景坐標(biāo)系∑b中的車輛的x坐標(biāo)、y坐標(biāo)、方位角及其時(shí)間微分值的向量。
xk＝[bxw(tk)byw(tk)bζw(tk)bx′w(tk)by′w(tk)bζ′w(tk)]T(1)在步驟S400中，車輛測(cè)量部120將時(shí)間tk-1的狀態(tài)量向量xk-1代入到卡爾曼濾波器的狀態(tài)方程式fk(xk)，計(jì)算出時(shí)間tk的狀態(tài)量向量的估計(jì)值x*k。狀態(tài)方程式fk(xk)假定車輛在各取樣期間以等速運(yùn)動(dòng)時(shí)，如下式那樣定義。
xk+1*=fk(xk)=xwb(tk)+x′wb(tk)·Δtywb(tk)+y′wb(tk)·Δtζwb(tk)+ζ′wb(tk)·Δtx′wb(tk)y′wb(tk)ζ′wb(tk)---(2)]]>在步驟S410中，回轉(zhuǎn)速度儀110進(jìn)行右后輪和左后輪的回轉(zhuǎn)速度的測(cè)量。車輛測(cè)量部120將這些信息作為時(shí)間tk的回轉(zhuǎn)角速度 (tk)、 存儲(chǔ)。
在步驟S420中，外部標(biāo)識(shí)檢測(cè)部105檢測(cè)出從外部攝影用攝像機(jī)100輸入的輸入圖像l1上的各外部標(biāo)識(shí)mi的圖像坐標(biāo)l1pmi(i＝1，2，...，M)。在這里，外部標(biāo)識(shí)是存在于外界的各種各樣的物體的特征部位中的、作為要使用的標(biāo)識(shí)而預(yù)先登錄于圖像顯示裝置的部位，例如建筑物的角和廣告牌的文字等。關(guān)于外部標(biāo)識(shí)和外部標(biāo)識(shí)的檢測(cè)處理的詳細(xì)內(nèi)容將在后面說(shuō)明。車輛測(cè)量部120存儲(chǔ)被檢測(cè)的時(shí)間tk的各標(biāo)識(shí)mi的圖像坐標(biāo)l1pmi(tk)。
在步驟S430，車輛測(cè)量部120使用在步驟S410和步驟S420中所輸入的信息，由下式形成擴(kuò)展卡爾曼濾波器的觀測(cè)量向量yk((2M+2)維) 在步驟S440中，車輛測(cè)量部120通過(guò)將狀態(tài)量向量的估計(jì)值x*k代入到由式(4)定義的擴(kuò)展卡爾曼濾波器的觀測(cè)方程式hk(xk)，計(jì)算出時(shí)間tk的觀測(cè)量向量的估計(jì)值y*k。
其中，式(4)中的vk由下式從xk計(jì)算出。
vk＝-sinbζw(tk)bx′w(tk)+cosbζ(tk)by′w(tk) (5)另外，式(4)中的l1p*mi為在輸入圖像上觀測(cè)的各標(biāo)識(shí)mi的圖像坐標(biāo)的估計(jì)值，由下式計(jì)算出。
但，c1xmi、c1ymi、c1zmi是外部攝影用攝像機(jī)坐標(biāo)系∑c1的標(biāo)識(shí)mi的位置，根據(jù)下式從xk計(jì)算出。
在這里，brmi是實(shí)際場(chǎng)景坐標(biāo)系∑b中的標(biāo)識(shí)mi的位置，wrc1、wRc1是車輛坐標(biāo)系∑w的外部攝影用攝像機(jī)100的位置和姿勢(shì)，預(yù)先被測(cè)量。另外，bRw(tk)是實(shí)際場(chǎng)景坐標(biāo)系∑b的車輛的位置，根據(jù)bζw(tk)計(jì)算。另一方面，brw(tk)是實(shí)際場(chǎng)景坐標(biāo)系∑b中的車輛的位置，根據(jù)bxw(tk)和byw(tk)計(jì)算。在本實(shí)施方式中，假定車輛相對(duì)實(shí)際場(chǎng)景坐標(biāo)系∑b的x-y平面的傾斜角(側(cè)滾角和俯仰角)為固定值，預(yù)先作為已知的值存儲(chǔ)。另外，假定實(shí)際場(chǎng)景坐標(biāo)系∑b中的車輛的z坐標(biāo)bzw為固定值，預(yù)先作為已知的值存儲(chǔ)。
在步驟S450中，車輛測(cè)量部120根據(jù)狀態(tài)量向量的估計(jì)值x*k、觀測(cè)量向量的估計(jì)值y*k、觀測(cè)量向量yk按下式進(jìn)行狀態(tài)向量的更新。
xk=xk*+Kk[yk-yk*]---(8)]]>在這里，卡爾曼增益Kk為根據(jù)狀態(tài)方程式fk(xk)、觀測(cè)方程式hk(xk)和狀態(tài)量向量xk-1定義的系數(shù)矩陣(6×(2M+2))。卡爾曼增益的計(jì)算方法例如公開(kāi)于西山清最佳濾波(培風(fēng)館，2001)，所以，在這里省略詳細(xì)的說(shuō)明。
在步驟S460中，車輛測(cè)量單元可從更新后的狀態(tài)量向量xk獲得車輛的位置bxw(tk)、byw(tk)、及方位bζw(tk)，輸出到作為控制單元的圖像生成部150。
在步驟S470中，車輛測(cè)量單元進(jìn)行是否結(jié)束處理的判定。在繼續(xù)處理的場(chǎng)合，將k設(shè)為k+1，再次實(shí)施步驟S400以后的處理。另外，外部標(biāo)識(shí)檢測(cè)部105和車輛測(cè)量部120例如可由1臺(tái)公用計(jì)算機(jī)構(gòu)成。
下面，使用圖5詳細(xì)說(shuō)明回轉(zhuǎn)速度儀110。圖5是表示檢測(cè)右后輪的回轉(zhuǎn)速度的構(gòu)成的圖，對(duì)左后輪也可由同樣的構(gòu)成檢測(cè)回轉(zhuǎn)速度。右后輪500R的回轉(zhuǎn)速度的測(cè)量由旋轉(zhuǎn)編碼器510R和車輪520R進(jìn)行。車輪520R安裝于旋轉(zhuǎn)編碼器510R的回轉(zhuǎn)軸，并且，車輪520R被設(shè)置為與右后輪500R接觸。旋轉(zhuǎn)編碼器510R測(cè)定車輪520R的回轉(zhuǎn)角速度 作為表示右后輪500R的回轉(zhuǎn)速度的信息將其輸出。圖中未示出的左后輪500L的測(cè)量也由相同的構(gòu)成來(lái)實(shí)現(xiàn)，輸出圖中未示出的車輪520L的回轉(zhuǎn)角速度 下面，根據(jù)圖6，詳細(xì)說(shuō)明外部標(biāo)識(shí)檢測(cè)部105的處理。圖6是表示外部標(biāo)識(shí)檢測(cè)部105的基本構(gòu)成的框圖。外部標(biāo)識(shí)檢測(cè)部105由估計(jì)坐標(biāo)計(jì)算部600、標(biāo)識(shí)選擇部610、圖像處理部620構(gòu)成。標(biāo)識(shí)選擇部610由隱蔽判定部630和標(biāo)識(shí)信息保持部640構(gòu)成。
估計(jì)坐標(biāo)計(jì)算部600輸入由車輛測(cè)量部120計(jì)算出的車輛的位置和方位的估計(jì)值，使用式(6)和式(7)，對(duì)所有外部標(biāo)識(shí)計(jì)算出在輸入圖像l1上的圖像坐標(biāo)的估計(jì)值l1p*mi。獲得的估計(jì)值包含于攝像面的范圍的識(shí)別符輸出到隱蔽判定部630。標(biāo)識(shí)信息保持部640對(duì)各標(biāo)識(shí)保持在對(duì)用于檢測(cè)標(biāo)識(shí)的模板圖像進(jìn)行攝影時(shí)的車輛的位置和方位。
隱蔽判定部630對(duì)于從估計(jì)坐標(biāo)計(jì)算部600獲得的估計(jì)值被包含于攝像面的范圍的各標(biāo)識(shí)，進(jìn)行有無(wú)隱蔽的判定。具體地說(shuō)，在由車輛測(cè)量部120計(jì)算出的車輛的位置和方位的估計(jì)值和在對(duì)用于檢測(cè)由標(biāo)識(shí)信息保持部640保持的關(guān)注標(biāo)識(shí)的模板圖像進(jìn)行攝影時(shí)的車輛的位置和方位明顯偏離的場(chǎng)合，判定該關(guān)注標(biāo)識(shí)被隱蔽。由該判定進(jìn)行未隱蔽的判定的標(biāo)識(shí)的識(shí)別符，作為檢測(cè)處理對(duì)象被輸出到圖像處理部620。
另外，模板圖像攝影時(shí)的位置和方位與現(xiàn)在的位置和方位的不同的比較例如可根據(jù)二地點(diǎn)間的距離進(jìn)行，也可根據(jù)方位角的不同進(jìn)行。另外，判定的閾值可使用對(duì)所有標(biāo)識(shí)通用的閾值，也可對(duì)各標(biāo)識(shí)確定不同的閾值。另外，當(dāng)然，即使不以車輛的位置和方位而是以外部攝影用攝像機(jī)100的位置和姿勢(shì)為基準(zhǔn)，也可實(shí)現(xiàn)同樣的功能。
圖像處理部620將由標(biāo)識(shí)選擇部610選擇的標(biāo)識(shí)作為處理對(duì)象，通過(guò)對(duì)使用了預(yù)先登錄的各標(biāo)識(shí)的模板圖像進(jìn)行模板匹配(templatematching)，從圖像l1檢測(cè)標(biāo)識(shí)。此時(shí)，優(yōu)選的是，通過(guò)使用由估計(jì)坐標(biāo)計(jì)算部600計(jì)算出的圖像坐標(biāo)的估計(jì)值l1p*mi來(lái)進(jìn)行搜索范圍的限定。
按照以上的處理順序，測(cè)量實(shí)際場(chǎng)景坐標(biāo)系∑b的車輛的位置bxw、byw和方位bζw。
(頭部測(cè)量單元)圖7為頭部測(cè)量單元進(jìn)行的處理的流程圖。下面，參照該圖說(shuō)明該處理。頭部的測(cè)量也與車輛的測(cè)量同樣地根據(jù)擴(kuò)展卡爾曼濾波器的構(gòu)成進(jìn)行。
下面，將狀態(tài)量向量xk(12維)定義為排列時(shí)間tk的車輛坐標(biāo)系∑w中的搭乘者132頭部的位置wru、姿勢(shì)wφu、速度wr’u、及角速度wωu的向量。
xk=[ruTw(tk)φuTw(tk)r′uTw(tk)ωuTw(tk)]T---(9)]]>在步驟S700中，頭部測(cè)量部140通過(guò)將時(shí)間tk-1的狀態(tài)量向量xk-1代入到狀態(tài)方程式fk(xk)，計(jì)算出時(shí)間tk的狀態(tài)量向量的估計(jì)值x*k。狀態(tài)方程式fk(xk)，當(dāng)假定在各取樣期間各位置和各姿勢(shì)以等速變化時(shí)，可以如下式定義。
xk+1*=fk(xk)=ruw(tk)+r′uw(tk)·Δtφuw(tk)+φ′uw(tk)·Δtr′uw(tk)ωuw(tk)---(12)]]>在這里，φ′為姿勢(shì)φ的時(shí)間微分值，一般知道，可作為姿勢(shì)φ和角速度ω的函數(shù)導(dǎo)出。其詳細(xì)內(nèi)容例如公開(kāi)于Donald B.GenneryVisual tracking of known three-dimensional objects，InternationalJournal of Computer Vision，Vol.7，no.3，pp.243-270，1992，所以，省略其說(shuō)明。
在步驟S710中，頭部標(biāo)識(shí)檢測(cè)部135使用預(yù)先登錄的各頭部標(biāo)識(shí)的模板圖像，檢測(cè)出在從搭乘者攝影用攝像機(jī)130輸入的輸入圖像l2上觀察的各頭部標(biāo)識(shí)ni的圖像坐標(biāo)l2pni(i＝1，2，...，N)。在這里，頭部標(biāo)識(shí)是存在于頭部(臉)的眼、鼻、口等和這些的部分區(qū)域中的作為要使用的標(biāo)識(shí)預(yù)先登錄于圖像顯示裝置的標(biāo)識(shí)。頭部測(cè)量部140將這些信息作為時(shí)間tk的各標(biāo)識(shí)ni的圖像坐標(biāo)l2pni(tk)來(lái)存儲(chǔ)。頭部標(biāo)識(shí)檢測(cè)部135的處理與外部標(biāo)識(shí)檢測(cè)部105的處理相同，所以，省略詳細(xì)說(shuō)明。
在步驟S720中，頭部測(cè)量部140使用在步驟S700輸入的信息，根據(jù)下式生成觀測(cè)量向量yk(2N維)。
在步驟S730中，頭部測(cè)量部140將狀態(tài)量向量的估計(jì)值x*k代入到由式(12)定義的觀測(cè)方程式hk(xk)，從而計(jì)算出時(shí)間tk的觀測(cè)量向量的估計(jì)值y*k。
式中，l2p*ni為在輸入圖像l2上觀測(cè)到的各標(biāo)識(shí)ni的圖像坐標(biāo)的估計(jì)值，由下式計(jì)算出。
但，c2xni、c2yni、c2zni為頭部攝影用攝像機(jī)坐標(biāo)系∑c2的標(biāo)識(shí)ni的位置，由下式根據(jù)狀態(tài)量向量xk計(jì)算出。
其中，urni為頭部坐標(biāo)系∑u中的頭部標(biāo)識(shí)ni的位置，wrc2、wRc2為車輛坐標(biāo)系∑w的搭乘者攝影用攝像機(jī)130的位置和姿勢(shì)，預(yù)先進(jìn)行測(cè)量。另外，wRu(tk)為表示車輛坐標(biāo)系∑w中的搭乘者132的頭部的姿勢(shì)的矩陣，根據(jù)wφu(tk)計(jì)算出。
步驟S740中，頭部測(cè)量部140根據(jù)觀測(cè)量向量yk、狀態(tài)量向量的估計(jì)值x*k、觀測(cè)量向量的估計(jì)值y*k，按照式(8)進(jìn)行狀態(tài)向量的更新?？柭鲆鍷k的計(jì)算方法為公知方法，所以，在這里省略詳細(xì)說(shuō)明。
步驟S750中，頭部測(cè)量單元根據(jù)更新后的狀態(tài)量向量xk獲得頭部的位置wru(tk)，輸出到作為控制單元的圖像生成部150。
在步驟S760中，頭部測(cè)量單元判定是否結(jié)束處理。在繼續(xù)進(jìn)行處理的場(chǎng)合，設(shè)k為k+1，再次實(shí)施步驟S700以后的處理。另外，頭部標(biāo)識(shí)檢測(cè)部135和頭部測(cè)量部140例如可由1臺(tái)公用計(jì)算機(jī)構(gòu)成。按照以上的處理順序，測(cè)量車輛坐標(biāo)系∑w的搭乘者132的頭部的位置wru。
(控制單元)圖8是由作為控制單元的圖像生成部150進(jìn)行的處理的流程圖。下面，參照該圖說(shuō)明該處理。在步驟S800中，圖像生成部150輸入由車輛測(cè)量單元測(cè)量的實(shí)際場(chǎng)景坐標(biāo)系∑b的車輛的位置bxw、byw及方位bζw，變換成位置向量brw和姿勢(shì)矩陣bRw。
在步驟S810中，圖像生成部150輸入由頭部測(cè)量單元測(cè)量的車輛坐標(biāo)系∑w中的搭乘者132的頭部的位置wru。
在步驟S820中，圖像生成部150根據(jù)下式計(jì)算出虛像面坐標(biāo)系∑d的重疊對(duì)象物體151的位置drg。
rgd=Rd-1w{Rw-1b(rgb-rwb)-rdw}---(15)]]>其中，brg為實(shí)際場(chǎng)景坐標(biāo)系∑b的重疊對(duì)象物體151的位置，wrd、wRd為車輛坐標(biāo)系∑w中的虛像面的位置和姿勢(shì)，預(yù)先進(jìn)行了測(cè)量。
在步驟S830中，圖像生成部150按下式計(jì)算虛像面坐標(biāo)系∑d的搭乘者132的頭部的位置dru。
rud=Rd-1w(ruw-rdw)---(16)]]>在步驟S840中，圖像生成部150根據(jù)下式計(jì)算出虛像面坐標(biāo)系∑d中的表示導(dǎo)航信息(箭頭200)的圖像的顯示位置drq。
rqd=zudzud-zgd·rgd-zgdzud-zgd·rud---(17)]]>在步驟S850中，圖像生成部150生成顯示圖像，以使得將表示導(dǎo)航信息(箭頭200)的圖像顯示到虛像面上的位置drq，將該顯示圖像輸出到作為顯示裝置的投影儀160。
在步驟S860中，投影儀160將生成的顯示圖像朝組合器170投影。
在步驟S870中，作為控制單元的圖像生成部150判斷是否結(jié)束處理。在繼續(xù)處理的場(chǎng)合，設(shè)k為k+1，再次實(shí)施步驟S800以后的處理。圖像生成部150例如可由1臺(tái)公用計(jì)算機(jī)構(gòu)成。
按照以上的處理順序，可以實(shí)現(xiàn)這樣的顯示，即表示導(dǎo)航信息(箭頭200)的圖像重疊到重疊對(duì)象物體151上而被觀察。
另外，在本實(shí)施方式中，為了求出車輛的位置、方位，直接測(cè)量作為重疊對(duì)象的外界的物體與車輛的相對(duì)位置關(guān)系，而不測(cè)量使用了GPS的數(shù)據(jù)，所以，與GPS相比，能夠以更高的精度求出車輛的位置、方位。
另外，在本實(shí)施方式中，表示導(dǎo)航信息的圖像不僅被顯示到與車輛的位置姿勢(shì)對(duì)應(yīng)的位置，而且被顯示到與搭乘者的頭部位置對(duì)應(yīng)的(前窗部的)位置，所以，即使搭乘者的頭部朝前后左右移動(dòng)，也可以總是向搭乘者在適當(dāng)?shù)奈恢锰崾颈硎緦?dǎo)航信息的圖像。
(第2實(shí)施方式)在上述實(shí)施方式中，在車輛測(cè)量部120中，根據(jù)式(2)定義狀態(tài)方程式fk(xk)。式(2)為基于車輛可朝前后左右自由移動(dòng)的模型的狀態(tài)方程式，為此，存在由此獲得的車輛的位置的估計(jì)值與實(shí)際差別較大的場(chǎng)合。在本實(shí)施方式中，車身導(dǎo)入基于不橫向滑動(dòng)這樣的假定的非完全約束，替換成式(2)，設(shè)定如下式那樣的經(jīng)改良的狀態(tài)方程式fk(xk)。
fk(xk)=xwb(tk)+x′wb(tk)·Δtywb(tk)+y′wb(tk)·Δtζwb(tk)+ζ′wb(tk)·Δtx′wb(tk)-vk·ζ′wb(tk)·Δt·cosζwb(tk)y′wb(tk)-vk·ζ′wb(tk)·Δt·sinζwb(tk)ζ′wb(tk)T---(18)]]>
另外，上述式子僅是在狀態(tài)量向量的估計(jì)中考慮非完全約束，狀態(tài)量向量的維本身不退化。因此，可通過(guò)導(dǎo)入適當(dāng)?shù)南到y(tǒng)噪聲特性而考慮使車身稍微地進(jìn)行橫向滑動(dòng)。因此，按照本實(shí)施方式的上述方法，與下述場(chǎng)合、即以完全的非完全約束為前提對(duì)狀態(tài)方程式進(jìn)行定式化的場(chǎng)合、如上述那樣完全不考慮非完全約束而將狀態(tài)方程式定式化的場(chǎng)合相比，都可以更正確地進(jìn)行車輛的位置和方位的估計(jì)。結(jié)果，可提高車輛測(cè)量部120的車輛位置和方位的測(cè)量精度。
(第3實(shí)施方式)上述實(shí)施方式的回轉(zhuǎn)速度儀110，使用旋轉(zhuǎn)式編碼器測(cè)量了車輪的回轉(zhuǎn)速度，但回轉(zhuǎn)速度儀110的構(gòu)成不限于此，如果測(cè)量車輪的回轉(zhuǎn)速度的目的相同，則也可由其它的構(gòu)成實(shí)現(xiàn)。例如，作為回轉(zhuǎn)速度儀110，也可按車輛的姿勢(shì)控制等目的，使用安裝于兩后輪的脈沖傳感器。在本實(shí)施方式中，作為式(4)中的B的值，使用后輪500的直徑即可，而不是車輪520。
另外，通過(guò)以普通的汽車導(dǎo)航系統(tǒng)的慣性航法所采用的車速傳感器和陀螺傳感器來(lái)構(gòu)成回轉(zhuǎn)速度儀110，也可以獲得同樣的效果。假設(shè)由車速傳感器測(cè)量的車速為μ，由陀螺傳感器測(cè)量的車輛的方位角速度為ξ′，則在該場(chǎng)合下，回轉(zhuǎn)速度儀110根據(jù)測(cè)量的μ和ξ′，按下式導(dǎo)出兩后輪的回轉(zhuǎn)速度 和 將其輸出到車輛測(cè)量部120。
ψ′R=2B(μ+Aξ′),ψ′L=2B(μ-Aξ′)---(19)]]>(第4實(shí)施方式)在上述實(shí)施方式中，為了求出兩車輪的回轉(zhuǎn)速度而使用了回轉(zhuǎn)速度儀110，但利用與由其它傳感器測(cè)量獲得的車輛的速度相關(guān)的數(shù)據(jù)，也可以獲得同樣的效果。例如，取代回轉(zhuǎn)速度儀110，可以具有基于在一般的汽車導(dǎo)航系統(tǒng)的慣性航法中所采用的驅(qū)動(dòng)軸的回轉(zhuǎn)脈沖測(cè)量等的車速傳感器和陀螺傳感器。此外，也可以根據(jù)發(fā)動(dòng)機(jī)轉(zhuǎn)速和現(xiàn)在選擇的變速器的齒輪比來(lái)出。在該場(chǎng)合下，車輛測(cè)量部120輸入由外部標(biāo)識(shí)檢測(cè)部105檢測(cè)出的外部標(biāo)識(shí)的圖像坐標(biāo)l1pmi(tk)、由車速傳感器測(cè)量的車速μ(tk)和由陀螺傳感器測(cè)量的車輛的方位角速度ξ′(tk)，根據(jù)這些輸入數(shù)據(jù)，測(cè)量車輛的位置和方位。在該場(chǎng)合中，通過(guò)對(duì)觀測(cè)向量yk和觀測(cè)方程式hk(xk)進(jìn)行下式所述的定義，可以按找與上述實(shí)施方式相同的順序來(lái)測(cè)量車輛的位置和方位。
其中，vk為車輛的速度的估計(jì)值，由式(5)從狀態(tài)量向量xk計(jì)算出。
(第5實(shí)施方式)另外，也可僅由外部攝影用攝像機(jī)100、外部標(biāo)識(shí)檢測(cè)部105、及車輛測(cè)量部120構(gòu)成上述車輛測(cè)量單元。即，在車輛測(cè)量部120中，根據(jù)從外部標(biāo)識(shí)檢測(cè)部105輸入的外部標(biāo)識(shí)的圖像坐標(biāo)l1pmi(tk)，進(jìn)行車輛的位置和方位的測(cè)量。在該場(chǎng)合下，對(duì)觀測(cè)向量yk和觀測(cè)方程式hk(xk)進(jìn)行下式所述的定義，可以按照與上述實(shí)施方式相同的順序來(lái)測(cè)量車輛的位置和方位。
(第6實(shí)施方式)上述實(shí)施方式的車輛測(cè)量單元具有的外部攝影用攝像機(jī)100為1臺(tái)，但也可具有多臺(tái)外部攝影用攝像機(jī)100。在該場(chǎng)合中，優(yōu)選的是，外部標(biāo)識(shí)檢測(cè)部105具有與外部攝影用攝像機(jī)100對(duì)應(yīng)的數(shù)量。在該場(chǎng)合中，車輛測(cè)量部120分別輸入由多個(gè)外部標(biāo)識(shí)檢測(cè)部105檢測(cè)出的外部標(biāo)識(shí)的圖像坐標(biāo)，據(jù)此來(lái)定義觀測(cè)向量yk和觀測(cè)方程式hk(xk)。在觀測(cè)方程式的導(dǎo)出過(guò)程中使用的wRc1、wrc1、及a1的各參數(shù)采用與各個(gè)被輸入的圖像坐標(biāo)對(duì)應(yīng)的外部攝影用攝像機(jī)100所固有的值，除此以外，可以按照與上述實(shí)施方式相同的順序求出車輛的位置和姿勢(shì)。這樣，可穩(wěn)定地檢測(cè)出更多的標(biāo)識(shí)坐標(biāo)，所以，可提高車輛的位置和方位的測(cè)量精度。
在上述實(shí)施方式中，外部攝影用攝像機(jī)100朝車輛的前方設(shè)置于車輛的罩部，但如果是可以到觀測(cè)實(shí)際場(chǎng)景中的外部標(biāo)識(shí)的位置和方向，則外部攝影用攝像機(jī)100的設(shè)置位置當(dāng)然不限于此。即，也可朝車輛的后方或側(cè)方，也可以設(shè)置到車輛的擋泥板部和車頂部等。
另外，頭部測(cè)量單元也同樣，可采用具有多個(gè)頭部攝影用攝像機(jī)130的構(gòu)成，由此可獲得提高頭部位置的測(cè)量精度的效果。另外，頭部攝影用攝像機(jī)130的設(shè)置位置，如果是可以觀測(cè)到頭部標(biāo)識(shí)的位置，則可為任何位置。
(第7實(shí)施方式)上述實(shí)施方式的頭部測(cè)量單元，總是進(jìn)行搭乘者132的頭部的位置測(cè)量，但也不一定非要連續(xù)地進(jìn)行頭部的位置測(cè)量。即，頭部測(cè)量單元僅在預(yù)定的時(shí)間進(jìn)行頭部的位置測(cè)量，將測(cè)量的頭部位置輸出到控制單元?？刂茊卧３肿詈髲念^部測(cè)量單元輸入的頭部位置，使用頭部位置生成圖像。在這里，預(yù)定的時(shí)間可以是起動(dòng)圖像顯示裝置的時(shí)間，或者，作為還具有檢測(cè)搭乘者132搭乘的時(shí)間或開(kāi)始運(yùn)行的時(shí)間的單元的構(gòu)成，也可使用檢測(cè)時(shí)間。另外，作為還具有輸入來(lái)自搭乘者的指示的單元的構(gòu)成，也可在搭乘者發(fā)出指示時(shí)進(jìn)行頭部測(cè)量處理。
(第8實(shí)施方式)在上述實(shí)施方式中，標(biāo)識(shí)選擇部610根據(jù)由車輛測(cè)量部120計(jì)算出的車輛的位置和方位的估計(jì)值、以及在對(duì)標(biāo)識(shí)的模板圖像進(jìn)行攝影時(shí)的車輛的位置和方位來(lái)進(jìn)行隱蔽判定，但也可由此外的構(gòu)成來(lái)進(jìn)行隱蔽判定。
例如，也可在標(biāo)識(shí)信息保持部640保持關(guān)于標(biāo)識(shí)的方向的信息，根據(jù)標(biāo)識(shí)的方向和外部攝影用攝像機(jī)100的姿勢(shì)來(lái)判定標(biāo)識(shí)的隱蔽。
例如，標(biāo)識(shí)信息保持部640對(duì)各標(biāo)識(shí)把表示標(biāo)識(shí)mi的法線方向的法線向量ηmi作為關(guān)于標(biāo)識(shí)的方向的信息而予以保持，隱蔽判定部630根據(jù)在時(shí)間tk-1之前計(jì)算出的車輛的姿勢(shì)來(lái)計(jì)算外部攝影用攝像機(jī)100的姿勢(shì)，在-c1Z軸與法線向量ηmi所成的角等于或超過(guò)預(yù)定的閾值時(shí)，該標(biāo)識(shí)也可被判定為隱蔽的標(biāo)識(shí)。另外，關(guān)于閾值，可使用對(duì)所有標(biāo)識(shí)通用的閾值，也可為對(duì)各標(biāo)識(shí)不同的閾值。
按照該方法，能簡(jiǎn)單地判定被配置于壁的內(nèi)側(cè)的標(biāo)識(shí)等明顯可能被隱蔽的標(biāo)識(shí)。作為關(guān)于標(biāo)識(shí)的方向的信息，也可使用其它信息。
(第9實(shí)施方式)標(biāo)識(shí)選擇部610還具有保持實(shí)際場(chǎng)景的物體的形狀模型的形狀模型保持單元；另外，標(biāo)識(shí)信息保持部640對(duì)各標(biāo)識(shí)保持標(biāo)識(shí)mi的位置brmi；隱蔽判定部630也可以進(jìn)行這樣的隱蔽判定即根據(jù)在時(shí)間tk-1之前計(jì)算出的車輛的姿勢(shì)而計(jì)算出外部攝影用攝像機(jī)100的位置和姿勢(shì)，據(jù)此，從形狀模型保持單元保持的實(shí)際場(chǎng)景的物體的形狀模型和標(biāo)識(shí)信息保持部640保持的標(biāo)識(shí)mi的位置brmi，進(jìn)行實(shí)際場(chǎng)景的標(biāo)識(shí)以外的物體和各標(biāo)識(shí)的前后判定，從而判定標(biāo)識(shí)是否被隱蔽。
(第10實(shí)施方式)標(biāo)識(shí)選擇部610也可并用上述任一隱蔽判定單元。另外，不一定非要具有標(biāo)識(shí)選擇部610，也可對(duì)由估計(jì)坐標(biāo)計(jì)算部600判斷為被包含在攝像面的范圍內(nèi)的所有標(biāo)識(shí)，進(jìn)行圖像處理部620的檢測(cè)處理。
(第11實(shí)施方式)在本實(shí)施方式中，標(biāo)識(shí)選擇部610還具有優(yōu)先級(jí)判定部，該優(yōu)先級(jí)判定部根據(jù)在車輛測(cè)量部120進(jìn)行車輛的位置和方位的測(cè)量的處理，僅選擇有效的標(biāo)識(shí)。優(yōu)先級(jí)判定部輸入由隱蔽判定部630輸出的標(biāo)識(shí)的識(shí)別符，在從隱蔽判定部630輸入的標(biāo)識(shí)的總數(shù)(NA)超過(guò)圖像處理部620可同時(shí)檢測(cè)的標(biāo)識(shí)的總數(shù)(NB)(即NA＞NB)時(shí)，從NA個(gè)標(biāo)識(shí)選擇NB個(gè)，將其識(shí)別符輸出到圖像處理部620。
選擇是這樣進(jìn)行的，即例如，相對(duì)于從NA個(gè)標(biāo)識(shí)中選擇NB個(gè)標(biāo)識(shí)的各個(gè)組合，生成以xk對(duì)觀測(cè)方程式hk(xk)進(jìn)行偏微分后的雅可比矩陣(這一般稱為圖像雅可比行列式)，選擇其奇異值分解的結(jié)果而得到的條件數(shù)最接近1的組合。此時(shí)，通過(guò)設(shè)置使在時(shí)間tk-1的處理中由圖像處理部620檢測(cè)出的標(biāo)識(shí)中的最低NC個(gè)(NC＜NB)進(jìn)入到組合中這樣的限制，由此可獲得這樣的效果，即因組合數(shù)減少而計(jì)算量減輕、除去位置對(duì)齊的不連續(xù)性。
(第12實(shí)施方式)車輛測(cè)量單元還具有GPS接收單元，將車輛的大體位置和方位的信息供給車輛測(cè)量部120。這樣，車輛測(cè)量部120，將由GPS接收單元供給的大體位置和方向用做諸如狀態(tài)量向量xi的初期值，或用作所有標(biāo)識(shí)都未由外部標(biāo)識(shí)檢測(cè)部105檢測(cè)到的場(chǎng)合的備份。
(第13實(shí)施方式)在上述實(shí)施方式中，車輛測(cè)量部120由狀態(tài)方程式fk(xk-1)計(jì)算出時(shí)間tk的狀態(tài)量向量的估計(jì)值x*k。在本實(shí)施方式中，在車輛測(cè)量單元中，還具有測(cè)量車輛的回轉(zhuǎn)和平移運(yùn)動(dòng)的加速度的加速度儀，車輛測(cè)量部120根據(jù)由加速度儀測(cè)量的車輛的回轉(zhuǎn)和平移運(yùn)動(dòng)的加速度與fk(xk-1)，計(jì)算出狀態(tài)量向量的估計(jì)值x*k。另外，關(guān)于測(cè)量物體的回轉(zhuǎn)和平移運(yùn)動(dòng)的加速的加速度儀的構(gòu)成方法和將物體的回轉(zhuǎn)和平移運(yùn)動(dòng)的加速度的測(cè)量值用作表示位置姿勢(shì)和其時(shí)間微分成分的狀態(tài)量向量的估計(jì)的方法，例如，在橫小路泰義、菅原嘉彥、吉川恒夫“圖像與在使用加速度儀的HMD上的映像的正確的重疊”，日本虛擬現(xiàn)實(shí)學(xué)會(huì)論文集，vol.4，no.4，pp589-598，1999.中進(jìn)行了說(shuō)明，所以，省略詳細(xì)說(shuō)明。
這樣，特別是在車輛狀態(tài)急劇變化的那樣的狀況下的估計(jì)值x*k的精度提高。即使在這樣的狀況下，也可獲得能夠正確顯示導(dǎo)航信息的效果。另外，關(guān)于頭部測(cè)量單元，可以采取具有對(duì)搭乘者132的頭部回轉(zhuǎn)和平移運(yùn)動(dòng)的加速度進(jìn)行測(cè)量的加速度儀的構(gòu)成，在頭部測(cè)量中也可獲得同樣的效果。
(第14實(shí)施方式)在上述實(shí)施方式中，假定實(shí)際場(chǎng)景坐標(biāo)系∑b的車輛的z坐標(biāo)bzw為固定值。然而，在本實(shí)施方式中，測(cè)量bzw，動(dòng)態(tài)地對(duì)其進(jìn)行設(shè)定，由此實(shí)現(xiàn)在車輛的高度發(fā)生變化時(shí)的正確的信息顯示。bzw的值，例如可使用由GPS接收到的高度信息進(jìn)行設(shè)定。同樣，在上述實(shí)施方式中，假定車輛的傾斜角(傾側(cè)角和俯仰角)一定。在本實(shí)施方式中，通過(guò)測(cè)量車輛的傾斜角并動(dòng)態(tài)地對(duì)其進(jìn)行設(shè)定，可實(shí)現(xiàn)在車輛的傾斜角發(fā)生變化時(shí)的正確的信息顯示。傾斜角的測(cè)量，例如可以使用安裝于車輛上的傾斜儀來(lái)進(jìn)行。
(第15實(shí)施方式)在上述實(shí)施方式中，由投影儀160和組合器170進(jìn)行在前窗上的圖像顯示，但不限于此，也可使用其它的任一HUD。例如，通過(guò)使用其中采用了公知的全息攝影的HUD，可期望使虛像在對(duì)象物體附近成像。
(第16實(shí)施方式)在上述實(shí)施方式中，作為圖像顯示裝置的一部分，構(gòu)成了車輛測(cè)量單元，但不限于此。可以將上述車輛測(cè)量單元用于測(cè)量車輛的位置和/或方位的用途之外的其它任何一種用途。
(第17實(shí)施方式)在上述各實(shí)施方式中說(shuō)明的標(biāo)識(shí)選擇部610，既可以用于在圖像上未被隱蔽的標(biāo)識(shí)的選擇，也可以用于上述使用目的以外的其他目的。特別是，根據(jù)由復(fù)合現(xiàn)實(shí)感提示裝置中的安裝有HMD的攝像機(jī)進(jìn)行攝影的圖像，對(duì)該攝像機(jī)的或安裝有HMD的人的視點(diǎn)的位置和姿勢(shì)進(jìn)行測(cè)量，對(duì)于這樣的使用目的來(lái)說(shuō)，將標(biāo)識(shí)選擇部610適用于該標(biāo)識(shí)檢測(cè)的過(guò)程是比較有效的。另外，當(dāng)然，標(biāo)識(shí)也可以不是由上述實(shí)施方式所述的模板匹配(template matching)所檢測(cè)出的紋理那樣的標(biāo)識(shí)，即使是諸如具有特定的顏色和形狀的標(biāo)記的用以確定在圖像上的位置的任何一種標(biāo)識(shí)，也可以使用標(biāo)識(shí)選擇部610。另外，在對(duì)成為在圖像上被檢測(cè)到的標(biāo)識(shí)的候選的圖像的特征進(jìn)行識(shí)別處理時(shí)，即使是在從現(xiàn)實(shí)空間中的標(biāo)識(shí)中選擇要對(duì)應(yīng)的標(biāo)識(shí)或者其候選的處理中，標(biāo)識(shí)選擇部610也是會(huì)發(fā)揮效果的。
(第18實(shí)施方式)本實(shí)施方式以后的實(shí)施方式，涉及進(jìn)一步提高上述實(shí)施方式的位置姿勢(shì)測(cè)量的測(cè)量精度的技術(shù)。
圖10是表示包含本實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。該系統(tǒng)大體分成對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像機(jī)5101、攝像機(jī)5101的位置姿勢(shì)進(jìn)行測(cè)量的3維位置姿勢(shì)傳感器5102、作為本實(shí)施方式的信息處理裝置而發(fā)揮作用的計(jì)算機(jī)5150。
在本實(shí)施方式的系統(tǒng)中，在由攝像機(jī)5101對(duì)包含被配置(該“配置”在這里包括有意地配置的場(chǎng)合、作為自然特征在的非有意配置的場(chǎng)合)于現(xiàn)實(shí)空間的標(biāo)識(shí)的現(xiàn)實(shí)空間的圖像進(jìn)行攝像時(shí)，在從攝像圖像檢測(cè)出的標(biāo)識(shí)的坐標(biāo)位置和標(biāo)識(shí)根據(jù)攝像機(jī)5101的位置姿勢(shì)而位于攝像圖像上的坐標(biāo)位置上，使相同標(biāo)識(shí)的坐標(biāo)位置相關(guān)，從而進(jìn)行識(shí)別從攝像圖像檢測(cè)出的標(biāo)識(shí)和被配置于現(xiàn)實(shí)空間的標(biāo)識(shí)中的哪一個(gè)對(duì)應(yīng)的處理。
下面，詳細(xì)說(shuō)明構(gòu)成圖10所示系統(tǒng)的各個(gè)部分。
在攝像機(jī)5101上，安裝3維位置姿勢(shì)傳感器5102，其安裝位置是固定的。3維位置姿勢(shì)傳感器5102測(cè)量攝像機(jī)5101的3維位置姿勢(shì)(位置、姿勢(shì)都為3自由度)，但測(cè)量的最終為傳感器坐標(biāo)系的攝像機(jī)5101的位置姿勢(shì)。在這里，例如在3維位置姿勢(shì)傳感器5102為磁傳感器時(shí)，傳感器坐標(biāo)系是以發(fā)生其磁力的振蕩器的位置為原點(diǎn)、將分別以通過(guò)該原點(diǎn)并相互直交的3軸為x、y、z軸的坐標(biāo)系。因此，將表示由3維位置姿勢(shì)傳感器5102測(cè)量的傳感器坐標(biāo)系的攝像機(jī)5101的位置姿勢(shì)的數(shù)據(jù)和由攝像機(jī)5101攝像的現(xiàn)實(shí)空間的圖像數(shù)據(jù)一起輸入到后述的計(jì)算機(jī)5150。
下面，說(shuō)明構(gòu)成計(jì)算機(jī)5150的各個(gè)部分。位置姿勢(shì)測(cè)量部5103進(jìn)行這樣的處理，即驅(qū)動(dòng)、控制3維位置姿勢(shì)傳感器5102，使3維位置姿勢(shì)傳感器5102對(duì)攝像機(jī)5101的傳感器坐標(biāo)系的位置姿勢(shì)進(jìn)行測(cè)量，將其測(cè)量結(jié)果(位置姿勢(shì)值)的數(shù)據(jù)輸出到后級(jí)的標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105。
在標(biāo)識(shí)信息數(shù)據(jù)保持部5104中，預(yù)先保存現(xiàn)實(shí)空間的各標(biāo)識(shí)的世界坐標(biāo)系的坐標(biāo)位置的數(shù)據(jù)。標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105進(jìn)行這樣的處理，即根據(jù)表示由3維位置姿勢(shì)傳感器5102測(cè)量的傳感器坐標(biāo)系中的攝像機(jī)5101的位置姿勢(shì)的數(shù)據(jù)，進(jìn)行后述的變換處理，將各標(biāo)識(shí)的世界坐標(biāo)系的坐標(biāo)位置投影到由攝像機(jī)5101攝像的圖像(攝像圖像)上，求出攝像圖像上的各標(biāo)識(shí)的坐標(biāo)值。
標(biāo)識(shí)檢測(cè)部5106進(jìn)行這樣的處理，即從由攝像機(jī)101攝像、并被輸入的攝像圖像中，檢測(cè)被包含在該攝像圖像中的標(biāo)識(shí)，求出攝像圖像的坐標(biāo)位置。求出的坐標(biāo)位置的數(shù)據(jù)被輸出到后段的標(biāo)識(shí)識(shí)別部5107。
標(biāo)識(shí)識(shí)別部5107，使用從標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105輸出的“被投影到攝像圖像上的各標(biāo)識(shí)的坐標(biāo)位置”、從標(biāo)識(shí)檢測(cè)部5106輸出的“從攝像圖像檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置”、由標(biāo)識(shí)信息數(shù)據(jù)保持部5104保持的“各標(biāo)識(shí)的法線向量”(詳細(xì)內(nèi)容在后面說(shuō)明)、從攝像機(jī)5101的世界坐標(biāo)系的姿勢(shì)獲得的“攝像機(jī)5101的視軸向量”(詳細(xì)內(nèi)容在后面說(shuō)明)，求出從攝像圖像檢測(cè)出的標(biāo)識(shí)與實(shí)際配置的標(biāo)識(shí)中的哪個(gè)標(biāo)識(shí)對(duì)應(yīng)。
在這里，“各標(biāo)識(shí)的法線向量”是各標(biāo)識(shí)所處的面(雖也存在曲面的場(chǎng)合，在該場(chǎng)合為切面的法線向量)的法線向量。因此，標(biāo)識(shí)信息數(shù)據(jù)保持部5104對(duì)各標(biāo)識(shí)將世界坐標(biāo)系的坐標(biāo)位置的數(shù)據(jù)和表示法線向量的成分的數(shù)據(jù)成組地保存。在這里，法線向量的成分的表現(xiàn)方法沒(méi)有特別限定，但可將法線向量作為單位向量，以x軸方向成分、y軸方向成分、z軸方向成分表現(xiàn)，也可使用極坐標(biāo)系的表現(xiàn)方法。
圖22是表示計(jì)算機(jī)5150的基本構(gòu)成的框圖。標(biāo)號(hào)51301為CPU，使用被存儲(chǔ)于RAM51302或ROM51303的程序和數(shù)據(jù)，進(jìn)行計(jì)算機(jī)5150的全體控制，同時(shí)，進(jìn)行后述的本實(shí)施方式的標(biāo)識(shí)識(shí)別處理。
標(biāo)號(hào)51302為RAM，具有存儲(chǔ)從外部存儲(chǔ)裝置51307和存儲(chǔ)介質(zhì)驅(qū)動(dòng)器51308裝入的程序和數(shù)據(jù)的區(qū)域，同時(shí)，還具有由CPU51301進(jìn)行各處理而使用的工作區(qū)域。
標(biāo)號(hào)51303為ROM，在這里存儲(chǔ)引導(dǎo)程序等。
標(biāo)號(hào)51304、51305分別為鍵盤(pán)、鼠標(biāo)，用于將各指示輸入到CPU51301。
標(biāo)號(hào)51306為顯示部，由CRT和液晶畫(huà)面等構(gòu)成，用于顯示圖像和文字這樣的信息。
標(biāo)號(hào)51307為外部存儲(chǔ)裝置，是作為硬盤(pán)驅(qū)動(dòng)器等的大容量信息存儲(chǔ)裝置而起作用的裝置，可在這里保存使CPU51301執(zhí)行OS或本實(shí)施方式的標(biāo)識(shí)識(shí)別處理的程序和數(shù)據(jù)等。另外，這些程序和數(shù)據(jù)經(jīng)由CPU51301的控制，根據(jù)需要被讀出到RAM51302。
標(biāo)號(hào)51308為存儲(chǔ)介質(zhì)驅(qū)動(dòng)器，進(jìn)行將存儲(chǔ)于CD-ROM和DVD-ROM等的程序和數(shù)據(jù)讀出到外部存儲(chǔ)裝置51307和RAM51302的處理。另外，在存儲(chǔ)介質(zhì)為CD-R或DVD-RAM等可寫(xiě)入的存儲(chǔ)介質(zhì)的場(chǎng)合，還進(jìn)行將信息寫(xiě)入到其中的處理。
標(biāo)號(hào)51309為接口(I/F)，用于將圖10所示的攝像機(jī)5101、3維位置姿勢(shì)傳感器5102連接到計(jì)算機(jī)5150，由攝像機(jī)5101攝像的圖像、由3維位置姿勢(shì)傳感器5102測(cè)量的攝像機(jī)5101在傳感器坐標(biāo)系中的位置姿勢(shì)的數(shù)據(jù)通過(guò)該接口51309被輸入到RAM51302。
標(biāo)號(hào)51310為連接上述各部的總線。
下面，對(duì)本實(shí)施方式的標(biāo)識(shí)識(shí)別處理，使用表示該處理的流程圖的圖13進(jìn)行說(shuō)明。另外，按照該圖的流程的程序被存儲(chǔ)于外部存儲(chǔ)裝置51307和存儲(chǔ)介質(zhì)，經(jīng)由CPU51301的控制而被讀出到RAM51302(在被存儲(chǔ)于存儲(chǔ)介質(zhì)時(shí)，控制存儲(chǔ)介質(zhì)驅(qū)動(dòng)器51308，從該存儲(chǔ)介質(zhì)讀出)，由CPU51301對(duì)其進(jìn)行實(shí)施，從而由本實(shí)施方式的信息處理裝置實(shí)施后述的處理。因此，在以下說(shuō)明中出現(xiàn)的位置姿勢(shì)測(cè)量部5103、標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105、標(biāo)識(shí)檢測(cè)部5106、標(biāo)識(shí)識(shí)別部5107，在本實(shí)施方式中分別通過(guò)程序來(lái)實(shí)現(xiàn)，但當(dāng)然也可經(jīng)由硬件來(lái)實(shí)現(xiàn)。
在步驟S5401中，控制3維位置姿勢(shì)傳感器5102，使其測(cè)量攝像機(jī)5101的傳感器坐標(biāo)系的位置姿勢(shì)，將該測(cè)量結(jié)果的數(shù)據(jù)作為信號(hào)輸入到標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105。然后，在步驟S5402中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105使用由步驟S5401獲得的攝像機(jī)5101在傳感器坐標(biāo)系中的位置姿勢(shì)的數(shù)據(jù)，求出取景變換矩陣。
取景變換為下述，即以攝像機(jī)5101的視點(diǎn)位置為原點(diǎn)、攝像面為x-y平面、視軸為朝z軸負(fù)向的向量的3維坐標(biāo)系作為攝像機(jī)坐標(biāo)系，以現(xiàn)實(shí)空間中的1點(diǎn)為原點(diǎn)、從該原點(diǎn)相互直交的3個(gè)軸為x軸、y軸、z軸的坐標(biāo)系為世界坐標(biāo)系，在該條件下，進(jìn)行該2個(gè)坐標(biāo)系間的坐標(biāo)變換。因此，取景變換矩陣是用于進(jìn)行該2個(gè)坐標(biāo)系間的坐標(biāo)變換的矩陣。所以，如果事先求出該取景變換矩陣，則可以將處于世界坐標(biāo)系上的坐標(biāo)值變換成攝像機(jī)坐標(biāo)系的坐標(biāo)值。另外，換言之，該取景變換矩陣表示世界坐標(biāo)系中的攝像機(jī)5101的位置姿勢(shì)。在這里，傳感器坐標(biāo)系處于固定在世界坐標(biāo)系中的關(guān)系，所以，可以比較容易地從傳感器坐標(biāo)系上的位置姿勢(shì)求出世界坐標(biāo)系上的位置姿勢(shì)。為此，可以從在傳感器坐標(biāo)系獲得的攝像機(jī)的位置姿勢(shì)生成取景變換矩陣。
然后，在步驟S5403中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105利用在步驟S5402中求出的取景變換矩陣，將被預(yù)先保持于標(biāo)識(shí)信息數(shù)據(jù)保持部5104的世界坐標(biāo)系的各標(biāo)識(shí)的位置變換為在攝像機(jī)坐標(biāo)系中的位置。并且，通過(guò)進(jìn)行攝像機(jī)的透視投影變換計(jì)算來(lái)計(jì)算在攝像圖像面的投影坐標(biāo)。即，在步驟S5403中，根據(jù)標(biāo)識(shí)在世界坐標(biāo)系中的位置和基于求出的取景變換矩陣的攝像機(jī)5101的位置姿勢(shì)的關(guān)系，求出各標(biāo)識(shí)位于攝像圖像上的坐標(biāo)位置。
另外，攝像機(jī)的透視投影變換是根據(jù)攝像機(jī)5101的焦點(diǎn)距離和主點(diǎn)(投影中心)位置被唯一地確定，該攝像機(jī)5101的焦點(diǎn)距離和主點(diǎn)(投影中心)位置被預(yù)先測(cè)定，作為數(shù)據(jù)而存儲(chǔ)于外部存儲(chǔ)裝置51307和存儲(chǔ)介質(zhì)，根據(jù)需要被讀出到RAM51302。
如上所述，將標(biāo)識(shí)投影到攝像圖像上而求出投影后的坐標(biāo)位置的處理是公知技術(shù)，所以，省略進(jìn)一步的詳細(xì)說(shuō)明。
并且，在步驟S5404中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105根據(jù)從位置姿勢(shì)測(cè)量部5103獲得的攝像機(jī)5101的姿勢(shì)測(cè)量值，計(jì)算出攝像機(jī)5101的視軸向量。攝像機(jī)5101的視軸向量為攝像機(jī)坐標(biāo)系的Z軸負(fù)方向，換言之，世界坐標(biāo)系中的攝像機(jī)5101的姿勢(shì)成分為攝像機(jī)5101的視軸向量的成分。因此，通過(guò)使用取景變換矩陣求出世界坐標(biāo)系中的攝像機(jī)5101的位置姿勢(shì)，可以比較容易地獲得攝像機(jī)5101的姿勢(shì)測(cè)量值。另外，可以用x軸方向成分、y軸方向成分、z軸方向成分，將該視軸向量作為單位向量來(lái)表達(dá)，也可以采用極坐標(biāo)系的表達(dá)方法。
另外，在進(jìn)行步驟S5401、S5402、S5403、S5404的工序的另一方面，在步驟S5405中，由攝像機(jī)5101對(duì)現(xiàn)實(shí)空間的圖像進(jìn)行攝像，輸出到后段的標(biāo)識(shí)檢測(cè)部5106。在步驟S5406中，標(biāo)識(shí)檢測(cè)部5106檢測(cè)出包含于該攝像圖像中的標(biāo)識(shí)，進(jìn)行求出所檢測(cè)到的坐標(biāo)位置的處理。對(duì)于攝像圖像中的標(biāo)識(shí)的坐標(biāo)位置的檢測(cè)處理，存在著這樣的方法，例如，對(duì)標(biāo)識(shí)配特定色，在攝像圖像中檢測(cè)該特定顏色的封閉區(qū)域，并以檢測(cè)出的封閉區(qū)域的重心位置作為標(biāo)識(shí)的坐標(biāo)位置的方法，和預(yù)先對(duì)現(xiàn)實(shí)空間攝影，把成為標(biāo)識(shí)的區(qū)域準(zhǔn)備成模板，并進(jìn)行模板匹配的方法等等。在本實(shí)施方式中，如果是可以檢測(cè)出攝像圖像中的標(biāo)識(shí)的坐標(biāo)位置，則可以適用任何一種方法。
在以上的步驟中，可求出·在將標(biāo)識(shí)投影到攝像圖像的場(chǎng)合，該攝像圖像上的標(biāo)識(shí)的坐標(biāo)位置·從攝像圖像檢測(cè)到的標(biāo)識(shí)的坐標(biāo)位置·攝像機(jī)5101的視軸向量在本實(shí)施方式中，最終要進(jìn)行的就是標(biāo)識(shí)的識(shí)別。換言之，就是要判別從攝像圖像檢測(cè)出的標(biāo)識(shí)和被配置在現(xiàn)實(shí)空間的標(biāo)識(shí)中的哪一個(gè)對(duì)應(yīng)(標(biāo)識(shí)識(shí)別處理)。
作為該方法，在過(guò)去，如上所述，就是利用根據(jù)攝像機(jī)在世界坐標(biāo)系中的位置姿勢(shì)而投影到攝像圖像的標(biāo)識(shí)的坐標(biāo)位置和從攝像圖像中檢測(cè)出的標(biāo)識(shí)的坐標(biāo)位置之間的距離來(lái)判定各個(gè)標(biāo)識(shí)是否為對(duì)應(yīng)的標(biāo)識(shí)的。在該方法中，如上所述，存在著在圖12所示的條件下作出錯(cuò)誤判定的問(wèn)題。
因此，在本實(shí)施方式中，在步驟S5407中，在投影到攝像圖像的標(biāo)識(shí)在攝像圖像上的標(biāo)識(shí)的坐標(biāo)位置和從攝像圖像中檢測(cè)出的標(biāo)識(shí)的坐標(biāo)位置之外，還利用由標(biāo)識(shí)信息數(shù)據(jù)保持部5104所保持的“各標(biāo)識(shí)的法線向量的數(shù)據(jù)”和在步驟S5404中獲得的攝像機(jī)5101的視軸向量來(lái)進(jìn)行標(biāo)識(shí)的判別。
首先，進(jìn)行選擇處理，選擇投影到攝像圖像的標(biāo)識(shí)中的成為標(biāo)識(shí)識(shí)別處理的對(duì)象的標(biāo)識(shí)。這是通過(guò)判定攝像機(jī)5101是否取得了標(biāo)識(shí)的大體正面而進(jìn)行的處理。下面進(jìn)一步詳細(xì)地說(shuō)明該處理。
首先，判定關(guān)注標(biāo)識(shí)的法線向量與攝像機(jī)5101的視軸向量所成的角度是否等于或超過(guò)預(yù)定值。然后，在該角度等于或超過(guò)預(yù)定值時(shí)，為了表示該關(guān)注標(biāo)識(shí)是“作為在后面進(jìn)行的標(biāo)識(shí)識(shí)別處理的對(duì)象被使用的標(biāo)識(shí)”，把對(duì)該關(guān)注標(biāo)識(shí)設(shè)置的標(biāo)志的值設(shè)定1。另一方面，在該角度非等于或超過(guò)預(yù)定值時(shí)，為了表示該關(guān)注標(biāo)識(shí)是“非作為在后面進(jìn)行的標(biāo)識(shí)識(shí)別處理的對(duì)象被使用的標(biāo)識(shí)”，把對(duì)該關(guān)注標(biāo)識(shí)設(shè)置的標(biāo)志的值設(shè)定0。
例如，攝像機(jī)5101從正面捕捉標(biāo)識(shí)，在與攝像機(jī)5101正對(duì)的場(chǎng)合下，該標(biāo)識(shí)的法線向量與攝像機(jī)5101的視軸向量所成的角度接近180度(在完全相向的場(chǎng)合，為180度)；當(dāng)標(biāo)識(shí)存在于圖12所示的塔狀物體的內(nèi)側(cè)時(shí)，標(biāo)識(shí)的法線向量表示接近攝像機(jī)5101的視軸向量的方向，2個(gè)向量所成的角變小。
即，通過(guò)利用該2個(gè)向量所成的角是否等于或大于90度，可判定是標(biāo)識(shí)的表面一側(cè)朝著攝像機(jī)5101，還是內(nèi)面一側(cè)朝著攝像機(jī)5101。并且，即使是在標(biāo)識(shí)的表面朝著攝像機(jī)5101的場(chǎng)合，如果標(biāo)識(shí)的法線向量與攝像機(jī)5101的視軸向量接近于垂直，標(biāo)識(shí)也未必會(huì)作為圖像而被正常地被捕捉。所以，可以使所成角的判定基準(zhǔn)比90度大(90度+α(α≥0))，使得相關(guān)操作僅對(duì)不僅標(biāo)識(shí)的表面一側(cè)朝著攝像機(jī)5101，而且更加正對(duì)的姿勢(shì)的標(biāo)識(shí)來(lái)進(jìn)行。
這樣，通過(guò)從上述標(biāo)識(shí)識(shí)別處理中除去因物體的影子等原因而導(dǎo)致的不能從攝像機(jī)5101觀看到的識(shí)識(shí)，可抑制錯(cuò)誤的相關(guān)的發(fā)生。
這樣，對(duì)于投影到攝像圖像的所有的標(biāo)識(shí)，進(jìn)行上述角度計(jì)算以及進(jìn)行計(jì)算的角度與預(yù)定值的比較處理，把比較結(jié)果反映到對(duì)各標(biāo)識(shí)設(shè)置的標(biāo)志的值，從而可以獲得“作為在后面進(jìn)行的標(biāo)識(shí)識(shí)別處理的對(duì)象使用的標(biāo)識(shí)”。
然后，通過(guò)上述處理，僅將被看成“作為標(biāo)識(shí)識(shí)別處理的對(duì)象使用的標(biāo)識(shí)”的標(biāo)識(shí)(即標(biāo)志的值為1的標(biāo)識(shí))投影到攝像圖像上，比較該投影坐標(biāo)位置和從攝像圖像上檢測(cè)出的標(biāo)識(shí)的坐標(biāo)位置，進(jìn)行使最接近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)的處理。這樣，在使最接近的坐標(biāo)位置相關(guān)時(shí)，由于各標(biāo)識(shí)肯定是可看到的位置的標(biāo)識(shí)，所以，可以抑制錯(cuò)誤的相關(guān)的發(fā)生。
在此，在本實(shí)施方式中，根據(jù)標(biāo)識(shí)的法線向量與攝像機(jī)5101的視軸向量的所成角度是否等于或大于預(yù)定值，來(lái)判定是否從上述標(biāo)識(shí)識(shí)別處理中排除該標(biāo)識(shí)。但也可以進(jìn)行下述的判定。
以cosθ代替關(guān)注標(biāo)識(shí)的法線向量和攝像機(jī)5101的視軸向量(設(shè)各向量分別為x、y，并將各向量的大小歸一化為1)的所成角度θ。該cosθ可以作為cosθ＝x·y(x·y表示向量x與向量y的內(nèi)積)來(lái)求出。當(dāng)求出的cosθ的值例如為-1≤cosθ≤A(＜0)時(shí)，即2個(gè)向量所成的角度θ至少等于或大于(A＝0)90度，因此，如cosθ在該范圍內(nèi)，只要將該關(guān)注標(biāo)識(shí)適用于上述標(biāo)識(shí)識(shí)別處理即可。即使這樣使用cosθ，也可以判斷是否從上述標(biāo)識(shí)識(shí)別處理中排除關(guān)注標(biāo)識(shí)。
另外，在本實(shí)施方式中，在進(jìn)行標(biāo)識(shí)識(shí)別處理時(shí)，首先進(jìn)行了確定對(duì)各標(biāo)識(shí)的標(biāo)志的值的處理。但不限于此。當(dāng)關(guān)注標(biāo)識(shí)被確定為“作為在后面進(jìn)行的標(biāo)識(shí)識(shí)別處理的對(duì)象使用的標(biāo)識(shí)”時(shí)，可以依次進(jìn)行諸如以該關(guān)注標(biāo)識(shí)的投影位置和其它若干個(gè)“從攝像圖像檢測(cè)出的標(biāo)識(shí)的坐標(biāo)位置”進(jìn)行距離的比較處理那樣的距離比較處理。
(第19實(shí)施方式)在第18實(shí)施方式中，假定了這樣的情形，即3維位置姿勢(shì)傳感器5102配置在攝像機(jī)5101中，在攝像機(jī)5101動(dòng)態(tài)地移動(dòng)的狀況下，對(duì)固定于現(xiàn)實(shí)空間的標(biāo)識(shí)進(jìn)行攝像。但是，在本實(shí)施方式中，攝像機(jī)5101被固定，使其中配置有3維位置姿勢(shì)傳感器5102及標(biāo)識(shí)的物體移動(dòng)。另外，關(guān)于本實(shí)施方式，除下述說(shuō)明的部分以外，其內(nèi)容與第1實(shí)施方式相同。
圖15為本實(shí)施方式的系統(tǒng)的示意圖。標(biāo)號(hào)5601是對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像機(jī)，與第18實(shí)施方式的攝像機(jī)5101相同。不同的地方在于，其在世界坐標(biāo)系中的位置姿勢(shì)被固定。標(biāo)號(hào)5600是固定并安裝了3維位置姿勢(shì)傳感器5602、標(biāo)識(shí)5603、5604的物體，總是用3維位置姿勢(shì)傳感器5602對(duì)其位置姿勢(shì)進(jìn)行測(cè)量。
圖14是表示包括本實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。該系統(tǒng)大體分成對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像機(jī)5501、測(cè)量物體5600的位置姿勢(shì)的3維位置姿勢(shì)傳感器5502、作為本實(shí)施方式的信息處理裝置而起作用的計(jì)算機(jī)5550。
攝像機(jī)5501與第18實(shí)施方式的攝像機(jī)5101相同，進(jìn)行對(duì)現(xiàn)實(shí)空間的圖像進(jìn)行攝像然后輸出到后段的標(biāo)識(shí)檢測(cè)部5506的動(dòng)作。如上述那樣，攝像機(jī)5501的世界坐標(biāo)系的位置姿勢(shì)固定，所以，預(yù)先測(cè)定被固定的位置姿勢(shì)的數(shù)據(jù)，并將其保持在標(biāo)識(shí)信息數(shù)據(jù)保持部5504。另外，攝像機(jī)5501在世界坐標(biāo)系中的位置姿勢(shì)固定，其含義是上述取景變換矩陣可以預(yù)先求出，因此，預(yù)先將其求出，將求出的結(jié)果保持于標(biāo)識(shí)信息數(shù)據(jù)保持部5104。
3維位置姿勢(shì)傳感器5502，如上所述，由于被固定安裝在物體5600上，是對(duì)物體5600的3維位置姿勢(shì)(位置、姿勢(shì)均為3自由度)進(jìn)行測(cè)量。但是，和第1實(shí)施方式相同，其所測(cè)量的是“傳感器坐標(biāo)系中的”物體5600的位置姿勢(shì)。因此，表示由3維位置姿勢(shì)傳感器5502測(cè)量的傳感器坐標(biāo)系的物體5600的位置姿勢(shì)的數(shù)據(jù)和由攝像機(jī)5501攝像的現(xiàn)實(shí)空間的圖像數(shù)據(jù)一起，被輸入到后述的計(jì)算機(jī)5550。
下面，說(shuō)明構(gòu)成計(jì)算機(jī)5550的各部分。位置姿勢(shì)測(cè)量部5503進(jìn)行這樣的處理，即驅(qū)動(dòng)和控制3維位置姿勢(shì)傳感器5502，使3維位置姿勢(shì)傳感器5502對(duì)物體5600在傳感器坐標(biāo)系中的位置姿勢(shì)進(jìn)行測(cè)量，將其測(cè)量結(jié)果(位置姿勢(shì)值)的數(shù)據(jù)輸出到后段的標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505。
在標(biāo)識(shí)信息數(shù)據(jù)保持部5104中，預(yù)先保存現(xiàn)實(shí)空間的各標(biāo)識(shí)在物體坐標(biāo)系(將以物體5600中的1點(diǎn)為原點(diǎn)、從該原點(diǎn)直交的3個(gè)軸為x軸、y軸、z軸的坐標(biāo)系作為物體坐標(biāo)系)中的坐標(biāo)位置的數(shù)據(jù)、攝像機(jī)5501在世界坐標(biāo)系中的位置姿勢(shì)的數(shù)據(jù)、取景變換矩陣的數(shù)據(jù)。標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105進(jìn)行這樣的處理，即根據(jù)這些數(shù)據(jù)進(jìn)行后述的變換處理，將各標(biāo)識(shí)在世界坐標(biāo)系中的坐標(biāo)位置投影到由攝像機(jī)5501攝像的圖像(攝像圖像)上，求出攝像圖像上的各標(biāo)識(shí)的坐標(biāo)值。
標(biāo)識(shí)檢測(cè)部5506進(jìn)行與第18實(shí)施方式的標(biāo)識(shí)檢測(cè)部5106相同的處理，由攝像機(jī)5501進(jìn)行攝像，從輸入的攝像圖像檢測(cè)出被包含于該攝像圖像的標(biāo)識(shí)，求出攝像圖像的坐標(biāo)位置。求出的坐標(biāo)位置的數(shù)據(jù)輸出到后段的標(biāo)識(shí)識(shí)別部5507。
標(biāo)識(shí)識(shí)別部5507使用從標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505輸出的“投影到攝像圖像上的各標(biāo)識(shí)的坐標(biāo)位置”、從標(biāo)識(shí)檢測(cè)部5506輸出的“從攝像圖像檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置”、通過(guò)后述的變換處理對(duì)由標(biāo)識(shí)信息數(shù)據(jù)保持部5504所保持的標(biāo)識(shí)的法線向量的數(shù)據(jù)進(jìn)行變換后獲得的“具有世界坐標(biāo)系的成分的各標(biāo)識(shí)的法線向量的數(shù)據(jù)”(詳細(xì)內(nèi)容在后面說(shuō)明)、從標(biāo)識(shí)信息數(shù)據(jù)保持部5104保持的攝像機(jī)5501在世界坐標(biāo)系中的姿勢(shì)獲得的“攝像機(jī)5501的視軸向量”，求出從攝像圖像檢測(cè)出的標(biāo)識(shí)與實(shí)際配置的標(biāo)識(shí)中的哪個(gè)標(biāo)識(shí)對(duì)應(yīng)。
以上為本實(shí)施方式的信息處理裝置的功能構(gòu)成，基本構(gòu)成與第18實(shí)施方式相同，即，與圖22所示的基本構(gòu)成相同。
下面，用表示相同處理的流程的圖16來(lái)說(shuō)明本實(shí)施方式的標(biāo)識(shí)識(shí)別處理。另外，基于該圖的流程的程序存儲(chǔ)于外部存儲(chǔ)裝置51307或存儲(chǔ)介質(zhì)中，經(jīng)由CPU51301的控制而被讀出到RAM51032(在存儲(chǔ)于存儲(chǔ)介質(zhì)的場(chǎng)合下，控制存儲(chǔ)介質(zhì)驅(qū)動(dòng)器51308，從該存儲(chǔ)介質(zhì)讀出)，CPU51301執(zhí)行該程序，由此，本實(shí)施方式的信息處理裝置實(shí)施后述的處理。因此，在以下說(shuō)明中出現(xiàn)的位置姿勢(shì)測(cè)量部5503、標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505、標(biāo)識(shí)檢測(cè)部5506、標(biāo)識(shí)識(shí)別部5507在本實(shí)施方式中分別由程序來(lái)實(shí)現(xiàn)，當(dāng)然，也可由硬件來(lái)實(shí)現(xiàn)。
在步驟S5701中，控制3維位置姿勢(shì)傳感器5502，測(cè)量物體5600在傳感器坐標(biāo)系中的位置姿勢(shì)，將其測(cè)量結(jié)果的數(shù)據(jù)作為信號(hào)輸入到標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505。然后，在步驟S5702中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505使用在步驟S5701中獲得的物體5600的傳感器坐標(biāo)系的位置姿勢(shì)的數(shù)據(jù)，求出造型變換矩陣。
造型變換的含義為世界坐標(biāo)系以現(xiàn)實(shí)空間中的1點(diǎn)為原點(diǎn)、從該原點(diǎn)相互直交的3個(gè)軸為x軸、y軸、z軸；物體坐標(biāo)系以物體5600中的1點(diǎn)為原點(diǎn)、從該原點(diǎn)相互直交的3個(gè)軸為x軸、y軸、z軸，在此情形下，世界坐標(biāo)系與物體坐標(biāo)系之間的坐標(biāo)變換。因此，造型變換矩陣是用于進(jìn)行該2個(gè)坐標(biāo)系間的坐標(biāo)變換的矩陣。因此，如求出該造型變換矩陣，則可將物體坐標(biāo)系的坐標(biāo)值變換成位于世界坐標(biāo)系上的坐標(biāo)值。
然后，在步驟S5703中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105，通過(guò)在步驟S5702中求出的造型變換矩陣，把預(yù)先保持于標(biāo)識(shí)信息數(shù)據(jù)保持部5104的物體坐標(biāo)系中的各標(biāo)識(shí)的位置變換為世界坐標(biāo)系的位置，并通過(guò)進(jìn)行由標(biāo)識(shí)信息數(shù)據(jù)保持部5104保持的取景變換矩陣的取景變換和攝像機(jī)的透視投影變換計(jì)算，來(lái)計(jì)算在攝像圖像面的投影坐標(biāo)。即，在步驟S5703中，根據(jù)攝像機(jī)5501、物體5600的位置姿勢(shì)，求出各標(biāo)識(shí)在攝像圖像上的坐標(biāo)位置。
另外，攝像機(jī)的透視投影變換，是根據(jù)攝像機(jī)5501的焦點(diǎn)距離和主點(diǎn)(投影中心)位置被唯一地確定的，預(yù)先測(cè)定該攝像機(jī)5501的焦點(diǎn)距離和主點(diǎn)(投影中心)位置，將其作為數(shù)據(jù)存儲(chǔ)于外部存儲(chǔ)裝置51307和存儲(chǔ)介質(zhì)，根據(jù)需要被讀出到RAM51302。
這樣，將標(biāo)識(shí)投影到攝像圖像上而求出投影后的坐標(biāo)位置的處理為公知技術(shù)，所以，省略進(jìn)一步的詳細(xì)說(shuō)明。
另外，在步驟S5704中，標(biāo)識(shí)坐標(biāo)投影計(jì)算部5505，使用在步驟S5702中求出的造型變換矩陣，把由標(biāo)識(shí)信息數(shù)據(jù)保持部5104保持的具有物體坐標(biāo)系中的成分的各標(biāo)識(shí)的法線向量變換成具有世界坐標(biāo)系中的成分的法線向量。
另外，進(jìn)行步驟S5701、S5 702、S5703、S5704的工序，另一方面，在步驟S5705中，由攝像機(jī)5501對(duì)現(xiàn)實(shí)空間的圖像進(jìn)行攝像，輸出到后段的標(biāo)識(shí)檢測(cè)部5506。在步驟S5706中，標(biāo)識(shí)檢測(cè)部5506進(jìn)行檢測(cè)被包含于該攝像圖像中的標(biāo)識(shí)的處理。對(duì)于攝像圖像中的標(biāo)識(shí)的坐標(biāo)位置的檢測(cè)處理，進(jìn)行與第18實(shí)施方式相同的處理。
在以上的步驟中，可求出·在將標(biāo)識(shí)投影到攝像圖像時(shí)，該攝像圖像上的標(biāo)識(shí)的坐標(biāo)位置·從攝像圖像檢測(cè)到的標(biāo)識(shí)的坐標(biāo)位置·具有世界坐標(biāo)系中的成分的各標(biāo)識(shí)的法線向量。另外，對(duì)于攝像機(jī)5101的視軸向量，由于攝像機(jī)5501在世界坐標(biāo)系中的位置姿勢(shì)是固定的，所以，可以比較容易地從該姿勢(shì)成分獲得。因此，由于可獲得該4個(gè)信息，所以，以后可進(jìn)行與第18實(shí)施方式同樣的處理。
根據(jù)以上說(shuō)明，在本實(shí)施方式中，即使是攝像機(jī)被固定、移動(dòng)其中配置有3維位置姿勢(shì)傳感器和標(biāo)識(shí)的物體，也可進(jìn)行標(biāo)識(shí)識(shí)別處理。
(第20實(shí)施方式)第18實(shí)施方式假定了這樣的情形，即3維位置姿勢(shì)傳感器配置于攝像機(jī)，在攝像機(jī)動(dòng)態(tài)地移動(dòng)的狀況下，對(duì)固定于現(xiàn)實(shí)空間的標(biāo)識(shí)進(jìn)行攝像。第19實(shí)施方式假定了這樣的情形，即移動(dòng)固定了攝像機(jī)并配置有3維位置姿勢(shì)傳感器和標(biāo)識(shí)的物體。也可以是將其組合，分別在攝像機(jī)和對(duì)象物體上都固定3維位置姿勢(shì)傳感器，將標(biāo)識(shí)配置到物體上。即，攝像機(jī)動(dòng)態(tài)地移動(dòng)，而且，物體也移動(dòng)。
該實(shí)施方式只要根據(jù)第19實(shí)施方式進(jìn)行以下變更即可。即，作為在第19實(shí)施方式的步驟S5703中進(jìn)行的處理，攝像機(jī)的取景變換矩陣為已知的。但只要根據(jù)固定于攝像機(jī)的3維位置姿勢(shì)傳感器的測(cè)量值，按照第18實(shí)施方式所述來(lái)求出該取景變換即可。
(第21實(shí)施方式)在第18～第20實(shí)施方式中，都明示地將標(biāo)識(shí)的法線向量記錄于標(biāo)識(shí)信息數(shù)據(jù)保持部，進(jìn)行利用該法線向量的處理。然而，根據(jù)所利用的標(biāo)識(shí)的種類的不同，法線向量不一定非要明示地記錄。
例如，如圖17所示，當(dāng)利用在黑正方形的內(nèi)部存在白正方形那樣的標(biāo)識(shí)時(shí)，如果事先記錄標(biāo)識(shí)的頂點(diǎn)的坐標(biāo)位置(世界坐標(biāo)系中的坐標(biāo)位置，或者如果是可變換成世界坐標(biāo)系中的坐標(biāo)位置、則也可為其它坐標(biāo)系中的坐標(biāo)位置)，則即使不直接記錄對(duì)該標(biāo)識(shí)的法線向量，也可計(jì)算法線向量。
上述采用以下即可利用4頂點(diǎn)構(gòu)成的平面的法線(為直線，方向不定)是包含了標(biāo)識(shí)的法線向量的直線這一狀況，如圖21所示那樣，利用4頂點(diǎn)的排列，來(lái)決定在該直線上的方向。作為具體的計(jì)算方法，有計(jì)算從圖21中的頂點(diǎn)1到頂點(diǎn)2的向量和從頂點(diǎn)2到頂點(diǎn)3的向量的外積向量的方法。即，所利用的標(biāo)識(shí)是具有面擴(kuò)展的圖像的圖形時(shí)，不一定非要明示地記錄法線向量。這樣，可以從非頂點(diǎn)信息等的明示的法線信息的信息，來(lái)計(jì)算法線向量，利用獲得的法線向量，進(jìn)行標(biāo)識(shí)的識(shí)別。
另外，當(dāng)然，通過(guò)預(yù)先記錄標(biāo)識(shí)的位置姿勢(shì)而不是標(biāo)識(shí)的法線向量，可以從標(biāo)識(shí)的姿勢(shì)信息來(lái)計(jì)算法線向量。
(第22實(shí)施方式)表示了充分利用圖18實(shí)施方式所示標(biāo)識(shí)的識(shí)別結(jié)果的攝像機(jī)的位置姿勢(shì)估計(jì)方法的優(yōu)選實(shí)施方式。
圖19是表示包含本實(shí)施方式的信息處理裝置的系統(tǒng)的功能構(gòu)成的框圖。具有該圖所示功能構(gòu)成的系統(tǒng)進(jìn)行這樣的處理，即如上所述，使用在第18實(shí)施方式中說(shuō)明的、進(jìn)行在攝像圖像上使相同標(biāo)識(shí)相關(guān)的處理的結(jié)果，來(lái)校正HMD的位置姿勢(shì)。另外，該圖所示系統(tǒng)大體分成HMD51000和作為本實(shí)施方式的信息處理裝置而起作用的計(jì)算機(jī)51050。
HMD51000由3維位置姿勢(shì)傳感器51002、攝像機(jī)51001、顯示部51011構(gòu)成，它們是一體地安裝于HMD主體51000的被稱之為圖像透明型(video see-through)HMD。關(guān)于3維位置姿勢(shì)傳感器51002、攝像機(jī)51001，基本上是與第18實(shí)施方式的3維位置姿勢(shì)傳感器5102、攝像機(jī)5101相同。顯示部51011表示從后述的計(jì)算機(jī)51050的圖像合成部51010輸出的圖像。
下面，說(shuō)明構(gòu)成計(jì)算機(jī)51050的各部分。位置姿勢(shì)測(cè)量部51003、標(biāo)識(shí)信息數(shù)據(jù)保持部51004、標(biāo)識(shí)坐標(biāo)投影計(jì)算部51005、標(biāo)識(shí)檢測(cè)部51006、標(biāo)識(shí)識(shí)別部51007分別進(jìn)行和第18實(shí)施方式的(圖10所示的)位置姿勢(shì)測(cè)量部5103、標(biāo)識(shí)信息數(shù)據(jù)保持部5104、標(biāo)識(shí)坐標(biāo)投影計(jì)算部5105、標(biāo)識(shí)檢測(cè)部5106、標(biāo)識(shí)識(shí)別部5107相同的處理，所以，省略其說(shuō)明。
位置姿勢(shì)校正部51008，根據(jù)在標(biāo)識(shí)識(shí)別部51007形成對(duì)應(yīng)關(guān)系的2個(gè)標(biāo)識(shí)(一個(gè)從攝像圖像檢測(cè)出，另一個(gè)投影到攝像圖像上)的坐標(biāo)位置間的距離，來(lái)進(jìn)行基于由3維位置姿勢(shì)傳感器51002測(cè)量的結(jié)果對(duì)HMD51000的位置姿勢(shì)的測(cè)量值實(shí)施校正的處理。
圖像生成部51009，將由位置姿勢(shì)校正部51008校正后的位置姿勢(shì)用作視點(diǎn)的位置姿勢(shì)，生成從該視點(diǎn)觀看的假想空間的圖像。圖像合成部51010進(jìn)行合成攝像機(jī)51001的攝像圖像和圖像生成部51009生成的假想空間的圖像的處理。其合成結(jié)果被輸出到HMD51000的顯示部51011，并在該處被顯示。
另外，關(guān)于本實(shí)施方式的計(jì)算機(jī)51050的基本構(gòu)成，也與第18實(shí)施方式相同(即圖22所示的基本構(gòu)成)。
下面，使用表示相同處理的流程的圖20，對(duì)由本實(shí)施方式的計(jì)算機(jī)51050實(shí)施的、合成圖像被輸出到顯示部51011之前的處理進(jìn)行說(shuō)明。另外，由該圖的流程所決定的程序被存儲(chǔ)于外部存儲(chǔ)裝置51307和存儲(chǔ)介質(zhì)，通過(guò)CPU51301的控制而被讀出到RAM51302(在存儲(chǔ)于存儲(chǔ)介質(zhì)的場(chǎng)合，控制存儲(chǔ)介質(zhì)驅(qū)動(dòng)器51308，從該存儲(chǔ)介質(zhì)讀出)，由CPU51301對(duì)其進(jìn)行實(shí)施，從而由本實(shí)施方式的信息處理裝置實(shí)施后述的處理。因此，在以下說(shuō)明中出現(xiàn)的位置姿勢(shì)測(cè)量部51003、標(biāo)識(shí)坐標(biāo)投影計(jì)算部51005、標(biāo)識(shí)檢測(cè)部51006、標(biāo)識(shí)識(shí)別部51007、位置姿勢(shì)校正部51008、圖像生成部51009、圖像合成部51010，在本實(shí)施方式中是分別由程序來(lái)實(shí)現(xiàn)的，但是，當(dāng)然也可以由硬件來(lái)實(shí)現(xiàn)。
在步驟S51101中，先將標(biāo)識(shí)數(shù)據(jù)讀入標(biāo)識(shí)信息數(shù)據(jù)保持部51004。這是例如從將圖18所示的文本數(shù)據(jù)作為文件保存的存儲(chǔ)裝置中讀入的處理。圖18的5901表現(xiàn)標(biāo)識(shí)的種類，在該例中表示帶色的點(diǎn)狀的標(biāo)識(shí)，意味著在5902記錄其坐標(biāo)值、在5903記錄其法線向量、在5904記錄其顏色。如該數(shù)據(jù)所示，標(biāo)識(shí)信息數(shù)據(jù)保持部51004將該法線向量與標(biāo)識(shí)的坐標(biāo)值一起作為信息保持。
接著，在步驟S51102中，進(jìn)行上述圖13所示的步驟S5401～步驟S5407的處理，進(jìn)行使分別對(duì)應(yīng)的標(biāo)識(shí)相關(guān)的處理。
在步驟S51103中，位置姿勢(shì)校正部51008，根據(jù)在步驟S51102中形成對(duì)應(yīng)關(guān)系的各標(biāo)識(shí)間的距離(在步驟S5403獲得的投影坐標(biāo)值與由步驟S5406獲得的檢測(cè)坐標(biāo)值之間的距離)，進(jìn)行在步驟S5402獲得的取景變換的校正。
關(guān)于該取景變換的校正方法，可使用由牛頓法等的反復(fù)運(yùn)算使誤差最小的方法，也可以是僅校正回轉(zhuǎn)變換以使得標(biāo)識(shí)間的誤差最小的方法。
在步驟S51103中，校正取景變換矩陣，換言之，校正世界坐標(biāo)系中的攝像機(jī)5101的位置姿勢(shì)的數(shù)據(jù)。校正取景變換矩陣使得上述的相同標(biāo)識(shí)的在步驟S5403獲得的投影坐標(biāo)值和在步驟S5406獲得的檢測(cè)坐標(biāo)值之間的距離最小的方法是公知的技術(shù)，所以，省略這里的說(shuō)明。
然后，在步驟S51104中，將由攝像機(jī)5101攝像的現(xiàn)實(shí)空間的圖像送到圖像合成部51010。然后，在步驟S51105中，圖像生成部51009使用由步驟S51103校正的取景變換矩陣，如上述，生成假想空間的圖像，將其送到圖像合成部51010。由于先將現(xiàn)實(shí)空間的圖像送到圖像合成部51010，所以，后送到的假想空間的圖像重疊于其上，結(jié)果，在圖像合成部51010上就生成了現(xiàn)實(shí)空間的圖像與假想空間的圖像的合成圖像。因此，圖像合成部51010將該合成圖像輸出到HMD51000的顯示部51011。顯示部51011顯示該合成圖像。
在這里，上述步驟S51104～步驟S51106的處理，作為有效地利用所獲得的攝像機(jī)的取景變換的例子表示了將假想空間或假想物體融合于現(xiàn)實(shí)空間時(shí)的工序的處理，也可以把攝像機(jī)的取景變換用做其它用途。當(dāng)然，如果要求出取景變換，通過(guò)計(jì)算其逆變換，可容易地變換成世界坐標(biāo)系中的攝像機(jī)的位置姿勢(shì)，所以，當(dāng)然也可用做使用攝像機(jī)的位置姿勢(shì)的用途。
此后，在步驟S51107中進(jìn)行結(jié)束的判定，在未結(jié)束的場(chǎng)合，使處理返回到步驟S51102，以后，反復(fù)進(jìn)行步驟S51102～步驟S51106的處理。
(第23實(shí)施方式)第22實(shí)施方式是將第18實(shí)施方式的標(biāo)識(shí)識(shí)別方法用于攝像機(jī)的位置姿勢(shì)估計(jì)方法的場(chǎng)合的實(shí)施方式。當(dāng)然，通過(guò)利用第19實(shí)施方式的標(biāo)識(shí)識(shí)別方法或第20實(shí)施方式的標(biāo)識(shí)識(shí)別方法，也能夠以與第22實(shí)施方式相同的工序來(lái)實(shí)現(xiàn)相同的目的。
(其它實(shí)施方式)本發(fā)明的目的當(dāng)然也可這樣來(lái)實(shí)現(xiàn)，即將記錄了實(shí)現(xiàn)上述實(shí)施方式的功能的軟件的程序代碼的記錄介質(zhì)(或存儲(chǔ)介質(zhì))供給系統(tǒng)或裝置，由該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU、MPU)讀出并執(zhí)行被存儲(chǔ)于記錄介質(zhì)的程序代碼。在該場(chǎng)合下，從記錄介質(zhì)讀出的程序代碼自身實(shí)現(xiàn)了上述實(shí)施方式的功能，記錄了該程序代碼的記錄介質(zhì)構(gòu)成了本發(fā)明。
另外，當(dāng)然還包含這樣的情況，即通過(guò)執(zhí)行由計(jì)算機(jī)讀出的程序代碼，不僅實(shí)現(xiàn)了上述實(shí)施方式的功能，而且根據(jù)該程序代碼的指示，由在計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)(OS)等進(jìn)行實(shí)際的處理的一部分或全部，通過(guò)該處理來(lái)實(shí)現(xiàn)上述實(shí)施方式的功能。
另外，當(dāng)然還包含這樣的情況，即從記錄介質(zhì)讀出的程序代碼被寫(xiě)入到插入計(jì)算機(jī)的功能擴(kuò)展卡或與計(jì)算機(jī)連接的功能擴(kuò)展組件所具有的存儲(chǔ)器后，根據(jù)該程序代碼的指示，由該功能擴(kuò)展卡或功能擴(kuò)展組件所具有的CPU等進(jìn)行實(shí)際的處理的一部分或全部，通過(guò)該處理來(lái)實(shí)現(xiàn)上述的實(shí)施方式的功能。
在將本發(fā)明適用于上述記錄介質(zhì)的情形下，與前面說(shuō)明的流程對(duì)應(yīng)的程序代碼被收納在該記錄介質(zhì)中。
如上所述，根據(jù)本發(fā)明，可以實(shí)現(xiàn)這樣一種圖像顯示裝置，即準(zhǔn)確地測(cè)量車輛的位置及方位和搭乘者的頭部位置，在實(shí)際場(chǎng)景的適當(dāng)位置上重疊車輛的導(dǎo)航系統(tǒng)信息進(jìn)行提示。
并且，如上所述，根據(jù)本發(fā)明的結(jié)構(gòu)，可以正確地識(shí)別從圖像檢測(cè)出的標(biāo)識(shí)與現(xiàn)實(shí)空間內(nèi)所配置的標(biāo)識(shí)中的哪一個(gè)標(biāo)識(shí)相對(duì)應(yīng)。
由于在不脫離本發(fā)明精神和范圍的前提下可獲得本發(fā)明的許多明顯不同的實(shí)施方式，所以，應(yīng)該明白，本發(fā)明不限于特定的實(shí)施方式，而僅由權(quán)利要求所限定。
權(quán)利要求
1.一種圖像顯示裝置，具有在車輛的前窗部顯示對(duì)該車輛的搭乘者提示的圖像的顯示裝置；其特征在于，包括車輛測(cè)量單元，測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位；頭部測(cè)量單元，測(cè)量在上述車輛內(nèi)定義的坐標(biāo)系中的上述車輛的搭乘者的頭部位置；以及控制單元，控制上述顯示裝置使得在上述前窗部將上述圖像顯示到與由上述車輛測(cè)量單元測(cè)量的上述車輛的位置、方位和由上述頭部測(cè)量單元測(cè)量的上述頭部的位置對(duì)應(yīng)的位置。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于上述車輛測(cè)量單元還具有對(duì)上述車輛的外界進(jìn)行攝像的外界攝像單元。
3.根據(jù)權(quán)利要求2所述的圖像顯示裝置，其特征在于上述車輛測(cè)量單元求出包含于由上述外界攝像單元所攝像的上述外界的圖像的標(biāo)識(shí)在該圖像中的位置，根據(jù)求出的位置測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
4.根據(jù)權(quán)利要求2所述的圖像顯示裝置，其特征在于上述車輛測(cè)量單元還具有對(duì)上述車輛的后面的左右車輪的回轉(zhuǎn)速度進(jìn)行測(cè)量的回轉(zhuǎn)速度測(cè)量單元；上述車輛測(cè)量單元求出包含于由上述外界攝像單元所攝像的上述外界圖像的標(biāo)識(shí)在該圖像中的位置，根據(jù)該求出的位置和由上述回轉(zhuǎn)速度測(cè)量單元測(cè)量的回轉(zhuǎn)速度測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
5.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于上述頭部測(cè)量單元還具有對(duì)上述車輛的搭乘者的頭部進(jìn)行攝像的頭部攝像單元；求出包含于由上述頭部攝像單元所攝像的上述搭乘者的頭部的圖像的標(biāo)識(shí)在該圖像中的位置，根據(jù)求出的位置測(cè)量在上述車輛內(nèi)定義的坐標(biāo)系中的上述車輛的搭乘者的頭部位置。
6.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于上述圖像是表示導(dǎo)航信息的圖像。
7.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于上述車輛測(cè)量單元使用非完全約束測(cè)量上述車輛的位置和方位。
8.一種測(cè)量裝置，搭載于車輛，對(duì)該車輛的世界坐標(biāo)系的位置、方位進(jìn)行測(cè)量；其特征在于，包括外界攝像單元，對(duì)上述車輛的外界進(jìn)行攝像；位置計(jì)算單元，求出包含于由該外界攝像單元所攝像的上述外界的圖像的標(biāo)識(shí)在該圖像中的位置；以及位置方位測(cè)量單元，根據(jù)由上述位置計(jì)算單元求出的上述標(biāo)識(shí)在上述圖像中的位置測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
9.根據(jù)權(quán)利要求8所述的測(cè)量裝置，其特征在于還具有測(cè)量上述車輛后面的左右車輪的回轉(zhuǎn)速度的回轉(zhuǎn)速度測(cè)量單元；上述位置方位測(cè)量單元還使用由該回轉(zhuǎn)速度測(cè)量單元測(cè)量的回轉(zhuǎn)速度測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
10.一種測(cè)量裝置，通過(guò)檢測(cè)由攝影裝置所攝影的物體的圖像中的標(biāo)識(shí)，進(jìn)行上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)的測(cè)量；其特征在于具有選擇不被隱蔽地將要在上述攝影圖像上觀測(cè)到的標(biāo)識(shí)的標(biāo)識(shí)選擇單元；根據(jù)選擇的標(biāo)識(shí)的信息測(cè)量上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)。
11.根據(jù)權(quán)利要求10所述的測(cè)量裝置，其特征在于上述標(biāo)識(shí)選擇單元還具有保持與上述標(biāo)識(shí)分別相關(guān)的信息的標(biāo)識(shí)信息保持單元，和根據(jù)上述標(biāo)識(shí)信息保持單元保持的與上述標(biāo)識(shí)分別相關(guān)的信息判定上述各標(biāo)識(shí)有無(wú)隱蔽的隱蔽判定單元；選擇判定為未被隱蔽的標(biāo)識(shí)。
12.根據(jù)權(quán)利要求11所述的測(cè)量裝置，其特征在于在上述標(biāo)識(shí)信息保持單元至少保持對(duì)用于檢測(cè)各標(biāo)識(shí)的模板進(jìn)行攝影時(shí)的上述攝影裝置或上述物體的位置姿勢(shì)信息；上述隱蔽判定單元通過(guò)比較上述標(biāo)識(shí)信息保持單元保持的上述攝影裝置或上述物體的位置姿勢(shì)信息與上述攝像裝置或上述物體的位置姿勢(shì)的估計(jì)值來(lái)判定隱蔽的有無(wú)。
13.根據(jù)權(quán)利要求11所述的測(cè)量裝置，其特征在于在上述標(biāo)識(shí)信息保持單元至少保持關(guān)于上述各標(biāo)識(shí)的方向的信息；上述隱蔽判定單元通過(guò)比較上述標(biāo)識(shí)信息保持單元保持的關(guān)于上述標(biāo)識(shí)的各方向的信息和上述攝像裝置的方向的估計(jì)值來(lái)判定隱蔽的有無(wú)。
14.根據(jù)權(quán)利要求11所述的測(cè)量裝置，其特征在于在上述標(biāo)識(shí)信息保持單元至少保持上述各標(biāo)識(shí)的位置；上述隱蔽判定單元根據(jù)上述各標(biāo)識(shí)的位置、上述攝像裝置的位置姿勢(shì)的估計(jì)值、現(xiàn)實(shí)空間的形狀信息來(lái)判定隱蔽的有無(wú)。
15.一種圖像顯示裝置的圖像顯示方法，所述圖像顯示裝置具有在車輛的前窗部顯示對(duì)該車輛的搭乘者提示的圖像的顯示裝置；其特征在于，包括以下步驟車輛測(cè)量步驟，測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位；頭部測(cè)量步驟，測(cè)量在上述車輛內(nèi)定義的坐標(biāo)系中的上述車輛的搭乘者的頭部位置；以及控制步驟，控制上述顯示裝置使得在上述前窗部將上述圖像顯示到與由上述車輛測(cè)量步驟測(cè)量的上述車輛的位置、方位和由上述頭部測(cè)量步驟測(cè)量的上述頭部的位置對(duì)應(yīng)的位置。
16.一種測(cè)量方法，搭載于車輛，對(duì)該車輛的世界坐標(biāo)系的位置、方位進(jìn)行測(cè)量；其特征在于，包括以下步驟外界攝像步驟，使用攝像裝置對(duì)該車輛的外界進(jìn)行攝像；位置計(jì)算步驟，求出包含于由該外界攝像步驟所攝像的上述外界圖像的標(biāo)識(shí)在該圖像中的位置；以及位置方位測(cè)量步驟，根據(jù)由上述位置計(jì)算步驟求出的上述標(biāo)識(shí)在上述圖像中的位置測(cè)量世界坐標(biāo)系中的上述車輛的位置和方位。
17.一種測(cè)量方法，通過(guò)檢測(cè)由攝影裝置所攝影的物體的圖像中的標(biāo)識(shí)，進(jìn)行上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)的測(cè)量；其特征在于包括選擇不被隱蔽地將要在上述攝影圖像上觀測(cè)到的標(biāo)識(shí)的標(biāo)識(shí)選擇步驟；根據(jù)選擇的標(biāo)識(shí)的信息測(cè)量上述攝影裝置或由攝影裝置所攝影的上述物體的位置和姿勢(shì)。
18.根據(jù)權(quán)利要求17所述的測(cè)量方法，其特征在于上述標(biāo)識(shí)選擇步驟還具有在存儲(chǔ)器保持與上述標(biāo)識(shí)分別相關(guān)的信息的標(biāo)識(shí)信息保持步驟，和根據(jù)上述存儲(chǔ)器保持的與上述標(biāo)識(shí)分別相關(guān)的信息判定上述各標(biāo)識(shí)有無(wú)隱蔽的隱蔽判定步驟；選擇已判定未被隱蔽的標(biāo)識(shí)。
19.根據(jù)權(quán)利要求18所述的測(cè)量方法，其特征在于在上述存儲(chǔ)器至少保持關(guān)于上述各標(biāo)識(shí)的方向的信息；在上述隱蔽判定步驟中，通過(guò)比較上述存儲(chǔ)器保持的關(guān)于上述各標(biāo)識(shí)的方向的信息和上述攝像裝置的方向的估計(jì)值判定隱蔽的有無(wú)。
20.一種程序，其特征在于將計(jì)算機(jī)作為權(quán)利要求1所述的圖像顯示裝置發(fā)揮功能。
21.一種程序，其特征在于使計(jì)算機(jī)作為權(quán)利要求8所述的測(cè)量裝置發(fā)揮功能。
22.一種程序，其特征在于使計(jì)算機(jī)實(shí)施權(quán)利要求15所述的圖像顯示方法。
23.一種程序，其特征在于使計(jì)算機(jī)實(shí)施權(quán)利要求16所述的測(cè)量方法。
24.一種可由計(jì)算機(jī)讀取的存儲(chǔ)介質(zhì)，其特征在于存儲(chǔ)權(quán)利要求20所述的程序。
25.一種信息處理方法，包括檢測(cè)步驟，檢測(cè)由對(duì)配置了標(biāo)識(shí)的現(xiàn)實(shí)空間的圖像進(jìn)行攝像的攝像單元獲得的攝像圖像中的標(biāo)識(shí)位置；和第1計(jì)算步驟，在根據(jù)測(cè)量求出了上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)中的至少一者的場(chǎng)合，根據(jù)上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)求出將上述現(xiàn)實(shí)空間中的標(biāo)識(shí)投影到上述攝像圖像上的場(chǎng)合的坐標(biāo)位置；在上述攝像圖像中，根據(jù)由上述檢測(cè)步驟檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置和由上述第1計(jì)算步驟計(jì)算出的坐標(biāo)位置進(jìn)行使相互距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理；其特征在于包括第2計(jì)算步驟，求出使用關(guān)注標(biāo)識(shí)的法線向量和上述攝像單元的視軸向量進(jìn)行計(jì)算得到的值；和決定步驟，根據(jù)由上述第2計(jì)算步驟求出的值所取的范圍決定是否進(jìn)行上述第1計(jì)算步驟的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理；在上述決定步驟決定了進(jìn)行上述第1計(jì)算步驟的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理的場(chǎng)合，根據(jù)由上述第1計(jì)算步驟計(jì)算出的上述關(guān)注標(biāo)識(shí)的坐標(biāo)位置和由上述檢測(cè)步驟檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置中的任一個(gè)進(jìn)行使距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理。
26.根據(jù)權(quán)利要求25所述的信息處理方法，其特征在于在上述第2計(jì)算步驟中，求出上述關(guān)注標(biāo)識(shí)的法線向量與上述攝像單元的視軸向量所成角度，或基于該角度的值。
27.根據(jù)權(quán)利要求26所述的信息處理方法，其特征在于在上述決定步驟中，當(dāng)上述角度為90度+α(α≥0)時(shí)，決定進(jìn)行上述第1計(jì)算步驟的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理。
28.根據(jù)權(quán)利要求25所述的信息處理方法，其特征在于還包括修正步驟，使用相關(guān)聯(lián)的各標(biāo)識(shí)的在上述第1計(jì)算步驟所計(jì)算的坐標(biāo)位置與由上述檢測(cè)步驟檢測(cè)出的坐標(biāo)位置之間的距離，修正上述攝像單元的位置姿勢(shì)；假想空間圖像生成步驟，使用由上述修正步驟修正后的位置姿勢(shì)生成假想空間的圖像；以及合成步驟，合成由上述假想空間圖像生成步驟獲得的假想空間的圖像和由上述攝像單元獲得的攝像圖像并輸出。
29.一種信息處理裝置，包括攝像單元，對(duì)配置了標(biāo)識(shí)的現(xiàn)實(shí)空間的圖像進(jìn)行攝像；檢測(cè)單元，檢測(cè)由攝像單元獲得的攝像圖像中的標(biāo)識(shí)的位置；以及第1計(jì)算單元，在根據(jù)測(cè)量求出了上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)中的至少一者的場(chǎng)合，根據(jù)上述標(biāo)識(shí)在上述現(xiàn)實(shí)空間中的位置和上述攝像單元的位置姿勢(shì)求出將上述現(xiàn)實(shí)空間中的標(biāo)識(shí)投影到上述攝像圖像上的場(chǎng)合的坐標(biāo)位置；在上述攝像圖像中，根據(jù)由上述檢測(cè)單元檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置和由上述第1計(jì)算單元計(jì)算出的坐標(biāo)位置進(jìn)行使相互距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理；其特征在于包括第2計(jì)算單元，求出使用關(guān)注標(biāo)識(shí)的法線向量和上述攝像單元的視軸向量計(jì)算的值；和決定單元根據(jù)由上述第2計(jì)算單元求出的值所取的范圍決定是否進(jìn)行上述第1計(jì)算單元的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理；在上述決定單元決定進(jìn)行上述第1計(jì)算單元的求出上述關(guān)注標(biāo)識(shí)在上述攝像圖像上的坐標(biāo)位置的處理的場(chǎng)合，根據(jù)由上述第1計(jì)算單元計(jì)算出的上述關(guān)注標(biāo)識(shí)的坐標(biāo)位置和由上述檢測(cè)單元檢測(cè)出的各標(biāo)識(shí)的坐標(biāo)位置中的任一個(gè)進(jìn)行使距離較近的坐標(biāo)位置的標(biāo)識(shí)相關(guān)聯(lián)的處理。
30.一種程序，其特征在于使計(jì)算機(jī)實(shí)施權(quán)利要求25所述的信息處理方法。
31.一種可由計(jì)算出讀取的存儲(chǔ)介質(zhì)，其特征在于存儲(chǔ)權(quán)利要求30所述的程序。
32.一種標(biāo)識(shí)的識(shí)別方法，用于對(duì)現(xiàn)實(shí)空間進(jìn)行攝像的攝像裝置的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述攝像裝置的大致位置姿勢(shì)的位置姿勢(shì)測(cè)量步驟；上述攝像裝置進(jìn)行包含標(biāo)識(shí)的上述現(xiàn)實(shí)空間的攝像的攝像步驟；求出包含在上述攝像步驟得到的現(xiàn)實(shí)空間的圖像中的標(biāo)識(shí)在上述圖像中的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；求出在上述位置姿勢(shì)測(cè)量步驟得到的位置姿勢(shì)中的、上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
33.一種標(biāo)識(shí)的識(shí)別方法，用于現(xiàn)實(shí)空間中的對(duì)象物體的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述對(duì)象物體的大致位置姿勢(shì)的位置姿勢(shì)測(cè)量步驟；用固定的攝像裝置對(duì)上述對(duì)象物體進(jìn)行攝像的攝像步驟；求出在上述攝像步驟得到的攝像圖像中的標(biāo)識(shí)的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述位置姿勢(shì)測(cè)量步驟得到的位置姿勢(shì)，求出上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
34.一種標(biāo)識(shí)的識(shí)別方法，用于現(xiàn)實(shí)空間中的對(duì)象物體的位置姿勢(shì)測(cè)量，其特征在于，包括以下步驟測(cè)量上述對(duì)象物體的大致位置姿勢(shì)的第1位置姿勢(shì)測(cè)量步驟；測(cè)量對(duì)上述對(duì)象物體進(jìn)行攝像的攝像裝置的大致位置姿勢(shì)的第2位置姿勢(shì)測(cè)量步驟；用上述攝像裝置對(duì)上述對(duì)象物體進(jìn)行攝像的攝像步驟；求出在上述攝像步驟得到的攝像圖像中的標(biāo)識(shí)的坐標(biāo)的第1圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1位置姿勢(shì)測(cè)量步驟和上述第2位置姿勢(shì)測(cè)量步驟得到的以上述攝像裝置為基準(zhǔn)的對(duì)象物體的位置姿勢(shì)，或者以上述對(duì)象物體為基準(zhǔn)的上述攝像裝置的位置姿勢(shì)，求出上述攝像裝置的攝像畫(huà)面中的標(biāo)識(shí)的坐標(biāo)的第2圖像坐標(biāo)計(jì)算步驟；根據(jù)在上述第1圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，在上述第2圖像坐標(biāo)計(jì)算步驟求出的標(biāo)識(shí)的坐標(biāo)，和在上述第2位置姿勢(shì)測(cè)量步驟得到的上述攝像裝置的視軸向量與上述第1位置姿勢(shì)測(cè)量步驟得到的標(biāo)識(shí)的法線向量之間的關(guān)系，進(jìn)行標(biāo)識(shí)的識(shí)別。
全文摘要
提供一種圖像顯示裝置和方法、測(cè)量裝置和方法、信息處理方法和裝置、識(shí)別方法。外部標(biāo)識(shí)檢測(cè)部105輸入由攝像機(jī)100攝影的圖像，檢測(cè)設(shè)定于實(shí)際場(chǎng)景的外部標(biāo)識(shí)。回轉(zhuǎn)速度儀110測(cè)量車輛的兩后輪的回速度。車輛測(cè)量部120根據(jù)外部標(biāo)識(shí)的圖像坐標(biāo)和車輛的兩后輪的回轉(zhuǎn)速度測(cè)量車輛的位置和方位。頭部標(biāo)識(shí)檢測(cè)部135輸入攝像機(jī)130攝影獲得的圖像，檢測(cè)設(shè)定于搭乘者132的頭部的頭部標(biāo)識(shí)。頭部測(cè)量部140根據(jù)頭部標(biāo)識(shí)的圖像坐標(biāo)測(cè)量頭部的位置。圖像生成部150根據(jù)車輛的位置、方位和頭部的位置在實(shí)際場(chǎng)景的預(yù)定位置重疊預(yù)定的導(dǎo)航信息生成顯示圖像使得能夠觀察，由投影儀160投影。
文檔編號(hào)G02B27/01GK1495411SQ0315693
公開(kāi)日2004年5月12日 申請(qǐng)日期2003年9月15日 優(yōu)先權(quán)日2002年9月13日
發(fā)明者橫小路泰義, 二, 內(nèi)山晉二, 佐藤清秀, 秀, 亮, 衛(wèi)藤大亮, 中津留智泰, 智泰, 吉川恒夫, 夫 申請(qǐng)人:佳能株式會(huì)社