專利名稱：信息處理方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可應(yīng)用到識(shí)別包含在由成像裝置所捕獲圖像中的指標(biāo)所需的系統(tǒng)的信息處理技術(shù)。
背景技術(shù)：
傳統(tǒng)技術(shù)1照相機(jī)或其它捕獲物理空間的捕獲單元(在下文中，統(tǒng)稱為“照相機(jī)”)的位置和方向的測(cè)量例如在結(jié)合物理空間和虛擬空間以顯示合成的空間圖像的混合現(xiàn)實(shí)系統(tǒng)中是必需的。
正如在日本專利申請(qǐng)?zhí)亻_號(hào)11-084307，日本專利申請(qǐng)?zhí)亻_號(hào)2000-041173，或者A.State，G.Hirota，D.T.Chen，B.Garrett，和M.Livingston在1996年7月Proc.SIGGRAPH’96的第429-438頁(yè)“Superior augmented reality registration by integrating landmarktracking and magnetic tracking”中所討論的，有一種用于通過使用位于物理空間中已知位置的標(biāo)記或特征點(diǎn)(在下文中，統(tǒng)稱為“指標(biāo)”)校正由能測(cè)量照相機(jī)位置和方向的傳感器獲得的測(cè)量錯(cuò)誤的傳統(tǒng)方法。
傳統(tǒng)技術(shù)2如Kato，Billinghurst，Asano，和Tachibana在日本虛擬現(xiàn)實(shí)社會(huì)專論1999年12月第4卷第4號(hào)607-616頁(yè)“Marker tracking basedaugmented reality system and related calibration”，或X.Zhang，S.Fronz，和N.Navab在2002年的A comparative study，Proc.OfInternational Symosium on Mixed and AugmentedReality(ISMAR’02)“Visual marker detection and decoding in ARsystems”中所討論的，有一種僅僅基于由照相機(jī)捕獲的指標(biāo)而不依賴從位置和方向傳感器獲得的信息估計(jì)照相機(jī)位置和方向的傳統(tǒng)方法。
例如，照相機(jī)的位置和方向可以基于正方形的四個(gè)頂點(diǎn)的坐標(biāo)來估計(jì)，如果使用這種正方形指標(biāo)的話。但是，正方形是關(guān)于通過中心(即，對(duì)角線的交叉點(diǎn))并且與正方形表面垂直的旋轉(zhuǎn)軸旋轉(zhuǎn)對(duì)稱(每旋轉(zhuǎn)90度)的。這樣，就不可能基于各自頂點(diǎn)的坐標(biāo)識(shí)別上下或左右的方向。為解決這個(gè)問題，正方形指標(biāo)可以包含定義方向的圖像特征。而且，當(dāng)使用多個(gè)指標(biāo)時(shí)，有必要僅僅基于由照相機(jī)捕獲的圖像區(qū)別每個(gè)指標(biāo)。這樣，指標(biāo)可以包含圖形信息，比如唯一的圖案或符號(hào)，為每個(gè)指標(biāo)作區(qū)分。
傳統(tǒng)技術(shù)3而且，有一種通過使用多個(gè)每個(gè)在物理空間都有已知位置和方向的捕獲單元和捕獲多個(gè)每個(gè)在對(duì)象體上都有已知位置的指標(biāo)的圖像來估計(jì)對(duì)象體的位置和方向的傳統(tǒng)方法。根據(jù)這種傳統(tǒng)技術(shù)，發(fā)光二級(jí)管(LED)用作識(shí)別每個(gè)檢測(cè)到的指標(biāo)的單元，并且每個(gè)發(fā)光二極管的光發(fā)射時(shí)間是可以控制的。
在根據(jù)傳統(tǒng)技術(shù)1估計(jì)照相機(jī)位置和方向的方法中，每個(gè)指標(biāo)可以是有特殊顏色的小圓片。在這種情況下，每個(gè)指標(biāo)的信息是三維位置信息(即，坐標(biāo))和顏色。
識(shí)別指標(biāo)的方法可以包括步驟利用位置和方向傳感器測(cè)出的值把指標(biāo)的三維位置投射到照相機(jī)的圖像表面，從圖像檢測(cè)指標(biāo)的顏色，和從圖像計(jì)算質(zhì)心位置。而且，這個(gè)方法可以包括步驟比較投射到圖像表面的指標(biāo)的位置和從圖像計(jì)算的質(zhì)心的位置，和識(shí)別最接近的一個(gè)作為真正的指標(biāo)。
但是，根據(jù)上面描述的用于從圖像檢測(cè)指標(biāo)的顏色區(qū)域檢測(cè)方法，與指標(biāo)相似的區(qū)域或?qū)ο髸?huì)從由照相機(jī)捕獲的物理空間中錯(cuò)誤地檢測(cè)到，例如，在錯(cuò)誤地檢測(cè)到的區(qū)域的顏色與指標(biāo)的顏色很相似的情況下。
為解決上述問題，有一種使用由同心放置的不同顏色圖案組成的組合指標(biāo)的傳統(tǒng)方法，包括步驟檢測(cè)顏色區(qū)域，檢查檢測(cè)到的顏色的組合，和識(shí)別有正確顏色組合的區(qū)域作為真正的指標(biāo)。根據(jù)這種方法，與使用單色指標(biāo)的方法比較，錯(cuò)誤地檢測(cè)到背景圖像的部分作為指標(biāo)的可能性就降低了。
但是，為了精確地和穩(wěn)定地基于顏色區(qū)域檢測(cè)方法檢測(cè)指標(biāo)，必須能容易地和安全地識(shí)別每個(gè)指標(biāo)的顏色。而且，當(dāng)指標(biāo)是由同心放置的不同顏色圖案組成的時(shí)候，指標(biāo)必須在捕獲的圖像中足夠大以便同心顏色圖案能被可靠地檢測(cè)到。換句話說，一個(gè)可能破壞物理空間圖像的非常大的指標(biāo)必須放置在物理空間。但是，在有限的物理空間中放置這樣的非常大的指標(biāo)可能不允許，或者會(huì)惡化物理空間的可見性。
根據(jù)傳統(tǒng)技術(shù)2所描述的利用正方形標(biāo)識(shí)或其它圖形指標(biāo)的方法，區(qū)別每個(gè)標(biāo)識(shí)完全依賴于從圖像上獲得的有限信息。這樣，每個(gè)指標(biāo)必須包含與眾不同的符號(hào)信息或模板信息。
圖9示出了用在上述傳統(tǒng)技術(shù)2中的實(shí)際的正方形標(biāo)識(shí)的示例，它在Kato，Billinghurst，Asano，和Tachibana日本虛擬現(xiàn)實(shí)社會(huì)專論1999年12月第4卷第4號(hào)607-616頁(yè)中“Marker tracking basedaugmented reality system and related calibration”，或X.Zhang，S.Fronz，和N.Navab在2002年的A comparative study，Proc.OfInternational Symosium on Mixed and AugmentedReality(ISMAR’02)“Visual marker detection and decoding in ARsystems”中討論了。
但是，這樣復(fù)雜的指標(biāo)不能從捕獲圖像中穩(wěn)定地檢測(cè)到，除非指標(biāo)圖像在整個(gè)捕獲的圖像表面占有足夠大的區(qū)域。換句話說，必須為指標(biāo)提供物理空間相對(duì)大的區(qū)域，或者照相機(jī)必須與指標(biāo)足夠得近。這樣，這種指標(biāo)就會(huì)在設(shè)置或布置時(shí)遇到嚴(yán)格的條件。
而且，有使用發(fā)光二極管或類似光發(fā)射元件或回射器作為有較小尺寸的獨(dú)特指標(biāo)的傳統(tǒng)方法。但是，根據(jù)這種方法，如果有與指標(biāo)相似的光發(fā)射元件或反射體出現(xiàn)，就會(huì)有錯(cuò)誤的檢測(cè)。
例如，如圖10所示，光發(fā)射元件203可以出現(xiàn)在裝在物理對(duì)象204上的指標(biāo)205的背景空間中。指標(biāo)205是個(gè)發(fā)光的球，其能發(fā)射例如紅外光。光發(fā)射元件203是能發(fā)射紅外光的電子燈泡。
圖11示出了由紅外線照相機(jī)101通過可見光切割(即，紅外光發(fā)射)過濾器202捕獲的圖像，它包括與光發(fā)射元件203和指標(biāo)205對(duì)應(yīng)的亮的環(huán)形區(qū)域。
在這種情況下，如果用于檢測(cè)與指標(biāo)205對(duì)應(yīng)的更亮區(qū)域的處理應(yīng)用到這個(gè)圖像上，不僅與指標(biāo)205對(duì)應(yīng)的環(huán)形區(qū)域301而且與光發(fā)射元件203對(duì)應(yīng)的環(huán)形區(qū)域302會(huì)被檢測(cè)成有指標(biāo)205亮度的區(qū)域。在這種情況下，很難在兩個(gè)候選區(qū)域301和302中識(shí)別指標(biāo)205。相應(yīng)地，如果不具有獨(dú)特亮度的指標(biāo)和類似體出現(xiàn)在由照相機(jī)捕獲的物理空間中時(shí)，指標(biāo)的錯(cuò)誤識(shí)別就會(huì)發(fā)生。
而且，有使用以相互固定的關(guān)系放置在預(yù)定位置的多個(gè)光發(fā)射元件(或反射器)作為指標(biāo)，并且基于檢測(cè)到的位置關(guān)系區(qū)分各個(gè)指標(biāo)的傳統(tǒng)方法。但是，如果一個(gè)或多個(gè)光發(fā)射元件(或反射器)被隱藏了，指標(biāo)的區(qū)分就不可能了。而且，在有限的物理空間中放置大量的指標(biāo)會(huì)惡化物理空間的可見性。
另一方面，傳統(tǒng)技術(shù)3需要光發(fā)射定時(shí)控制機(jī)制或高速照相機(jī)，因?yàn)楣獍l(fā)射定時(shí)必須以分時(shí)方式控制以便區(qū)分個(gè)別指標(biāo)。這樣，成本就增加了。

發(fā)明內(nèi)容
本發(fā)明旨在能夠解決或至少減輕上述問題的技術(shù)。
至少一個(gè)示例實(shí)施方式旨在一種信息處理方法，其包括輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像的第一圖像輸入步驟；輸入由配置成從客觀視野位置捕獲成像裝置的客觀捕獲單元捕獲的第二圖像的第二圖像輸入步驟；基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量的第一檢測(cè)步驟；基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量的第二檢測(cè)步驟；基于在第一檢測(cè)步驟中檢測(cè)到的與第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域的識(shí)別步驟。
而且，至少一個(gè)示例實(shí)施方式旨在一種信息處理方法，其包括輸入由安裝在對(duì)象體上并配置成捕獲物理空間的成像裝置捕獲的第一圖像的第一圖像輸入步驟；輸入由配置成從客觀視野位置捕獲對(duì)象體的客觀捕獲單元捕獲的第二圖像的第二圖像輸入步驟；基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量的第一檢測(cè)步驟；基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與同對(duì)象體上的第二指標(biāo)有關(guān)的候選區(qū)域圖像坐標(biāo)相關(guān)的特征量的第二檢測(cè)步驟；基于與在第一檢測(cè)步驟中檢測(cè)到的第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域的識(shí)別步驟。
而且，至少一個(gè)示例實(shí)施方式旨在存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上使計(jì)算機(jī)執(zhí)行上述信息處理方法的計(jì)算機(jī)程序。
而且，至少一個(gè)示例實(shí)施方式旨在一種信息處理裝置，其包括布置成輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像的第一圖像輸入單元；布置成輸入由配置成從客觀視野位置捕獲成像裝置的客觀捕獲單元捕獲的第二圖像的第二圖像輸入裝置；布置成基于由第一圖像輸入單元輸入的第一圖像，檢測(cè)與物理空間中第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量的第一檢測(cè)單元；布置成基于由第二圖像輸入單元輸入的第二圖像，檢測(cè)與向成像裝置上第二指標(biāo)有關(guān)的候選區(qū)域圖像坐標(biāo)相關(guān)的特征量的第二檢測(cè)單元；布置成基于與第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域的識(shí)別單元。
而且，至少一個(gè)示例實(shí)施方式旨在一種信息處理裝置，其包括布置成輸入由安裝在對(duì)象體上并配置成捕獲物理空間的成像裝置捕獲的第一圖像的第一圖像輸入單元；布置成輸入由配置成從客觀視野位置捕獲對(duì)象體的客觀捕獲單元捕獲的第二圖像的第二圖像輸入單元；布置成基于由第一圖像輸入單元輸入的第一圖像，檢測(cè)與物理空間中第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量的第一檢測(cè)單元；布置成基于由第二圖像輸入單元輸入的第二圖像，檢測(cè)與同對(duì)象體上第二指標(biāo)有關(guān)的候選區(qū)域圖像坐標(biāo)相關(guān)的特征量的第二檢測(cè)單元；基于與同第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域的識(shí)別單元。
本發(fā)明的更多特征在下面參考附圖的示例實(shí)施方式的具體描述中變得顯而易見。


結(jié)合進(jìn)本說明書并構(gòu)成其一部分的

了本發(fā)明的實(shí)施方式，并且和描述一起用于解釋本發(fā)明的原理。
圖1是說明根據(jù)第一示例實(shí)施方式的信息處理裝置的示意性布置的框圖。
圖2是說明能執(zhí)行實(shí)現(xiàn)如圖1所示信息處理裝置的功能的軟件程序的計(jì)算機(jī)的基本布置框圖。
圖3是顯示根據(jù)第一示例實(shí)施方式計(jì)算約束客觀照相機(jī)指標(biāo)候選位置的直線的處理的流程圖。
圖4是顯示根據(jù)第一示例實(shí)施方式識(shí)別客觀照相機(jī)指標(biāo)的處理的流程圖。
圖5是說明根據(jù)第二示例實(shí)施方式的信息處理裝置的示意性布置框圖。
圖6是顯示根據(jù)第二示例實(shí)施方式計(jì)算客觀照相機(jī)指標(biāo)候選的三維位置的處理的流程圖。
圖7是顯示根據(jù)第二示例實(shí)施方式識(shí)別客觀照相機(jī)指標(biāo)的處理的流程圖。
圖8是說明根據(jù)第三示例實(shí)施方式的信息處理裝置的示意性布置框圖。
圖9是說明傳統(tǒng)上使用的實(shí)際指標(biāo)的示例的視圖。
圖10是顯示包括發(fā)光指標(biāo)和光發(fā)射元件的物理空間的示例的透視圖。
圖11是顯示由如圖10所示的紅外照相機(jī)捕獲的圖像的視圖。
圖12是顯示根據(jù)修改的實(shí)施方式計(jì)算成像裝置(或?qū)ο篌w)位置和方向的處理的流程圖。
具體實(shí)施例方式
以下對(duì)示例實(shí)施方式的描述本質(zhì)上僅僅是說明性的，而決不是要限制本發(fā)明，它的應(yīng)用或使用。
本領(lǐng)域普通技術(shù)人員已知的處理，技術(shù)，裝置和材料可以不進(jìn)行具體討論，但是如果合適也打算作為使得能夠?qū)崿F(xiàn)的描述的一部分。例如用于信號(hào)處理、計(jì)算和其它用途的特定電路可以不具體討論。但是在此相關(guān)領(lǐng)域的普通技術(shù)人員已知的這些系統(tǒng)和構(gòu)成這些系統(tǒng)的方法在合適的地方也打算成為使得能夠?qū)崿F(xiàn)的公開內(nèi)容的一部分。
需要注意的是貫穿本說明書，在下面圖中相似的標(biāo)號(hào)和字母指代相似的項(xiàng)目，因此一旦一個(gè)項(xiàng)目在一個(gè)圖中定義了，它就不會(huì)在下面圖中討論。
示例實(shí)施方式將會(huì)參考附圖在下面具體描述。
第一示例實(shí)施方式根據(jù)第一示例實(shí)施方式的信息處理裝置能基于成像裝置的估計(jì)位置識(shí)別指標(biāo)。根據(jù)本示例實(shí)施方式的信息處理裝置和信息處理方法將會(huì)在下面參考附圖描述。
圖1是說明示例信息處理裝置100的示意性布置的框圖。信息處理裝置100包括照相機(jī)(“客觀”照相機(jī)180)，圖像輸入部分160，數(shù)據(jù)存儲(chǔ)部分170，“主觀”照相機(jī)指標(biāo)檢測(cè)部分110，位置和方向估計(jì)部分120，“客觀”照相機(jī)指標(biāo)候選檢測(cè)部分140，位置約束條件計(jì)算部分150，“客觀”照相機(jī)指標(biāo)識(shí)別部分190。信息處理裝置100連接到成像裝置130。“客觀”照相機(jī)180是放置在預(yù)定位置以捕獲成像裝置130的圖像的照相機(jī)。
能被成像裝置130捕獲的預(yù)定數(shù)量的指標(biāo)(在下文中，統(tǒng)稱為“主觀照相機(jī)指標(biāo)”)在物理空間的預(yù)定位置提供。更詳細(xì)地，多個(gè)主觀照相機(jī)指標(biāo)Qk(k＝1，...KQ)放置在世界坐標(biāo)系(即，具有在物理空間定義的原點(diǎn)和彼此垂直并從原點(diǎn)延伸的X-，Y-，和Z-軸的坐標(biāo)系)中定義的預(yù)定位置XWQk。
能被客觀照相機(jī)180捕獲的指標(biāo)(下文中，統(tǒng)稱為“客觀照相機(jī)指標(biāo)”)提供到成像裝置130上。更詳細(xì)地，客觀照相機(jī)指標(biāo)P放置在成像裝置坐標(biāo)系(即，具有在成像裝置130上定義的原點(diǎn)和彼此垂直并從原點(diǎn)延伸的X-，Y-，和Z-軸的坐標(biāo)系)中定義的預(yù)定位置xCP。
當(dāng)成像裝置130放置在客觀照相機(jī)180的視場(chǎng)的任意點(diǎn)時(shí)，可以在由成像裝置130獲得的主觀視野圖像上穩(wěn)定地觀察至少三個(gè)客觀照相機(jī)指標(biāo)Qk是優(yōu)選的。而且，可以在客觀照相機(jī)180獲得的客觀視野圖像上穩(wěn)定地觀察客觀照相機(jī)指標(biāo)P是優(yōu)選的。
圖1所示的示例包括4個(gè)主觀照相機(jī)指標(biāo)Q1、Q2、Q3和Q4和一個(gè)客觀照相機(jī)指標(biāo)P。而且，與客觀照相機(jī)指標(biāo)P相似的偽指標(biāo)P’出現(xiàn)在物理空間。三個(gè)主觀照相機(jī)指標(biāo)Q1，Q3和Q4在成像裝置130的視場(chǎng)。一個(gè)客觀照相機(jī)指標(biāo)P和一個(gè)偽指標(biāo)P’出現(xiàn)在客觀照相機(jī)180的視場(chǎng)中。
主觀照相機(jī)指標(biāo)Qk可以是，例如，具有不同顏色的環(huán)形標(biāo)識(shí)，或者可以是具有不同紋理特征的自然特征或其它特征點(diǎn)。而且，主觀照相機(jī)指標(biāo)Qk可以是矩形指標(biāo)例如每個(gè)都有合適尺寸的矩形單色區(qū)域，或如果每個(gè)指標(biāo)的圖像坐標(biāo)當(dāng)它投射到攝影圖像上時(shí)并且當(dāng)這個(gè)指標(biāo)能根據(jù)合適的方法被區(qū)分時(shí)能被檢測(cè)到的話可以配置成任何其它指標(biāo)。而且，每個(gè)指標(biāo)可以是有意提供的或者是任何不是有意提供的自然指標(biāo)。
客觀照相機(jī)指標(biāo)P例如用LED或回射器配置，因?yàn)樗仨氃谟蓮倪h(yuǎn)處具有寬視角的客觀照相機(jī)捕獲的圖像上被穩(wěn)定地檢測(cè)到。
圖像輸入部分160接收由成像裝置130產(chǎn)生的圖像(在下文中，統(tǒng)稱為“主觀視野圖像”)。而且，圖像輸入部分160接收客觀照相機(jī)180產(chǎn)生的圖像(在下文中，統(tǒng)稱為“客觀視野圖像”)。
客觀照相機(jī)180靜止地放置在預(yù)定位置以便客觀照相機(jī)180能捕獲在成像裝置130上的客觀照相機(jī)指標(biāo)P。數(shù)據(jù)存儲(chǔ)部分170可以預(yù)先存儲(chǔ)與客觀照相機(jī)180的位置和方向相關(guān)的信息作為在世界坐標(biāo)系中定義的已知值。
圖像輸入部分160能把輸入到信息處理裝置100的主觀視野圖像和客觀視野圖像轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。數(shù)據(jù)存儲(chǔ)部分170能存儲(chǔ)從圖像輸入部分160接收的數(shù)字?jǐn)?shù)據(jù)。
主觀照相機(jī)指標(biāo)檢測(cè)部分110能從數(shù)據(jù)存儲(chǔ)部分170輸入數(shù)字的主觀視野圖像，并在輸入圖像中檢測(cè)主觀照相機(jī)指標(biāo)的圖像坐標(biāo)。
例如，如果主觀照相機(jī)指標(biāo)是具有不同顏色的標(biāo)識(shí)，那么主觀照相機(jī)指標(biāo)檢測(cè)部分110能從輸入圖像檢測(cè)與各個(gè)標(biāo)識(shí)顏色對(duì)應(yīng)的區(qū)域，并且識(shí)別檢測(cè)到的區(qū)域的質(zhì)心位置作為檢測(cè)到的主觀照相機(jī)指標(biāo)的坐標(biāo)。
而且，如果主觀照相機(jī)的指標(biāo)是具有不同紋理特征的特征點(diǎn)，主觀照相機(jī)指標(biāo)檢測(cè)部分110能把模板匹配應(yīng)用到輸入圖像來檢測(cè)主觀照相機(jī)指標(biāo)的位置。為此，主觀照相機(jī)指標(biāo)檢測(cè)部分110可以預(yù)先存儲(chǔ)各個(gè)主觀照相機(jī)指標(biāo)的模板圖像作為已知信息。
而且，如果主觀照相機(jī)指標(biāo)是矩形指標(biāo)，主觀照相機(jī)指標(biāo)檢測(cè)部分110就能把二進(jìn)制處理應(yīng)用到輸入圖像然后執(zhí)行標(biāo)號(hào)來檢測(cè)由四條直線定義的每個(gè)區(qū)域作為指標(biāo)候選。
然后，主觀照相機(jī)指標(biāo)檢測(cè)部分110能決定是否在候選區(qū)域有特殊圖案來排除錯(cuò)誤的檢測(cè)，并且能獲得指標(biāo)的標(biāo)識(shí)符。在本說明書中，在本示例實(shí)施方式中，每個(gè)用這種方式檢測(cè)到的矩形指標(biāo)對(duì)應(yīng)于放置在四個(gè)角的四個(gè)指標(biāo)。
而且，主觀照相機(jī)指標(biāo)檢測(cè)部分110能從數(shù)據(jù)存儲(chǔ)部分170輸入成像裝置130(即，從位置和方向估計(jì)部分120獲得的輸出)的估計(jì)位置，并且能基于估計(jì)的位置預(yù)測(cè)在圖像上的主觀照相機(jī)指標(biāo)的位置以便限制搜索范圍。這樣，用于檢測(cè)主觀照相機(jī)指標(biāo)的處理的計(jì)算量就減少了，并且錯(cuò)誤地檢測(cè)或識(shí)別主觀照相機(jī)指標(biāo)的概率就降低了。
而且，主觀照相機(jī)指標(biāo)檢測(cè)部分110能將每個(gè)檢測(cè)到的指標(biāo)的圖像坐標(biāo)和這個(gè)指標(biāo)的標(biāo)識(shí)符輸出到數(shù)據(jù)存儲(chǔ)部分170。在下面的描述中，當(dāng)檢測(cè)到的指標(biāo)有標(biāo)識(shí)符n(n＝1，...，N)，其中N表示在主觀視野圖像上檢測(cè)到的指標(biāo)總數(shù)時(shí)，Qkn表示在主觀視野圖像上檢測(cè)到的指標(biāo)。而且，UQkn表示檢測(cè)到的指標(biāo)Qkn的圖像坐標(biāo)。例如，在圖1所示的示例中(即，N＝3)，主觀照相機(jī)指標(biāo)檢測(cè)部分110能輸出具有標(biāo)識(shí)符k1＝1、k2＝3和k3＝4的指標(biāo)的圖像坐標(biāo)uQk1、uQk2和uQk3。
位置和方向估計(jì)部分120能從數(shù)據(jù)存儲(chǔ)部分170輸入主觀照相機(jī)指標(biāo)檢測(cè)部分110檢測(cè)到的每個(gè)主觀照相機(jī)指標(biāo)的圖像坐標(biāo)UQkn和相應(yīng)的預(yù)先存儲(chǔ)的世界坐標(biāo)XWQkn的組合作為已知信息。位置和方向估計(jì)部分120能基于組合的信息估計(jì)成像裝置130的位置和方向。例如，估計(jì)的位置和方向能以表示位置的三維向量XWC和表示方向的3×3矩陣RWC的組合來表示，并輸出到數(shù)據(jù)存儲(chǔ)部分170。
基于主觀照相機(jī)指標(biāo)的世界坐標(biāo)和圖像坐標(biāo)的組合計(jì)算成像裝置130的位置和方向的方法在照相測(cè)量或類似領(lǐng)域中是已知的(例如，參考R.M.Haralick，C.Lee，K.Ottenberg，和M.Nolle在1994年International Journal of Computer Vision第13卷第3號(hào)331-356頁(yè)的“Review and analysis of solutions of the three point perspective poseestimation problem”，或D.G.Lowe在1991年IEEE Transactions onPAMI上的第13卷第5號(hào)441-450頁(yè)的“Fitting parameterizedthree-dimensional models to images”)。
客觀照相機(jī)指標(biāo)候選檢測(cè)部分140能從數(shù)據(jù)存儲(chǔ)部分170輸入數(shù)字的客觀視野圖像，并能檢測(cè)在輸入的客觀視野圖像上客觀照相機(jī)指標(biāo)(和偽指標(biāo))的圖像坐標(biāo)。
例如，客觀照相機(jī)指標(biāo)候選檢測(cè)部分140能檢測(cè)在圖像上具有LED或回射器亮度的區(qū)域，并識(shí)別檢測(cè)到的區(qū)域的質(zhì)點(diǎn)位置作為檢測(cè)到的客觀照相機(jī)指標(biāo)的坐標(biāo)。
而且，客觀照相機(jī)指標(biāo)候選檢測(cè)部分140能將檢測(cè)到的客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)輸出到數(shù)據(jù)存儲(chǔ)部分170。在下面的描述中，當(dāng)檢測(cè)到的客觀照相機(jī)指標(biāo)候選有標(biāo)識(shí)符m(m＝1，...，M)，其中M表示在客觀視野圖像上的檢測(cè)到的客觀照相機(jī)指標(biāo)候選的總數(shù)時(shí)，Pm表示在客觀視野圖像上的檢測(cè)到的客觀照相機(jī)指標(biāo)候選。而且，uPm表示檢測(cè)到的客觀照相機(jī)指標(biāo)候選Pm的圖像坐標(biāo)。例如，在圖1所示的示例中(即，M＝2)，客觀照相機(jī)指標(biāo)候選檢測(cè)部分140能輸出圖像坐標(biāo)uP1和uP2。
位置約束條件計(jì)算部分150能從數(shù)據(jù)存儲(chǔ)部分170輸入客觀照相機(jī)指標(biāo)候選檢測(cè)部分140檢測(cè)到的每個(gè)客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)uPm和定義在世界坐標(biāo)系中的客觀照相機(jī)180的位置和方向。這樣，位置約束條件計(jì)算部分150能基于輸入信息計(jì)算每個(gè)客觀照相機(jī)指標(biāo)候選的位置約束條件。在本示例實(shí)施方式中，位置約束條件是描述約束位置的直線的參數(shù)。
客觀照相機(jī)指標(biāo)識(shí)別部分190能基于由位置和方向估計(jì)部分120估計(jì)的成像裝置130的位置和方向和由位置約束條件計(jì)算部分150計(jì)算的每個(gè)客觀照相機(jī)指標(biāo)候選的位置約束條件識(shí)別客觀照相機(jī)指標(biāo)。
數(shù)據(jù)存儲(chǔ)部分170能保持各種數(shù)據(jù)，比如從圖像輸入部分160輸入的圖像數(shù)據(jù)，從位置和方向估計(jì)部分120輸入的估計(jì)位置數(shù)據(jù)，從主觀照相機(jī)指標(biāo)檢測(cè)部分110輸入的每個(gè)指標(biāo)的圖像坐標(biāo)和標(biāo)識(shí)符，從客觀照相機(jī)指標(biāo)候選檢測(cè)部分140輸入的每個(gè)指標(biāo)候選的圖像坐標(biāo)，以及主觀照相機(jī)指標(biāo)的世界坐標(biāo)(即，已知值)，客觀照相機(jī)指標(biāo)的成像裝置坐標(biāo)(即，在成像裝置坐標(biāo)系的坐標(biāo)值)，和客觀照相機(jī)180的照相機(jī)參數(shù)。數(shù)據(jù)存儲(chǔ)部分170能在需要時(shí)輸入和輸出這些數(shù)據(jù)。
圖1所示的圖像輸入部分160、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分120、客觀照相機(jī)指標(biāo)候選檢測(cè)部分140、位置約束條件計(jì)算部分150和客觀照相機(jī)指標(biāo)識(shí)別部分190可以是分離的單元，或者可以是可安裝在一個(gè)或多個(gè)計(jì)算機(jī)上的可以由計(jì)算機(jī)上的中央處理單元(CPU)執(zhí)行的實(shí)現(xiàn)這些功能的軟件程序。
在本示例實(shí)施方式中，是由單一的計(jì)算機(jī)執(zhí)行軟件程序來實(shí)現(xiàn)上述多個(gè)部分(即，圖像輸入部分160、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分120、客觀照相機(jī)指標(biāo)候選檢測(cè)部分140、位置約束條件計(jì)算部分150和客觀照相機(jī)指標(biāo)識(shí)別部分190)的功能。
圖2是顯示能執(zhí)行軟件程序來實(shí)現(xiàn)圖像輸入部分160，數(shù)據(jù)存儲(chǔ)部分170，主觀照相機(jī)指標(biāo)檢測(cè)部分110，位置和方向估計(jì)部分120，客觀照相機(jī)指標(biāo)候選檢測(cè)部分140，位置約束條件計(jì)算部分150，和客觀照相機(jī)指標(biāo)識(shí)別部分190的功能的計(jì)算機(jī)的基本布置的框圖。
CPU1001能基于存儲(chǔ)在RAM1002或ROM1003內(nèi)的程序或數(shù)據(jù)對(duì)計(jì)算機(jī)執(zhí)行總的控制，并且控制軟件程序的執(zhí)行來實(shí)現(xiàn)圖像輸入部分160，數(shù)據(jù)存儲(chǔ)部分170，主觀照相機(jī)指標(biāo)檢測(cè)部分110，位置和方向估計(jì)部分120，客觀照相機(jī)指標(biāo)候選檢測(cè)部分140，位置約束條件計(jì)算部分150，和客觀照相機(jī)指標(biāo)識(shí)別部分190的功能。
RAM1002有臨時(shí)存儲(chǔ)從外部存儲(chǔ)裝置1007或從存儲(chǔ)介質(zhì)驅(qū)動(dòng)器1008加載的程序和數(shù)據(jù)的區(qū)域，和用于由CPU1001執(zhí)行各種處理的工作區(qū)域。RAM1002能實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)部分170的功能。
ROM1003能存儲(chǔ)計(jì)算機(jī)的存儲(chǔ)程序和設(shè)置數(shù)據(jù)。鍵盤1004和鼠標(biāo)1005允許計(jì)算機(jī)的操作者輸入各種指令到CPU1001。
顯示單元1006可以是能顯示例如在成像裝置130的位置和方向測(cè)量中所需要的消息等的陰極射線管(CRT)或液晶屏幕。
外部存儲(chǔ)裝置1007可以作為海量信息存儲(chǔ)裝置，比如能存儲(chǔ)OS(操作系統(tǒng))和軟件程序的硬盤。而且，在本示例實(shí)施方式中的已知信息能存儲(chǔ)在外部存儲(chǔ)裝置1007上并且能在需要時(shí)加載到RAM1002。
存儲(chǔ)介質(zhì)驅(qū)動(dòng)器1008能根據(jù)從CPU1001提供的指令讀取存儲(chǔ)在CD-ROM，DVD-ROM或其它存儲(chǔ)介質(zhì)中的程序和數(shù)據(jù)并且輸出讀出程序和數(shù)據(jù)到RAM1002或外部存儲(chǔ)裝置1007。
接口(I/F)1009包括通過其成像裝置130可以連接到計(jì)算機(jī)的模擬視頻口或IEEE1394或其它數(shù)字輸入/輸出口，通過其方向傳感器(沒有顯示)可以連接到計(jì)算機(jī)的RS232C或USB串口，和通過其與每個(gè)識(shí)別的指標(biāo)相關(guān)的信息可以輸出到外部設(shè)備的以太網(wǎng)(注冊(cè)商標(biāo))口。通過接口1009輸入的數(shù)據(jù)能存儲(chǔ)在RAM1002中。接口1009能實(shí)現(xiàn)圖像輸入部分160的部分功能。
上述組成部分是通過總線1010互相連接的。
圖3是顯示由CPU1001執(zhí)行的用于計(jì)算約束客觀照相機(jī)指標(biāo)候選Pm位置的直線的處理的流程圖。這個(gè)處理是在CPU1001執(zhí)行與位置約束條件計(jì)算部分150功能相應(yīng)的軟件程序時(shí)實(shí)現(xiàn)的。在這種情況下，用于這個(gè)流程圖的程序代碼在CPU1001執(zhí)行下述處理之前就已經(jīng)加載到RAM1002中了。
在步驟S4000中，位置約束條件計(jì)算部分150從數(shù)據(jù)存儲(chǔ)部分170輸入客觀照相機(jī)指標(biāo)候選檢測(cè)部分140檢測(cè)到的每個(gè)客觀照相機(jī)指標(biāo)候選Pm的圖像坐標(biāo)UPm。
在步驟S4010中，位置約束條件計(jì)算部分150基于圖像坐標(biāo)uPm計(jì)算表示約束在世界坐標(biāo)系中每個(gè)客觀照相機(jī)指標(biāo)候選Pm位置的直線的參數(shù)。
更具體而言，位置約束條件計(jì)算部分150按照下面的公式(1)基于圖像坐標(biāo)uPm，在世界坐標(biāo)系中計(jì)算直線的梯度hxm，hym，和hzm，并指定值hxm，hym，和hzm作為直線的參數(shù)。
hxmhymhzm0=RWB·uxPm/fxBuyPm/fyB10---(1)]]>在公式(1)中，fBx和fBy分別表示作為已知值在數(shù)據(jù)存儲(chǔ)部分170中預(yù)先存儲(chǔ)的客觀照相機(jī)180在x-軸方向和y-軸方向上的焦點(diǎn)長(zhǎng)度。而且，RWB是把客觀照相機(jī)坐標(biāo)系中的方向轉(zhuǎn)換成相應(yīng)的世界坐標(biāo)系中的方向的旋轉(zhuǎn)矩陣。旋轉(zhuǎn)矩陣RWB是基于客觀照相機(jī)180在世界坐標(biāo)系中的方向預(yù)先計(jì)算的。客觀照相機(jī)180的方向是作為已知值預(yù)先存儲(chǔ)在數(shù)據(jù)存儲(chǔ)部分170中的。
在這種情況下，在世界坐標(biāo)系中直線上的點(diǎn)能以下面的公式(2)(即，使用參數(shù)τ的函數(shù)表達(dá)式)表示。
lWm(τ)=hxmτ+xWBhymτ+yWBhzmτ+zWB1---(2)]]>在公式(2)中，xWB，yWB，和zWB表示在數(shù)據(jù)存儲(chǔ)部分170中作為已知值預(yù)先存儲(chǔ)的客觀照相機(jī)180在世界坐標(biāo)系中的位置。
在步驟S4020中，位置約束條件計(jì)算部分150輸出在世界坐標(biāo)系中約束每個(gè)客觀照相機(jī)指標(biāo)候選Pm位置的直線的梯度hxm，hym，和hzm到數(shù)據(jù)存儲(chǔ)部分170。
相應(yīng)地，由公式(2)表示的直線通過客觀照相機(jī)180在世界坐標(biāo)系中的位置和客觀照相機(jī)指標(biāo)候選Pm在世界坐標(biāo)系中的位置。客觀照相機(jī)指標(biāo)候選Pm在世界坐標(biāo)系中的位置能當(dāng)參數(shù)τ取合適值的時(shí)候獲得。
圖4是顯示由CPU1001執(zhí)行的用于識(shí)別每個(gè)客觀照相機(jī)指標(biāo)的處理的流程圖。這個(gè)處理在CPU1001執(zhí)行與客觀照相機(jī)指標(biāo)識(shí)別部分190功能相應(yīng)的軟件程序時(shí)實(shí)現(xiàn)。根據(jù)流程圖的這個(gè)處理能通過執(zhí)行步驟S5000的處理然后為每個(gè)客觀照相機(jī)指標(biāo)候選執(zhí)行步驟S5010到步驟S5030的處理來完成。在這種情況下，這個(gè)流程圖的程序代碼在CPU1001執(zhí)行下面處理之前就已經(jīng)加載到RAM1002中了。
在步驟S5000，客觀照相機(jī)指標(biāo)識(shí)別部分190從數(shù)據(jù)存儲(chǔ)部分170輸入已經(jīng)由位置和方向估計(jì)部分120估計(jì)的表示成像裝置130位置的三維向量xWC和表示成像裝置130方向的3×3矩陣RWC。然后，客觀照相機(jī)指標(biāo)識(shí)別部分190基于輸入信息計(jì)算客觀照相機(jī)指標(biāo)P的估計(jì)位置。
更具體而言，客觀照相機(jī)指標(biāo)識(shí)別部分190根據(jù)下面公式(3)計(jì)算在世界坐標(biāo)系中客觀照相機(jī)指標(biāo)P的估計(jì)位置xWP。
xWP=xWC+RWC·xCP---(3)]]>在公式(3)中，xCP表示在數(shù)據(jù)存儲(chǔ)部分170中作為已知信息預(yù)先存儲(chǔ)的在成像裝置坐標(biāo)系中客觀照相機(jī)指標(biāo)P的坐標(biāo)。
當(dāng)客觀照相機(jī)指標(biāo)P的位置足夠靠近成像裝置坐標(biāo)系中的原點(diǎn)時(shí)，這一步驟的處理可以忽略，因?yàn)槌上裱b置的估計(jì)位置能用來作為客觀照相機(jī)指標(biāo)P的估計(jì)位置。在這種情況下，位置和方向估計(jì)部分120不需要在數(shù)據(jù)存儲(chǔ)部分170中保留表示成像裝置130方向的3×3矩陣RWC。
在步驟S5010，客觀照相機(jī)指標(biāo)識(shí)別部分190計(jì)算客觀照相機(jī)指標(biāo)P的估計(jì)位置xWP和約束目標(biāo)客觀照相機(jī)指標(biāo)候選Pm位置的直線lWm(τ)之間的距離。
更具體而言，客觀照相機(jī)指標(biāo)識(shí)別部分190計(jì)算下面表示距離dm平方的公式(4)的右側(cè)(即，使用參數(shù)τ的二次函數(shù)表達(dá)式)的最小值，并且獲得最小值的正平方根。
dm2=||xWP-lWm(τ)||---(4)]]>在步驟S5020，客觀照相機(jī)指標(biāo)識(shí)別部分190決定在步驟S5010獲得的距離dm是否在預(yù)定區(qū)間內(nèi)。
當(dāng)距離dm在預(yù)定區(qū)間(即，在步驟S5020中是YES)時(shí)，處理流程前進(jìn)到步驟S5030。在步驟S5030，客觀照相機(jī)指標(biāo)識(shí)別部分190識(shí)別客觀照相機(jī)指標(biāo)候選作為真正的客觀照相機(jī)指標(biāo)。例如，客觀照相機(jī)指標(biāo)識(shí)別部分190通過接口1009輸出識(shí)別的客觀照相機(jī)指標(biāo)的圖像坐標(biāo)到外部設(shè)備并且終止處理程序。
另一方面，當(dāng)距離dm不在預(yù)定區(qū)間(即，在步驟S5020中是NO)時(shí)，處理流程前進(jìn)到步驟S5040。在步驟S5040，客觀照相機(jī)指標(biāo)識(shí)別部分190決定是否對(duì)所有客觀照相機(jī)指標(biāo)候選Pm都完成了上述步驟S5010到5030的處理。當(dāng)在步驟S5040中的決定是YES時(shí)，客觀照相機(jī)指標(biāo)識(shí)別部分190終止處理程序。
另一方面，當(dāng)在步驟S5040中的決定是NO時(shí)，處理流程返回到步驟S5010并且客觀照相機(jī)指標(biāo)識(shí)別部分190為剩下的客觀照相機(jī)指標(biāo)候選Pm執(zhí)行步驟S5010到S5030的處理。
利用上述處理，客觀照相機(jī)指標(biāo)識(shí)別部分190能在客觀照相機(jī)指標(biāo)候選中識(shí)別真正的客觀照相機(jī)指標(biāo)。
在本示例實(shí)施方式中，只使用了一個(gè)成像裝置(即一個(gè)客觀照相機(jī)指標(biāo))。但是，也可能使用多個(gè)成像裝置(即，多個(gè)客觀照相機(jī)指標(biāo))。
更具體而言，客觀照相機(jī)指標(biāo)識(shí)別部分190能為每個(gè)客觀照相機(jī)指標(biāo)P執(zhí)行步驟S5000到S5040的處理，并且能從可從客觀視野圖像中檢測(cè)到的客觀照相機(jī)指標(biāo)候選中識(shí)別每個(gè)客觀照相機(jī)指標(biāo)。
根據(jù)本示例實(shí)施方式，真正的指標(biāo)能從圖像中精確地識(shí)別出來，即使在有與指標(biāo)相似的區(qū)域出現(xiàn)在物理空間并且這個(gè)區(qū)域被錯(cuò)誤地檢測(cè)為指標(biāo)候選區(qū)域的情況下。
而且，本示例實(shí)施方式不需要任何在上述傳統(tǒng)技術(shù)3中使用的光發(fā)射定時(shí)控制機(jī)制或高速照相機(jī)。因此，成本就降低了。
第二示例實(shí)施方式根據(jù)第二示例實(shí)施方式的信息處理裝置包括除了在第一示例實(shí)施方式中描述的信息處理裝置的布置之外的第二客觀照相機(jī)。根據(jù)第二示例實(shí)施方式的信息處理裝置和信息處理方法將參考附圖在下面描述。
圖5是說明根據(jù)第二示例實(shí)施方式的信息處理裝置的框圖。由與第一示例實(shí)施方式(圖1所示)中那些所描述標(biāo)號(hào)相同的標(biāo)號(hào)指示的部分可以相同的方式起作用并且在下面不再具體描述。
如圖5所示，第二示例實(shí)施方式的信息處理裝置600包括客觀照相機(jī)180a和180b、圖像輸入部分660、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分120、客觀照相機(jī)指標(biāo)候選檢測(cè)部分640、位置約束條件計(jì)算部分650和客觀照相機(jī)指標(biāo)識(shí)別部分690。信息處理裝置600連接到成像裝置130(即，測(cè)量對(duì)象)。
與第一示例實(shí)施方式類似，主觀照相機(jī)指標(biāo)Qk放置在物理空間中的多個(gè)位置。而且，客觀照相機(jī)指標(biāo)P放置在成像裝置130上，它在成像裝置坐標(biāo)系中的位置是已知的。
當(dāng)成像裝置130放置在客觀照相機(jī)180a和180b的視場(chǎng)中的任意點(diǎn)時(shí)，至少三個(gè)主觀照相機(jī)指標(biāo)Qk能穩(wěn)定地在由成像裝置130獲得的主觀視野圖像上被觀察到是優(yōu)選的。而且，客觀照相機(jī)指標(biāo)P能穩(wěn)定地在由每個(gè)客觀照相機(jī)180a和180b獲得的客觀視野圖像上被觀察到是優(yōu)選的。
圖5所示的示例包括四個(gè)主觀照相機(jī)指標(biāo)Q1、Q2、Q3和Q4和一個(gè)客觀照相機(jī)指標(biāo)P。而且，與客觀照相機(jī)指標(biāo)P相似的偽指標(biāo)P’出現(xiàn)在物理空間中。三個(gè)主觀照相機(jī)指標(biāo)Q1、Q3和Q4在成像裝置130的視場(chǎng)中。一個(gè)客觀照相機(jī)指標(biāo)P和一個(gè)偽指標(biāo)P’出現(xiàn)在客觀照相機(jī)180a和180b的視場(chǎng)中。
客觀照相機(jī)180a和180b是靜止地放置在預(yù)定位置以便客觀照相機(jī)180a和180b能穩(wěn)定地捕捉到在成像裝置130上的客觀照相機(jī)指標(biāo)P。數(shù)據(jù)存儲(chǔ)部分170能預(yù)先存儲(chǔ)與客觀照相機(jī)180a和180b的位置和方向相關(guān)的信息作為在世界坐標(biāo)系中定義的已知值。
圖像輸入部分660能把輸入到信息處理裝置600的主觀視野圖像和兩個(gè)客觀視野圖像(被客觀照相機(jī)180a和180b捕獲)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。數(shù)據(jù)存儲(chǔ)部分170能存儲(chǔ)從圖像輸入部分660上接收到的數(shù)字?jǐn)?shù)據(jù)。
客觀照相機(jī)指標(biāo)候選檢測(cè)部分640能從數(shù)據(jù)存儲(chǔ)部分170輸入兩個(gè)客觀視野圖像，檢測(cè)每個(gè)客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)，和輸出檢測(cè)到的圖像坐標(biāo)到數(shù)據(jù)存儲(chǔ)部分170。
在下面描述中，當(dāng)檢測(cè)到的客觀照相機(jī)指標(biāo)候選有標(biāo)識(shí)符ma(ma＝1，...，Ma)，其中Ma表示可以從客觀照相機(jī)180a捕獲的客觀視野圖像檢測(cè)到的客觀照相機(jī)指標(biāo)候選的總數(shù)時(shí)，Pama表示從客觀照相機(jī)180a捕獲的客觀視野圖像中檢測(cè)到的客觀照相機(jī)指標(biāo)候選。而且，uPama表示檢測(cè)到的客觀照相機(jī)指標(biāo)候選Pama的圖像坐標(biāo)。
另一方面，當(dāng)檢測(cè)到的客觀照相機(jī)指標(biāo)候選有標(biāo)識(shí)符mb(mb＝1，...，Mb)，其中Mb表示可以從客觀照相機(jī)180b捕獲的客觀視野圖像檢測(cè)到的客觀照相機(jī)指標(biāo)候選的總數(shù)時(shí)，Pbmb表示從客觀照相機(jī)180b捕獲的客觀視野圖像檢測(cè)到的客觀照相機(jī)指標(biāo)候選。
而且，uPbmb表示檢測(cè)到的客觀照相機(jī)指標(biāo)候選Pbmb的圖像坐標(biāo)。例如，在圖5(即，Ma＝Mb＝2)所示的示例中，客觀照相機(jī)指標(biāo)候選檢測(cè)部分640能輸出圖像坐標(biāo)uPa1a、uPa2a、uPb1b和uPb2b。
位置約束條件計(jì)算部分650能從數(shù)據(jù)存儲(chǔ)部分170輸入客觀照相機(jī)指標(biāo)候選檢測(cè)部分640檢測(cè)到的各個(gè)客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)(根據(jù)圖5所示的示例是uPa1a，uPa2a，uPb1b，和uPb2b)和客觀照相機(jī)180a和180b在世界坐標(biāo)系中的位置和方向。
然后，位置約束條件計(jì)算部分650能基于輸入信息計(jì)算每個(gè)客觀照相機(jī)指標(biāo)候選的位置約束條件(例如本示例實(shí)施方式中的三維位置)。
客觀照相機(jī)指標(biāo)識(shí)別部分690能基于由位置和方向估計(jì)部分120估計(jì)的成像裝置130的位置和方向和由位置約束條件計(jì)算部分650計(jì)算的每個(gè)客觀照相機(jī)指標(biāo)候選的位置約束條件識(shí)別客觀照相機(jī)指標(biāo)。
圖5所示的圖像輸入部分660、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分120、客觀照相機(jī)指標(biāo)候選檢測(cè)部分640、位置約束條件計(jì)算部分650和客觀照相機(jī)指標(biāo)識(shí)別部分690可以是分開的單元，或者可以是可安裝在一個(gè)或多個(gè)計(jì)算機(jī)上并且可以由CPU執(zhí)行來實(shí)現(xiàn)上述功能的軟件程序。
在本示例實(shí)施方式中，由單一的計(jì)算機(jī)執(zhí)行軟件程序來實(shí)現(xiàn)上述多個(gè)部分(即，圖像輸入部分660、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分120、客觀照相機(jī)指標(biāo)候選檢測(cè)部分640、位置約束條件計(jì)算部分650和客觀照相機(jī)指標(biāo)識(shí)別部分690)的功能。而且，計(jì)算機(jī)有圖2所示基本的布置。
圖6是顯示由CPU1001執(zhí)行的用于計(jì)算每個(gè)客觀照相機(jī)指標(biāo)候選Pm的三維位置的處理的流程圖。這個(gè)處理是當(dāng)CPU1001執(zhí)行與位置約束條件計(jì)算部分650功能相應(yīng)的軟件程序時(shí)實(shí)現(xiàn)的。在這種情況下，用于這個(gè)流程圖的程序代碼在CPU1001執(zhí)行下面處理之前就已經(jīng)加載到RAM1002中了。
在步驟S7000，位置約束條件計(jì)算部分650從數(shù)據(jù)存儲(chǔ)部分170輸入客觀照相機(jī)指標(biāo)候選檢測(cè)部分640檢測(cè)到的客觀照相機(jī)指標(biāo)候選(根據(jù)圖5所示的示例是Pama和Pbmb)的圖像坐標(biāo)(即，根據(jù)圖5所示的示例是uPa1a、uPa2a、uPb1b和uPb2b)。
在步驟S7010，位置約束條件計(jì)算部分650使用極線(epipolar)約束關(guān)聯(lián)客觀照相機(jī)指標(biāo)候選的圖像并且根據(jù)三角測(cè)量的原理使用關(guān)聯(lián)的客觀照相機(jī)指標(biāo)候選Pm(m＝1，...，M)的圖像坐標(biāo)計(jì)算客觀照相機(jī)指標(biāo)候選Pm在世界坐標(biāo)系中的三維位置xWPm。這里，M表示相關(guān)聯(lián)的客觀照相機(jī)指標(biāo)候選的總數(shù)。
在步驟S7020，位置約束條件計(jì)算部分650輸出在世界坐標(biāo)系中定義的客觀照相機(jī)指標(biāo)候選Pm的三維位置XWPm到數(shù)據(jù)存儲(chǔ)部分170。
圖7是顯示由CPU1001執(zhí)行的用于識(shí)別客觀照相機(jī)指標(biāo)的處理的流程圖。這個(gè)處理是當(dāng)CPU1001執(zhí)行與客觀照相機(jī)指標(biāo)識(shí)別部分690功能相應(yīng)的軟件程序時(shí)實(shí)現(xiàn)的。
根據(jù)流程圖的處理可以通過執(zhí)行步驟S8000的處理和然后為每個(gè)客觀照相機(jī)指標(biāo)候選執(zhí)行步驟S8010到步驟S8030的處理來完成。在這種情況下，用于這個(gè)流程圖的程序代碼在CPU1001執(zhí)行下面處理之前就已經(jīng)加載到RAM1002中了。
在步驟S8000，客觀照相機(jī)指標(biāo)識(shí)別部分690從數(shù)據(jù)存儲(chǔ)部分170輸入已經(jīng)由位置和方向估計(jì)部分120估計(jì)出的表示成像裝置130位置的三維向量XWC和表示成像裝置130方向的3×3矩陣RWC。然后，客觀照相機(jī)指標(biāo)識(shí)別部分690根據(jù)上述公式(3)計(jì)算客觀照相機(jī)指標(biāo)P的估計(jì)位置xWP。
在步驟S8010，客觀照相機(jī)指標(biāo)識(shí)別部分690根據(jù)下面的公式(5)計(jì)算客觀照相機(jī)指標(biāo)P的估計(jì)位置XWP和目標(biāo)客觀照相機(jī)指標(biāo)候選Pm的三維位置xWPm之間的距離dm。
dm=||xWP-xWPm||---(5)]]>在步驟S8020，客觀照相機(jī)指標(biāo)識(shí)別部分690決定在步驟S8010獲得的距離dm是否在預(yù)定區(qū)間內(nèi)。
當(dāng)距離dm在預(yù)定區(qū)間(即，在步驟S8020中是YES)時(shí)，處理流程前進(jìn)到步驟S8030。在步驟S8030，客觀照相機(jī)指標(biāo)識(shí)別部分690識(shí)別客觀照相機(jī)指標(biāo)候選作為真正的客觀照相機(jī)指標(biāo)。例如，客觀照相機(jī)指標(biāo)識(shí)別部分690通過接口1009輸出識(shí)別的客觀照相機(jī)指標(biāo)的圖像坐標(biāo)到外部設(shè)備并且終止處理程序。
另一方面，當(dāng)距離dm不在預(yù)定區(qū)間(即，在步驟S8020中是NO)時(shí)，處理流程前進(jìn)到步驟S8040。在步驟S8040，客觀照相機(jī)指標(biāo)識(shí)別部分690決定是否對(duì)于所有客觀照相機(jī)指標(biāo)候選Pm都完成了上述步驟S8010到S8030的處理。當(dāng)在步驟S8040中的決定是YES時(shí)，客觀照相機(jī)指標(biāo)識(shí)別部分690終止處理程序。
當(dāng)在步驟S8040中的決定是NO時(shí)，處理流程返回到步驟S8010并且客觀照相機(jī)指標(biāo)識(shí)別部分690為剩下的客觀照相機(jī)指標(biāo)候選Pm執(zhí)行步驟S8010到S8040的處理。
利用上述處理，能從包含客觀照相機(jī)指標(biāo)候選的圖像精確地識(shí)別真正的客觀照相機(jī)指標(biāo)。
如上所述，根據(jù)第二示例實(shí)施方式的信息處理裝置和信息處理方法不需要任何在上述傳統(tǒng)技術(shù)3中使用的光發(fā)射時(shí)間控制機(jī)制或高速照相機(jī)。因此，成本就降低了。
第三示例實(shí)施方式根據(jù)第一示例實(shí)施方式，在空間內(nèi)可移動(dòng)的成像裝置上提供了客觀照相機(jī)指標(biāo)。根據(jù)第三示例實(shí)施方式的信息處理裝置的特征在于在任意對(duì)象體上提供客觀照相機(jī)指標(biāo)。
根據(jù)第三示例實(shí)施方式信息處理裝置除了包括根據(jù)第一示例實(shí)施方式的信息處理裝置的布置外還包括對(duì)象體。根據(jù)第三示例實(shí)施方式的信息處理裝置和信息處理方法將在下面參考附圖描述。
圖8是說明根據(jù)第三示例實(shí)施方式的信息處理裝置的框圖。如圖8所示，根據(jù)第三示例實(shí)施方式的信息處理裝置900包括客觀照相機(jī)180、圖像輸入部分160、數(shù)據(jù)存儲(chǔ)部分170、主觀照相機(jī)指標(biāo)檢測(cè)部分110、位置和方向估計(jì)部分920、客觀照相機(jī)指標(biāo)候選檢測(cè)部分140、位置約束條件計(jì)算部分150、客觀照相機(jī)指標(biāo)識(shí)別部分990和包括“主觀”照相機(jī)930的成像裝置。
由與第一示例實(shí)施方式中描述的那些標(biāo)號(hào)相同的標(biāo)號(hào)指示的部分可以相同的方式起作用并且在下面不再具體描述。第三示例實(shí)施方式與第一示例實(shí)施方式的不同之處在于圖像輸入部分160能輸入主觀照相機(jī)930捕獲的圖像作為主觀視野圖像。
在第三示例實(shí)施方式中，在對(duì)象體935上提供了客觀照相機(jī)指標(biāo)。
主觀照相機(jī)930被靜止地安裝在對(duì)象體935上。對(duì)象體935具有在主觀照相機(jī)坐標(biāo)系中已知的位置和方向。
而且，在對(duì)象體935上提供了客觀照相機(jī)指標(biāo)P?？陀^照相機(jī)指標(biāo)P的位置在對(duì)象體坐標(biāo)系中是已知的。
位置和方向估計(jì)部分920能從數(shù)據(jù)存儲(chǔ)部分170輸入作為已知信息預(yù)先存儲(chǔ)的主觀照相機(jī)指標(biāo)檢測(cè)部分110檢測(cè)到的每個(gè)主觀照相機(jī)指標(biāo)的圖像坐標(biāo)uQkn和相應(yīng)的世界坐標(biāo)xWQkn的組合。然后，位置和方向估計(jì)部分920能基于輸入信息估計(jì)主觀照相機(jī)930的位置和方向。
而且，位置和方向估計(jì)部分920能基于上述主觀照相機(jī)930(在世界坐標(biāo)系中)的估計(jì)的位置和方向和在主觀照相機(jī)坐標(biāo)系中已知的對(duì)象體935的位置和方向估計(jì)對(duì)象體935的位置和方向。
客觀照相機(jī)指標(biāo)識(shí)別部分990能基于由位置和方向識(shí)別部分920估計(jì)的對(duì)象體935的位置和方向和由位置約束條件計(jì)算部分150計(jì)算的每個(gè)客觀照相機(jī)指標(biāo)候選的位置約束條件來識(shí)別客觀照相機(jī)指標(biāo)。
利用上述布置，信息處理裝置990能識(shí)別在任意對(duì)象體上提供的真正的客觀照相機(jī)指標(biāo)。
根據(jù)第三示例實(shí)施方式的位置和方向估計(jì)部分920在主觀照相機(jī)930的位置和方向被獲得后獲得對(duì)象體935的位置和方向。但是，位置和方向估計(jì)部分920能直接獲得對(duì)象體935的位置和方向。
根據(jù)第三示例實(shí)施方式的對(duì)象體935可以是能捕獲物理空間的成像裝置。例如，主觀照相機(jī)930面朝上獲得與捕獲物理空間的成像裝置不同的視場(chǎng)。主觀照相機(jī)指標(biāo)Qk可以放置在主觀照相機(jī)930的視場(chǎng)中。利用這種布置，成像裝置可以捕獲物理空間而不必破壞物理空間圖像，因?yàn)橹饔^照相機(jī)指標(biāo)Qk可以從成像裝置的視場(chǎng)中去除。
而且，在第三示例實(shí)施方式中，多個(gè)主觀照相機(jī)930可以裝在對(duì)象體935上以便對(duì)象體935的每個(gè)位置和方向能被精確地估計(jì)。
修改的實(shí)施方式1在上述示例實(shí)施方式中，成像裝置能根據(jù)例如Hirofumi FUJII，Seishi KANBARA，Hidehiko IWASA，Haruo TAKEMURA和Naokazu YOKOYA在電子、信息和通訊工程師協(xié)會(huì)的技術(shù)報(bào)告PRMU99-192(Shingakugihou，第99卷574號(hào)1-8頁(yè))中的“Gyrosensor equipped stereo camera positioning method applicable to theaugmented reality”來引入慣性傳感器來估計(jì)成像裝置的位置和方向。
在這種情況下，在由成像裝置獲得的主觀視野圖像上，必須一直觀察至少兩個(gè)主觀照相機(jī)指標(biāo)。在這種情況下，與只使用圖像信息的方法相比，能穩(wěn)定地估計(jì)成像裝置的位置和方向。
修改的實(shí)施方式2在上述示例實(shí)施方式中，主觀照相機(jī)或客觀照相機(jī)可以是能捕獲除了可見光外的任何光的特殊照相機(jī)。例如，當(dāng)客觀照相機(jī)指標(biāo)能發(fā)射或反射紅外光時(shí)，客觀照相機(jī)可以是能捕獲由指標(biāo)發(fā)射的紅外光的紅外照相機(jī)。在這種情況下，可以當(dāng)然地避免錯(cuò)誤地檢測(cè)到主觀照相機(jī)指標(biāo)，因?yàn)橹饔^照相機(jī)指標(biāo)不包含在客觀照相機(jī)捕獲的客觀視野圖像中。
相反地，當(dāng)主觀照相機(jī)指標(biāo)能發(fā)射或反射紅外光，主觀照相機(jī)可以是能捕獲由指標(biāo)發(fā)射的紅外光的紅外照相機(jī)。而且，當(dāng)主觀照相機(jī)指標(biāo)和客觀照相機(jī)指標(biāo)能發(fā)射或反射紅外光時(shí)，主觀照相機(jī)和客觀照相機(jī)都可以是能捕獲從這些指標(biāo)發(fā)射的紅外光的紅外照相機(jī)。
而且，能捕獲具有波長(zhǎng)不同于可見光的特殊光的照相機(jī)并不限于紅外照相機(jī)而且可以是其它類型的照相機(jī)，例如能夠捕獲紫外線光，或可以是能同時(shí)捕獲可見光和不可見光的照相機(jī)。
修改的實(shí)施方式3在上述示例實(shí)施方式中，如果從指標(biāo)候選到客觀照相機(jī)指標(biāo)的估計(jì)位置的距離比預(yù)定的值短的話，客觀照相機(jī)指標(biāo)識(shí)別部分識(shí)別該指標(biāo)候選作為真正的客觀照相機(jī)指標(biāo)。但是，客觀照相機(jī)指標(biāo)識(shí)別部分能獲得每個(gè)指標(biāo)候選和估計(jì)的位置之間的距離并識(shí)別具有最小距離的候選作為真正的客觀照相機(jī)指標(biāo)。而且，當(dāng)最小距離大于閾值時(shí)，客觀照相機(jī)指標(biāo)識(shí)別部分能決定沒有與客觀照相機(jī)指標(biāo)相應(yīng)的指標(biāo)候選。
修改的實(shí)施方式4在上述示例實(shí)施方式中，客觀照相機(jī)指標(biāo)識(shí)別部分基于客觀照相機(jī)指標(biāo)的估計(jì)的三維位置與指標(biāo)候選的三維位置之間的距離識(shí)別每個(gè)指標(biāo)。但是，客觀照相機(jī)指標(biāo)識(shí)別部分可以用客觀視野圖像上的二維距離來識(shí)別每個(gè)指標(biāo)。
更具體而言，客觀照相機(jī)指標(biāo)識(shí)別部分190能從數(shù)據(jù)存儲(chǔ)部分170輸入客觀照相機(jī)180在世界坐標(biāo)系中的位置和方向，基于輸入信息將估計(jì)的客觀照相機(jī)指標(biāo)的位置投射到客觀視野圖像上，并獲得估計(jì)的位置的圖像坐標(biāo)與指標(biāo)候選的圖像坐標(biāo)之間的二維距離來識(shí)別指標(biāo)。在這種情況下，位置約束條件計(jì)算部分150可以被忽略。
修改的實(shí)施方式5在上述示例實(shí)施方式中的客觀照相機(jī)指標(biāo)識(shí)別部分190、690或990布置成通過接口1009輸出客觀照相機(jī)指標(biāo)的圖像坐標(biāo)到外部設(shè)備。但是，客觀照相機(jī)指標(biāo)識(shí)別部分能基于客觀照相機(jī)指標(biāo)的圖像坐標(biāo)和主觀照相機(jī)指標(biāo)的圖像坐標(biāo)精確地計(jì)算成像裝置(或?qū)ο篌w)的位置和方向并能輸出計(jì)算出的成像裝置(或?qū)ο篌w)的位置和方向到外部設(shè)備。
圖12是顯示由CPU1001執(zhí)行的用于計(jì)算成像裝置130(或?qū)ο篌w935)的位置和方向的處理的流程圖。這個(gè)處理是當(dāng)CPU1001執(zhí)行與位置和方向計(jì)算部分(未顯示)的功能相應(yīng)的軟件程序時(shí)實(shí)現(xiàn)的。
在步驟S12000，位置和方向計(jì)算部分輸入主觀照相機(jī)指標(biāo)檢測(cè)部分110檢測(cè)到的主觀照相機(jī)指標(biāo)的圖像坐標(biāo)，客觀照相機(jī)指標(biāo)識(shí)別部分190識(shí)別的客觀照相機(jī)指標(biāo)的圖像坐標(biāo)，和由位置約束條件計(jì)算部分150計(jì)算的約束客觀照相機(jī)指標(biāo)位置的參數(shù)。
約束客觀照相機(jī)指標(biāo)位置的參數(shù)是例如表示如果只使用了一個(gè)客觀照相機(jī)時(shí)的三維直線或當(dāng)使用兩個(gè)或更多客觀照相機(jī)時(shí)的三維位置信息的參數(shù)。
在步驟S12010，位置和方向計(jì)算部分在客觀照相機(jī)指標(biāo)應(yīng)當(dāng)出現(xiàn)的位置的約束條件下，計(jì)算能使在主觀視野圖像上主觀照相機(jī)指標(biāo)的錯(cuò)誤最小化的成像裝置130(或?qū)ο篌w935)的位置和方向。更具體而言，例如，在日本專利申請(qǐng)?zhí)亻_號(hào)2004-233334中討論的方法可以用來計(jì)算成像裝置130(或?qū)ο篌w935)的位置和方向。
在步驟S12020，位置和方向計(jì)算部分例如以模型轉(zhuǎn)換矩陣的形式輸出與計(jì)算出的成像裝置130(或?qū)ο篌w935)的位置和方向相關(guān)的信息。
而且，不使用約束客觀照相機(jī)指標(biāo)位置的參數(shù)，位置和方向計(jì)算部分能通過執(zhí)行用于使主觀照相機(jī)指標(biāo)和客觀照相機(jī)指標(biāo)的圖像坐標(biāo)及它們的計(jì)算值之間的誤差總和最小化的計(jì)算來計(jì)算成像裝置130(或?qū)ο篌w935)的位置和方向。更具體而言，例如，可以使用在日本專利申請(qǐng)?zhí)亻_號(hào)2004-233334中討論的方法。
修改的實(shí)施方式6在上述示例實(shí)施方式中，先估計(jì)成像裝置130(或?qū)ο篌w935)的位置和方向，并且基于估計(jì)的值來識(shí)別客觀照相機(jī)指標(biāo)。但是，可以通過使用例如在日本專利申請(qǐng)?zhí)亻_號(hào)2004-233334中討論的方法來用每個(gè)客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)和主觀照相機(jī)指標(biāo)的圖像坐標(biāo)計(jì)算成像裝置130的位置和方向，并且在計(jì)算過程中具有最小殘留誤差的指標(biāo)候選可以被識(shí)別為真正的指標(biāo)。在這種情況下，沒有必要通過僅使用主觀照相機(jī)指標(biāo)來估計(jì)成像裝置130的位置和方向。在這種情況下，位置和方向估計(jì)部分120和位置約束條件計(jì)算部分150可以忽略。
修改的實(shí)施方式7在上述示例實(shí)施方式中，每個(gè)主觀照相機(jī)指標(biāo)可以某種方式區(qū)別。但是，與客觀照相機(jī)指標(biāo)相似，每個(gè)主觀照相機(jī)指標(biāo)可能不能被區(qū)別。在這種情況下，客觀照相機(jī)指標(biāo)可按如下識(shí)別。首先，每個(gè)客觀照相機(jī)指標(biāo)的三維位置假定為成像裝置130(或?qū)ο篌w935)的位置。然后，每個(gè)主觀照相機(jī)指標(biāo)的三維位置投射到中心假定在成像裝置130的位置的虛擬球體上。并且然后通過例如在H.Najafi，N.Navab，G.Klinker于2004年關(guān)于混合和擴(kuò)張現(xiàn)實(shí)的國(guó)際座談會(huì)會(huì)刊“Automated Initialization for Marker-less TrackingA Sensor FusionApproach”第79-88頁(yè)中描述的方法，將投射的位置與主觀照相機(jī)指標(biāo)候選相匹配。而且，可以通過使用例如日本專利申請(qǐng)公開號(hào)2004-233334中描述的方法來用與投射的位置相匹配的主觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)和客觀照相機(jī)指標(biāo)候選的圖像坐標(biāo)計(jì)算成像裝置130的位置和方向。最后，在計(jì)算過程中具有最小殘留誤差的客觀照相機(jī)指標(biāo)候選可以識(shí)別為真正的客觀照相機(jī)指標(biāo)。
其它示例實(shí)施方式而且，能通過存儲(chǔ)介質(zhì)(或記錄介質(zhì))提供用于實(shí)現(xiàn)上述示例實(shí)施方式功能的軟件程序代碼到系統(tǒng)或裝置中。在系統(tǒng)或裝置中的計(jì)算機(jī)(或CPU或MPU)能讀取存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序代碼并且能執(zhí)行讀出程序。
在這種情況下，從存儲(chǔ)介質(zhì)讀出的程序代碼能實(shí)現(xiàn)示例實(shí)施方式的功能?？梢允褂贸绦虻耐任铮绻哂刑幚硐嗨频墓δ艿脑?。相應(yīng)地，當(dāng)示例實(shí)施方式的功能或過程是由計(jì)算機(jī)來實(shí)現(xiàn)的時(shí)，用安裝在計(jì)算機(jī)上的程序代碼和存儲(chǔ)程序的記錄介質(zhì)來實(shí)現(xiàn)本發(fā)明。
換句話說，本發(fā)明包括能實(shí)現(xiàn)示例實(shí)施方式的功能或過程的計(jì)算機(jī)程序或能存儲(chǔ)該程序的任何記錄介質(zhì)。在這種情況下，程序的類型可以從對(duì)象代碼、解釋程序和操作系統(tǒng)腳本數(shù)據(jù)中的任何一個(gè)選擇。提供程序的記錄介質(zhì)可以從軟盤、硬盤、光盤、磁-光盤、MO、CD-ROM、CD-R、CD-RW、磁帶、非易失性存貯器卡、ROM和DVD(DVD-ROM，DVD-R)中的任何一個(gè)選擇。
提供程序的方法包括當(dāng)因特網(wǎng)上的主頁(yè)允許每個(gè)用戶下載本發(fā)明的計(jì)算機(jī)程序或具有自動(dòng)安裝功能的程序壓縮文件到用戶的硬盤或其它記錄介質(zhì)時(shí)，使用客戶端計(jì)算機(jī)的瀏覽功能訪問因特網(wǎng)的主頁(yè)。
而且，構(gòu)成本發(fā)明程序的程序代碼能分成多個(gè)文件以便各個(gè)文件可從不同主頁(yè)下載。即，本發(fā)明包括允許許多用戶下載程序文件以便本發(fā)明的功能或過程能在他們的計(jì)算機(jī)上實(shí)現(xiàn)的WWW服務(wù)器。
而且，當(dāng)本發(fā)明的程序發(fā)布給用戶時(shí)，加密本發(fā)明的程序和存儲(chǔ)加密程序到CD-ROM或相似記錄介質(zhì)是實(shí)用的方法。授權(quán)用戶(即，滿足預(yù)定條件的用戶)被允許從因特網(wǎng)上的主頁(yè)下載密鑰信息。用戶能使用獲得的密鑰信息解密程序并能安裝程序到他們的計(jì)算機(jī)上。當(dāng)計(jì)算機(jī)讀取和執(zhí)行安裝的程序時(shí)，上述示例實(shí)施方式的功能就會(huì)實(shí)現(xiàn)。
而且，不僅上述示例實(shí)施方式描述的功能可以由執(zhí)行程序的計(jì)算機(jī)實(shí)現(xiàn)，而且在計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)(OS)也能基于程序的指令執(zhí)行部分或全部的實(shí)際處理。
而且，從存儲(chǔ)介質(zhì)讀出的程序代碼可以寫入安裝在計(jì)算機(jī)上的功能擴(kuò)展板的存儲(chǔ)器中或?qū)懭脒B接到計(jì)算機(jī)的功能擴(kuò)展單元的存儲(chǔ)器中。在這種情況下，基于程序的指令，在功能擴(kuò)展板或功能擴(kuò)展單元上提供的CPU能執(zhí)行部分或全部的處理以便上述示例實(shí)施方式的功能可以實(shí)現(xiàn)。
當(dāng)本發(fā)明應(yīng)用到上述記錄介質(zhì)時(shí)，記錄介質(zhì)存儲(chǔ)與上述流程圖相應(yīng)的程序代碼。
盡管本發(fā)明已參考示例實(shí)施方式進(jìn)行了描述，但應(yīng)當(dāng)理解本發(fā)明并不限于所公開的示例實(shí)施方式。下面權(quán)利要求的范圍是要符合最廣泛的解釋，以便包括所有的修改、等效結(jié)構(gòu)和功能。
權(quán)利要求
1.一種信息處理方法，包括第一圖像輸入步驟，輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像；第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與同成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于在第一檢測(cè)步驟檢測(cè)到的與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
2.如權(quán)利要求1所述的信息處理方法，還包括指標(biāo)位置估計(jì)步驟，基于與第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量計(jì)算成像裝置的估計(jì)位置和方向，且基于估計(jì)的位置和方向計(jì)算第二指標(biāo)的估計(jì)位置；及約束條件計(jì)算步驟，基于在第二檢測(cè)步驟檢測(cè)到的與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，計(jì)算與候選區(qū)域的位置相關(guān)的約束條件。
3.如權(quán)利要求2所述的信息處理方法，其中與同第二指標(biāo)有關(guān)的候選區(qū)域的位置相關(guān)的約束條件包括約束候選區(qū)域位置的直線，及其中識(shí)別步驟包括基于第二指標(biāo)的估計(jì)位置和直線之間的距離識(shí)別作為第二指標(biāo)的候選區(qū)域的步驟。
4.如權(quán)利要求3所述的信息處理方法，其中圖像捕獲單元包括多個(gè)照相機(jī)，其中與同第二指標(biāo)有關(guān)的候選區(qū)域的位置相關(guān)的約束條件包括三維位置，及其中識(shí)別步驟包括基于第二指標(biāo)的估計(jì)位置和三維位置之間的距離識(shí)別作為第二指標(biāo)的候選區(qū)域的步驟。
5.如權(quán)利要求1所述的信息處理方法，其中圖像捕獲單元固定在物理空間中。
6.一種信息處理方法，包括第一圖像輸入步驟，輸入由安裝在對(duì)象體上并配置成捕獲物理空間的成像裝置捕獲的第一圖像第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲對(duì)象體的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與同對(duì)象體上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于在第一檢測(cè)步驟檢測(cè)到的與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
7.如權(quán)利要求6所述的信息處理方法，還包括指標(biāo)位置估計(jì)步驟，基于與第一指標(biāo)圖像坐標(biāo)相關(guān)的特征量計(jì)算成像裝置的估計(jì)位置和方向，和基于估計(jì)的位置和方向計(jì)算第二指標(biāo)的估計(jì)位置；及約束條件計(jì)算步驟，基于在第二檢測(cè)步驟檢測(cè)到的與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，計(jì)算與候選區(qū)域的位置相關(guān)的約束條件。
8.如權(quán)利要求7所述的信息處理方法，其中與同第二指標(biāo)有關(guān)的候選區(qū)域的位置相關(guān)的約束條件包括約束候選區(qū)域位置的直線，及其中識(shí)別步驟包括基于第二指標(biāo)的估計(jì)位置和直線之間的距離識(shí)別作為第二指標(biāo)的候選區(qū)域的步驟。
9.如權(quán)利要求6所述的信息處理方法，其中圖像捕獲單元包括多個(gè)照相機(jī)，其中與同第二指標(biāo)有關(guān)的候選區(qū)域的位置相關(guān)的約束條件包括三維位置，及其中識(shí)別步驟包括基于第二指標(biāo)的估計(jì)位置和三維位置之間的距離識(shí)別作為第二指標(biāo)的候選區(qū)域的步驟。
10.如權(quán)利要求6所述的信息處理方法，其中圖像捕獲單元固定在物理空間中。
11.一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中用于使計(jì)算機(jī)執(zhí)行信息處理方法的計(jì)算機(jī)程序，所述信息處理方法包括第一圖像輸入步驟，輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于在第一檢測(cè)步驟檢測(cè)到的與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
12.一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中用于使計(jì)算機(jī)執(zhí)行信息處理方法的計(jì)算機(jī)程序，所述信息處理方法包括第一圖像輸入步驟，輸入由安裝在對(duì)象體并配置成捕獲物理空間的成像裝置捕獲的第一圖像第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲對(duì)象體的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與對(duì)象體上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于在第一檢測(cè)步驟檢測(cè)到的與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
13.一種信息處理裝置，包括第一圖像輸入單元，布置成輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像第二圖像輸入單元，布置成輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)單元，布置成基于由第一圖像輸入單元輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)單元，布置成基于由第二圖像輸入單元輸入的第二圖像，檢測(cè)與成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別單元，布置成基于與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
14.一種信息處理裝置，包括第一圖像輸入單元，布置成輸入由安裝在對(duì)象體上并配置成捕獲物理空間的成像裝置捕獲的第一圖像；第二圖像輸入單元，布置成輸入由配置成從客觀視野位置捕獲對(duì)象體的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)單元，布置成基于由第一圖像輸入單元輸入的第一圖像，檢測(cè)與物理空間中的第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)單元，布置成基于由第二圖像輸入單元輸入的第二圖像，檢測(cè)與同對(duì)象體上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別單元，布置成基于與第一指標(biāo)的圖像坐標(biāo)相關(guān)的特征量和與第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別作為第二指標(biāo)的候選區(qū)域。
15.一種信息處理方法，包括第一圖像輸入步驟，輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與同物理空間中的第一指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與同成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于與同第一指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別與第二指標(biāo)有關(guān)的候選區(qū)域。
16.一種信息處理裝置，包括第一圖像輸入單元，布置成輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像；第二圖像輸入單元，布置成輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)單元，布置成基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與同物理空間中的第一指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)單元，布置成基于第二圖像，檢測(cè)與成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別單元，布置成基于與同第一指標(biāo)相關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別與第二指標(biāo)相關(guān)的候選區(qū)域。
17.一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中用于使計(jì)算機(jī)執(zhí)行信息處理方法的計(jì)算機(jī)程序，所述信息處理方法包括第一圖像輸入步驟，輸入由配置成捕獲物理空間的成像裝置捕獲的第一圖像；第二圖像輸入步驟，輸入由配置成從客觀視野位置捕獲成像裝置的圖像捕獲單元捕獲的第二圖像；第一檢測(cè)步驟，基于在第一圖像輸入步驟中輸入的第一圖像，檢測(cè)與同物理空間中的第一指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；第二檢測(cè)步驟，基于在第二圖像輸入步驟中輸入的第二圖像，檢測(cè)與同成像裝置上的第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量；及識(shí)別步驟，基于與同第一指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量和與同第二指標(biāo)有關(guān)的候選區(qū)域的圖像坐標(biāo)相關(guān)的特征量，識(shí)別與第二指標(biāo)相關(guān)的候選區(qū)域。
全文摘要
成像裝置指標(biāo)檢測(cè)單元從由包括第一照相機(jī)的成像裝置捕獲的圖像檢測(cè)物理空間中的指標(biāo)?；谂c檢測(cè)到的指標(biāo)的圖像坐標(biāo)相關(guān)的信息，位置和方向估計(jì)單元估計(jì)成像裝置位置和方向。第二照相機(jī)指標(biāo)候選檢測(cè)單元用放置在物理空間中的第二照相機(jī)監(jiān)視成像裝置上的指標(biāo)并且檢測(cè)指標(biāo)候選。基于與檢測(cè)到的指標(biāo)候選的圖像坐標(biāo)相關(guān)的信息，位置約束條件計(jì)算單元計(jì)算位置約束條件。基于估計(jì)的成像裝置的位置和方向和第二照相機(jī)指標(biāo)候選的位置約束條件，第二照相機(jī)指標(biāo)識(shí)別單元識(shí)別第二照相機(jī)指標(biāo)。
文檔編號(hào)G06F17/00GK1893559SQ200610095739
公開日2007年1月10日 申請(qǐng)日期2006年6月28日 優(yōu)先權(quán)日2005年6月28日
發(fā)明者遠(yuǎn)藤隆明, 佐藤清秀 申請(qǐng)人:佳能株式會(huì)社