專利名稱：圖像處理設備及方法
技術領域：
本發(fā)明涉及用于基于在拍攝的圖像上檢測到的圖像特征，計算圖 像拾取設備或者觀察目標對象的位置和姿態(tài)中至少一個的技術。
背景技術：
近來，已積極進行了用于提供現(xiàn)實和虛擬空間的無縫融合的混合現(xiàn)實(MR)技術的研究。在這些MR技術中，特別是在現(xiàn)實空間上 疊加虛擬空間的增強現(xiàn)實(AR)技術已受到觀注。采用AR技術的圖像提供設備主要由視頻透視或者光學透視的 頭戴式顯示器(HMD)來實現(xiàn)。在視頻透視的HMD中，把依據(jù)諸如HMD中的攝像機之類的圖 像拾取設備的位置和姿態(tài)而產(chǎn)生的虛擬空間圖像(例如，由計算機圖 形描繪的虛擬對象或者文本信息)疊加在圖像拾取設備拍攝的現(xiàn)實空 間圖像上，并且把所得的合成圖像顯示給用戶。在光學透視的HMD 中，把依據(jù)HMD的位置和姿態(tài)而產(chǎn)生的虛擬空間圖像顯示在透射型 顯示器上，以允許在用戶的視網(wǎng)膜上形成現(xiàn)實和虛擬空間的合成圖 像。關于AR技術的最嚴重的問題之一是現(xiàn)實和虛擬空間之間的精 確配準(registration)，為處理這個問題，已進行了許多嘗試。在視 頻透視的HMD中，AR中的配準問題包括場景中(就是說，在場景 中定義的基準坐標系中)圖像拾取設備的位置與姿態(tài)的精確確定。在 光學透視HMD中，配準問題包括場景中HMD的位置與姿態(tài)的精確 確定。為了解決前一問題，通常在場景中放置人工標記并且利用這些標 記在基準坐標系中確定圖像拾取設備的位置與姿態(tài)。從圖像拾取設備 所拍攝的圖像中的標記的檢測位置與已知信息之間的對應關系中確 定基準坐標系中的圖像拾取設備的位置與姿態(tài)，該已知信息即為標記 在基準坐標系中的三維位置。為了解決后一問題，通常把圖像拾取設備連附在HMD上并以類 似于上述方式的方式來確定圖像拾取設備的位置與姿態(tài)，從而以所確 定的圖像拾取設備的位置與姿態(tài)為基礎，來確定HMD的位置與姿態(tài)。在攝影測量和計算機視覺的領域中，用于基于圖像坐標與三維坐 標之間的對應關系來確定圖像拾取設備的位置與姿態(tài)的方法已被提 出了很久。在R.M.Haralick、 C丄ee、 K.Ottenberg、以及M.Nolle所著的 "Review and Analysis of Solutions of the Three Point Perspective Pose Estimation Problem", International Journal of Computer Vision, vol.13, No.3， PP. 331-356,1994 (在下文中稱為"文獻1")中公開了用 于通過基于三個點的對應關系求解非線性方程組來確定圖像拾取設 備的位置與姿態(tài)的方法。在D.G丄owe所著的"Fitting Parameterized Three-Dimensional Models to Images", IEEE Transactions Pattern Analysis and Machine Intelligence, voU3， No.5, PP. 441-450， 1991 (在下文中稱為"文獻2") 中公開了用于基于多個點的圖像坐標與三維坐標之間的對應關系，通 過迭代計算使圖像拾取設備的大致位置與姿態(tài)最優(yōu)化來確定圖像拾 取設備的位置與姿態(tài)的方法。AR技術中的除配準以外的另一嚴重問題是需要確定現(xiàn)實與虛擬 空間之間的在前/在后關系的遮蔽(occlusion)問題。例如，當虛擬對 象位于被諸如手之類的現(xiàn)實對象隱藏或遮蔽的位置上時，必須在虛擬 對象前面描繪現(xiàn)實對象。如果不考慮遮蔽效應，總是使虛擬對象描繪 在現(xiàn)實對象前面，則觀看所得的圖像的觀察者會感覺不自然。在日本 專利特開No.2003-296759 (在下文中稱為"專利文獻，，)中，通過預先 指定遮蔽的現(xiàn)實對象的顏色(例如，手的顏色)以便不使虛擬對象被 描繪在與遮蔽的現(xiàn)實對象具有相同顏色的拍攝圖像的區(qū)域中，從而來 克服遮蔽問題。在N.Yokoya、 H.Takemura、 T.Okuma、以及M.Kanbara所著 的"Stereo Vision based video see-through mixed reality", in(Y.Ohta& H.Tamura，edsO Mixed Reality-Merging Real and Virtual Worlds, Chapter 7， Ohmsha-Springer Verlag， 1999 (在下文中稱為"文獻11") 中，通過使用由HMD的兩個內(nèi)置攝影機拍攝到的圖像進行立體匹配 來獲得現(xiàn)實空間深度信息，從而克服遮蔽問題。通過近來計算設備的高速性能，已積極地進行對于利用出現(xiàn)在場 景中的特征(在下文中稱為"自然特征，，)而不是人工標記進行配準的 研究。在T.Drummond和R.Cipolla所著的"Real-time visual tracking of complex structures", IEEE Transaction Pattern Analysis and Machine Intelligence, vol.24， No.7， PP. 932-946,2002 (在下文中稱為 "文獻3")、和A丄Comport, E.Marchand，以及F.Chaumette所著的 "A real-time tracker for markerless augmented reality", Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR03), PP. 36-45,2003 (在下文中稱為 "文獻4")中公開了用于基于觀察對象的圖像邊緣和三維模型之間的 對應關系來確定圖像拾取設備的位置與姿態(tài)的方法。在這些方法中，首先，(1)利用圖像拾取i殳備的大致位置和大 致姿態(tài)把三維模型投影在拍攝的圖像上。圖像拾取設備的大致位置和 大致姿態(tài)例如是在前一幀中計算出的位置和姿態(tài)。然后，(2)包括 投影的模型的線段在圖像上被分成等間隔，并且，對于每一分割點， 搜索在垂直于投影的線段的方向上強度梯度局部最大的點(邊緣)作 為對應點。此外，(3)確定圖像拾取設備的位置與姿態(tài)的校正值， 以便為單個分割點找到的對應點與對應的投影線段之間的距離在圖 像上變得最小，并且對圖像拾取設備的位置與姿態(tài)進行更新。利用更 新后的圖像拾取設備的位置與姿態(tài)，再次把三維模型投影在拍攝的圖 像上，并且迭代步驟(3)，直到距離的和已收斂于最佳值。由此，
獲得圖像拾取設備的最終位置與姿態(tài)。在上述的步驟(2)中，如果圖像拾取設備的大致位置和大致姿 態(tài)的精確度低，則可能出現(xiàn)錯誤檢測。也就是說，錯誤的點被檢測為 對應點。如果發(fā)生這種錯誤檢測，則在步驟(3)中迭代計算可能不 收斂，或者所獲得的圖像拾取設備的位置和姿態(tài)的精度可能為低，從 而導致低精度的AR配準。因此，在文獻3和4中，M估計(M-estimator)，作為一種強 健的估算方法，被用來通過給在對應點和線段之間具有大距離的數(shù)據(jù) 分配小權重、并且給具有小距離的數(shù)據(jù)分配大權重而使加權的錯誤的 和最小。因此，消除了錯誤檢測的任何影響。在L.Vacchetti， V丄epetit，以及P.Fua所著的"Combining edge and texture information for real-time accurate 3D camera tracking", Proceedings of the Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR04), PP. 48-57， 2004 (在下 文中稱為"文獻5")中，在搜索步驟(2)中提取并存儲多個候選點， 并且每當重復步驟(3)時，從所述多個候選點中選擇最接近于投影 的線段的點。因此，消除了錯誤檢測的任何影響。在H.Wuest， F.Vial，以及D.Stricker所著的"Adaptive Line Tracking with Multiple Hypotheses for Augmented Reality"， Proceedings of the Fourth IEEE &nd ACM International Symposium Mixed and Augmented Reality (ISMAR05), PP. 62-69,2005 (在下文中 稱為"文獻6")中，保持圖像上關于接近于線段的邊緣的視覺特性的 信息，以消除視點變化或照明變化所導致的錯誤檢測的影響。在 G.Simon， A.W,Fitzgibbon，以及 A.Zisserman 所著的 "Markerless Tracking using Planar Structures in the Scene，，, Proc. Int，l Symp. on Augmented Reality 2000 (ISAR2000), PP. 120-128， 2000 (在下文中稱為"文獻7")、和I. Skrypnyk與D.G丄owe所著的 "Scene Modelling, Recognition and Tracking with Invariant Image features", Proc. The Third Int，l Symp. on Mixed and Augmented
Reality (ISMAR04)， PP. 110-119, 2004 (在下文中稱為"文獻8")中公 開了利用在圖像上的點特征而不是邊緣來確定圖像拾取設備的位置 與姿態(tài)的方法。點特征是根據(jù)圖像上的位置(圖像坐標)和周圍的圖像信息表示 的特征。例如，利用Harris算子、Moravec算子等等來檢測點特征。在文獻7中，以連續(xù)幀的方式追蹤三維空間中同一平面上的點特 征，并且基于平面上這些點的位置與對應的點特征的圖像坐標之間的 關系來計算圖像拾取設備的位置和姿態(tài)。在文獻8中，基于點特征的圖像坐標和三維坐標之間的對應關 系，利用具有相對于圖像上的縮放變化和旋轉(zhuǎn)變化而不變的特征信息 的點特征，來確定圖像拾取設備的位置和姿態(tài)。在文獻8中，不以連 續(xù)幀的方式追蹤點特征。相反，在預定的點特征數(shù)據(jù)庫與在當前幀中 檢測到的點特征之間執(zhí)行匹配，以識別每一 幀中的點特征。如同基于邊緣的方法一樣，基于點特征的方法也具有錯誤檢測的 問題。在文獻7和8中，利用隨機采樣一致性(RANSAC )算法移除 被檢測為異常值(outlier)的點特征。在基于RANSAC的異常值移 除方案中，隨機地選擇對應點，并且計算圖像拾取設備的位置和姿態(tài)。 當滿足計算出的值的對應點的數(shù)量為最大時，未被包括在對應點的集 合中的對應點作為異常值被移除。
背景技術：
中有一種利用人工標記的方法，其中，利用色度摳像 (chroma keying )來防止標ii的錯誤檢測。ProSet和SmartSet系統(tǒng)， 也就是Orad Hi-Tec系統(tǒng)有限公司的虛擬工作室系統(tǒng)，利用傳統(tǒng)的藍 色或綠色屏幕色度摳像技術從背景中分離出人的圖形。在背景上，放置用于配準的人工圖案，其具有與背景顏色相類似 的顏色，并且在拍攝的圖像上利用檢測到的圖案來估計攝影機的位置 和姿態(tài)。因為利用色度摳像從人的圖形中把配準圖案作為背景分離， 因此在人的圖像上就不會錯誤地檢測到配準圖案.因此，可以實現(xiàn)照 相機的位置和姿態(tài)的穩(wěn)定估計。此外，因為利用色度摳像把配準圖案 作為背景移除，在背景上描繪了計算機圖形(CG)圖像的合成圖像
上就觀察不到配準圖案。由Orad Hi-Tec系統(tǒng)有限公司所提議的避免標記的錯誤檢測的 上述技術，是用于虛擬工作室應用中的技術。在虛擬工作室中，從背 景中提取人的圖形，并且把CG圖像描繪在背景部分上，以便與人的 圖形相結(jié)合。因此，藍色屏幕可以被用作背景，并且可以利用色度摳 像提取背景。然而，在AR系統(tǒng)中，把CG圖像疊加在真實的背景圖像上。因 此，難以通過執(zhí)行諸如色度摳像之類的簡單處理來提取背景，并且還 難以采用Orad Hi-Tec系統(tǒng)有限公司提議的技術來避免背景圖像上 自然特征的錯誤檢測。在背景技術中，分離地執(zhí)行用于檢測配準的自然特征的處理和用 于確定虛擬對象與諸如手之類的真實遮蔽對象之間的在前/在后關系 的處理。在遮蔽對象位于虛擬對象前面的圖像區(qū)域中，不得檢測用于 配準的自然特征。因此可以預期，可以通過使用關于圖像特征檢測的 在前/在后關系的信息來防止錯誤檢測。然而，在背景技術中，不把關 于在前/在后關系的信息用于自然特征檢測。被布置為測量遮蔽對象的位置與姿態(tài)的測量裝置允許利用測量 裝置的測量結(jié)果來確定觀察目標對象與遮蔽對象之間的在前/在后關 系。然而，在背景技術中，不把關于測量出的遮蔽對象的位置和姿態(tài) 的信息用于自然特征檢測。發(fā)明內(nèi)容本發(fā)明提供這樣一種技術，其中，當觀察目標對象被遮蔽對象所 遮蔽時，可以防止圖像特征的錯誤檢測，并且可以改善配準穩(wěn)定性。本發(fā)明進一步提供利用被布置為測量遮蔽對象的位置和姿態(tài)的 測量裝置的技術，其中，當觀察目標對象被遮蔽對象所遮蔽時，可以 利用從測量裝置中獲得的信息來防止圖像特征的錯誤檢測，并且可以 改善配準穩(wěn)定性。本發(fā)明提供了一種圖像處理設備，該圖像處理設備包括對象定 義單元，其被配置為定義能夠遮蔽要被觀察的目標對象的特定對象； 圖像獲得單元，其被配置為獲得圖像拾取設備拍攝的拍攝圖像；區(qū)域 檢測器，其被配置為從獲得的拍攝圖像中檢測包括該特定對象的區(qū) 域；圖像特征檢測器，其被配置為從拍攝圖像中檢測目標對象的圖像特征；以及計算單元，其被配置為基于圖像特征檢測器檢測到的圖像特征，計算拍攝了拍攝圖像的圖像拾取設備的位置和/或姿態(tài)、或者拍 攝圖像中的目標對象的位置和/或姿態(tài)，其中，圖像處理設備被配置為 在確定拍攝了圖像的圖像拾取設備的位置和/或姿態(tài)、或者拍攝圖像中 的目標對象的位置和/或姿態(tài)時，不考慮來自檢測到的區(qū)域的特征。本發(fā)明進一步提供一種圖像處理方法，該方法包括保持步驟， 保持對能夠遮蔽要被觀察的目標對象的特定對象進行定義的定義信 息；圖像獲得步驟，獲得圖像拾取設備拍攝的拍攝圖像；區(qū)域檢測步 驟，從獲得的拍攝圖像中檢測包括該特定對象的區(qū)域；圖像特征檢測 步驟，從拍攝圖像中檢測目標對象的圖像特征；以及計算步驟，基于 圖像特征檢測步驟中檢測到的圖像特征，計算拍攝了拍攝圖像的圖像 拾取設備的位置和/或姿態(tài)、或者拍攝圖像中的目標對象的位置和/或 姿態(tài)，其中，該方法在確定拍攝了圖像的圖像拾取設備的位置和/或姿 態(tài)、或者拍攝圖像中的目標對象的位置和/或姿態(tài)時，不考慮來自檢測 到的區(qū)域的特征。從下面參考附圖對示例性實施例的描述中，本發(fā)明的更多特征將 變得明顯。


圖1是示出了依據(jù)本發(fā)明第一實施例的位置和姿態(tài)測量設備的 示例結(jié)構(gòu)的圖。圖2是示出了應用了依據(jù)第一實施例的位置和姿態(tài)測量設備的 示例典型情況的圖。圖3是示出了依據(jù)第一實施例的位置和姿態(tài)測量設備的處理操 作的流程圖。 圖4A、 4B、 4C、以及4D是示出了用于對依據(jù)第一實施例的三 維模型進行定義的方法的圖。圖5A和5B是示出了把三維模型投影到圖像上的圖。圖6是示出了在三維模型的圖像上標繪的分割點的圖。圖7是示出了依據(jù)第一實施例的圖像特征檢測處理的過程的流程圖。圖8A和8B是示出了依據(jù)第 一 實施例的用于檢測圖像特征的圖。 圖9是示出了用于利用線段信息來計算圖像拾取設備的位置和姿態(tài)的方法的圖。圖IOA和IOB是示出了依據(jù)第一實施例的檢測遮蔽區(qū)域的圖。 圖IIA和IIB是示出了依據(jù)第一實施例的計算機圖形疊加(合成)方法的圖，圖12是示出了依據(jù)第一實施例的改進示例檢測遮蔽區(qū)域的圖。 圖13是示出了依據(jù)本發(fā)明第二實施例的位置和姿態(tài)測量設備的 示例結(jié)構(gòu)的圖。圖14是示出應用了依據(jù)第二實施例的位置和姿態(tài)測量設備的示 例典型情況的圖。圖15是示出了依據(jù)第二實施例的處理過程的流程圖。圖16是示出了依據(jù)第二實施例的遮蔽對象的模型的定義方法的圖。圖17A和17B是示出了依據(jù)第二實施例的檢測遮蔽區(qū)域的圖。 圖18A和18B是示出了鄰近遮蔽區(qū)域的區(qū)域的圖。
具體實施方式
將參考附圖對本發(fā)明的實施例進行詳細描述。 第一實施例將關于利用在圖像上檢測到的邊緣的配準方法對本發(fā)明的第一 實施例進行描述。更具體地，將描述這樣的位置和姿態(tài)測量設備以及
位置和姿態(tài)測量方法，其用于當觀察對象被觀察者的手遮蔽時，確定 觀察者相對于觀察者所觀察的觀察目標對象的位置和姿態(tài)。圖1示出了依據(jù)第一實施例的位置和姿態(tài)測量設備1的示例結(jié)構(gòu)。如圖1所示，位置和姿態(tài)測量設備l包括遮蔽對象定義單元110、 圖像輸入單元120、遮蔽區(qū)域檢測器130、圖像特征檢測器140、以及 位置/姿態(tài)計算單元150。圖像拾取設備100連接到圖像輸入單元120。圖2是示出了應用了依據(jù)第一實施例的位置和姿態(tài)測量設備1 的典型情況的圖。觀察者佩戴著圖像拾取設備100，并且作為真實對 象的觀察目標對象10部分地被觀察者的手20所遮蔽。依據(jù)第一實施 例的位置和姿態(tài)測量設備1被配置為確定圖像拾取設備100相對于觀 察目標對象10的位置和姿態(tài)。在第一實施例中，觀察目標對象位于遮蔽對象即觀察者的手之后。遮蔽對象定義單元110在位置和姿態(tài)測量之前預先對遮蔽對象 進行定義，并且把對遮蔽對象的定義存儲在存儲單元(未示出)中。 在第一實施例中，遮蔽對象定義單元110定義了手的顏色。在圖像上， 與具有和手相同顏色的區(qū)域相對應的像素可以表示被手遮蔽的對象。 在對手的顏色的定義中，例如，可以通過紅(R)、綠(G)、以及 藍(B)三個分量來表示手的顏色的代表值，并且可以指定每一分量 可用的值的范圍。也可以定義把RGB分量用作三個正交軸的RGB空 間中的橢球區(qū)域。作為替換方案，可以代替RGB分量，定義把U和 V分量用作兩個正交軸的UV平面中的橢球區(qū)域，其中U和V分量是 YUV顏色空間中的顏色分量。用于對手的顏色進行定義的方法不限于 上述的這些，并且可以使用用于表示顏色或顏色區(qū)域的任何其他定義 方法。圖像輸入單元120接收圖像拾取設備100拍攝的圖像。如果圖像 拾取設備100的輸出與諸如NTSC (國家電視系統(tǒng)委員會)之類的模 擬輸出格式相兼容，則通過視頻捕捉板來實現(xiàn)圖像輸入單元120。如 果圖像拾取設備100的輸出與諸如IEEE (電氣和電子工程師協(xié)會)1394之類的數(shù)字輸出格式相兼容，則通過例如IEEE 1394接口板來實 現(xiàn)圖像輸入單元120。遮蔽區(qū)域檢測器130檢測從圖像輸入單元120輸入的拍攝圖像的 遮蔽區(qū)域，在該遮蔽區(qū)域中觀察目標對象被遮蔽對象定義單元110定 義的遮蔽對象所遮蔽。檢測到的遮蔽區(qū)域被輸出到圖像特征檢測器 140。像特征。僅在除了遮蔽區(qū)域檢測器130檢測到的遮蔽區(qū)域之外的區(qū)域 中檢測圖像特征。檢測到的圖像特征被輸出到位置/姿態(tài)計算單元 150。位置/姿態(tài)計算單元150基于關于圖像特征檢測器140檢測到的 圖像特征的信息，計算圖像拾取設備100相對于觀察目標對象10的 位置和姿態(tài)。現(xiàn)在將對依據(jù)第一實施例的位置和姿態(tài)測量設備1的處理操作 進行描述。圖3是示出了依據(jù)第一實施例的位置和姿態(tài)測量設備l的處理操 作的流程圖。首先，在步驟SIOIO，執(zhí)行初始化。在步驟SIOIO的初始化處理 中，對遮蔽對象進行定義，并且大致確定圖像拾取設備100相對于觀 察目標對象的位置和姿態(tài)。第一實施例中的遮蔽對象是觀察者的手，并且指定表示手的顏色的顏色區(qū)域。在顏色區(qū)域的指定處理中，例如， 預先拍攝包括作為遮蔽對象的手的圖像，并且利用鼠標在圖像中規(guī)定 手區(qū)域。手區(qū)域的顏色被映射到UV平面上，并且指定UV平面上包 括映射的手區(qū)域的橢圓區(qū)作為表示手的顏色的顏色區(qū)域。下面描述的依據(jù)第一實施例的位置和姿態(tài)測量方法是利用關于 圖像特征的信息對圖像拾取設備IOO的大致位置和姿態(tài)進行更新的方 法。因此，在位置和姿態(tài)測量之前，需要預先大致確定圖像拾取設備 100的位置和姿態(tài)。例如，可以指定預定的位置和姿態(tài)，并且可以把 圖像拾取設備100移動到指定的位置和姿態(tài)。
作為替換方案，如在H.Kato和M.Billinghurst所著的"Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System", Proc. The 2nd IEEE International Workshop on Augmented Reality (IWAR ，99)， pp. 85-94， 1999中所公 開的，可以使用一旦在圖像中被檢測到就可識別的人工標記。在這種 情況下，測量標記的頂點的三維位置，并且從人工標記的頂點的圖像 坐標和三維位置之間的對應關系中確定圖像拾取設備100的位置和姿 態(tài)。確定的位置和姿態(tài)可以被指定為圖像拾取設備100的大致位置和姿態(tài)。作為替換方案，可以把具有6個自由度的磁、光學、或者超聲波 位置和姿態(tài)傳感器連附在圖像拾取設備100上，并且從傳感器獲得的 圖像拾取設備100的位置和姿態(tài)可以被指定為圖像拾取設備100的大 致位置和姿態(tài)。可以利用人工標記與上述具有6個自由度的位置和姿 態(tài)傳感器或者具有3個自由度的姿態(tài)傳感器及具有3個自由度的位置 傳感器的組合來測量圖像拾取設備100的位置和姿態(tài)，并且所確定的 位置和姿態(tài)可以被指定為圖像拾取設備100的大致位置和姿態(tài)。在執(zhí) 行了初始化之后，處理前進至步驟S1020。在步驟S1020中，經(jīng)由圖像輸入單元120把圖4象拾取設備100 拍攝的圖像加載到位置和姿態(tài)測量設備l中。步驟S1020中加載的圖 像被傳送到遮蔽區(qū)域檢測器130和圖像特征檢測器140。然后，在步驟S1030中，檢測遮蔽區(qū)域。從圖像中檢測與在步驟 S1010中指定的表示手的顏色的顏色區(qū)域相對應的像素，并對其進行 標注以產(chǎn)生連結(jié)區(qū)域。擴展每一連結(jié)區(qū)域以移除噪聲。剩余的連通區(qū) 域被輸出到圖像特征檢測器140作為遮蔽區(qū)域。圖10A和10B是示出了依據(jù)第一實施例的檢測遮蔽區(qū)域的圖。 圖10A示出了圖像拾取設備100拍攝的圖像，其中，觀察目標對象被 手遮蔽。利用各自與一個像素相關聯(lián)并且指示對應的像素是否被遮蔽 的標志Fi (i=l， 2， ......， n)來確定拍攝的圖像中哪個像素被手遮蔽，其中，n表示拍攝的圖像中像素的數(shù)目。起初，所有的標志Fi 均被設為值"0"。然后，與對應于遮蔽區(qū)域的像素相關聯(lián)的標志Fi被 設為值"1"。把標志Fi輸出到圖像特征檢測器140作為指示遮蔽區(qū)域 的數(shù)據(jù)。圖10B示出了以白色和黑色表示的屏蔽圖像，該圖像是利用標 志Fi產(chǎn)生的。僅在屏蔽圖像的白色部分中檢測圖像特征。然后，在步驟S1040中，執(zhí)行模型投影。具體地，基于圖像拾取 設備IOO的大致位置和姿態(tài)，把觀察目標對象的三維模型投影到圖像 上。利用已知的諸如焦距和主點之類的照相機內(nèi)部參數(shù)來執(zhí)行模型投 影。在第一實施例中，照相機內(nèi)部參數(shù)被預先測量并且因而是已知的。圖4A、 4B、 4C、以及4D是示出了用于對依據(jù)第一實施例的三 維模型進行定義的方法的圖。用一組點、關于通過連接這些點所定義 的表面的信息、以及關于限制這些表面的線段的信息對三維模型進行 定義。如圖4A的左部所示，第一實施例中的三維模型具有長方體形狀， 該長方體帶有8個點Pl到P8，并且用在從點Pl到點P4的方向上延 伸的X軸、在從點P5到點Pl的方向上延伸的Y軸、以及在從點Pl 到點P2的方向上延伸的Z軸來對長方體模型的坐標系進行定義。原 點被設在點P5上。如圖4A的中部和右部所示，用表面F1到F6對 長方體模型進行定義。還用線段L1到L12對長方體模型進行定義。如圖4B所示，用 三維坐標值來表示點P1到P8中的每一個。如圖4C所示，用定義表 面的點的ID和連接這些點的順序來表示表面Fl到F6中的每一個。 如圖4D所示，用其兩個端點的ID表示線段L1到L12中的每一個。圖5A和5B是示出了在步驟S1040中把三維模型投影到圖像上 的圖。圖5A示出了拍攝的圖像，而圖5B示出了把三維模型投影到拍 攝的圖像上的圖像。當連續(xù)幀中在圖像拾取設備100和觀察目標對象10之間出現(xiàn)移 動時，如圖5B所示，在實際拍攝的圖像和用粗線指示的三維模型的 投影圖《象之間出現(xiàn)偏離。在圖5B中，虛線指示不能從位置和姿態(tài)上
觀察到的隱藏的線段。然后，在步驟S1050中，檢測圖像特征。如下檢測圖像特征。首先，設置分割點，以便定義了投影的三維模型的線段在圖像上 可以被分成等間隔。圖6是示出了在三維模型的圖像上的分割點的圖。分割點的總數(shù)是N,并且每一個分割點用DPi(i=l， 2........ N)來表示。可以通過改變圖像上分割點之間的間隔來控制分割點的數(shù)目 N?？梢栽诿恳粠懈淖儓D像上的分割點之間的間隔，使得分割點的 數(shù)目可以是恒定的。現(xiàn)在將參考圖7示出的流程圖對在步驟S1050中執(zhí)行的圖像特征 檢測處理進行描述。首先，在步驟S1110中，變量"i"被設為1。然后，在步驟S1120 中，確定給定的分割點DPi是否可見。具體地，如果分割點DPi被三 維模型的另一表面所遮蔽，即，如果分割點DPi落在圖6示出的虛線 上，則分割點DPi不可見?？梢酝ㄟ^例如文獻8所公開的那樣來執(zhí)行 關于分割點DPi是否可見的確定，即在利用圖形硬件描繪了三維模型 之后描繪分割點DPi，并確定在圖形硬件中是否已對深度緩存進行了 更新。如果分割點DPi不可見，則處理前進至步驟S1150。如果分割 點DPi可見，則處理前進至步驟S1130。在步驟S1130中，確定分割點DPi是否被步驟S1010中指定的 遮蔽對象所遮蔽。具體地，如果與分割點DPi的圖像坐標相關聯(lián)的遮 蔽區(qū)域標志Fj的值是1，則確定分割點DPi被遮蔽對象所遮蔽。如果 標志Fj的值是0，則確定分割點DPi未被遮蔽。如果確定分割點DPi 被遮蔽，則處理前進至步驟S1150。如果確定分割點DPi未被遮蔽， 則處理前進至步驟S1140，并且檢測圖像特征。在步驟S1140中，檢測與分割點DPi相對應的圖像特征。在第 一實施例中，圖像特征是邊緣。圖8A和8B是示出了用于依據(jù)第一實 施例檢測圖像特征的方法的圖。如圖8A所示，對于每一分割點，沿 著與投影的線段的法線平行并且通過該分割點的線段(在下文中稱為 "搜索線")對邊緣進行一維搜索。注意，如果與搜索線上像素的圖像坐標相關聯(lián)的遮蔽區(qū)域標志Fj的值是1，則不在搜索線上的像素上執(zhí) 行邊緣檢測。此外，存在搜索線上像素的圖像坐標可以具有非整數(shù)值 的可能性。在這種情況下，例如，對4個鄰近的點，通過利用遮蔽區(qū) 域標志Fj的值的雙線性內(nèi)插來確定遮蔽區(qū)域標志的平均值。如果該 平均值大于0.5，則確定對應的像素被遮蔽，并且不執(zhí)行邊緣檢測。 邊緣出現(xiàn)于強度梯度具有極值的位置處的搜索線上(見圖8B)。在 第一實施例中，如果多個邊緣出現(xiàn)于搜索線上，則最接近于分割點的 邊緣被指定為對應點，并且存儲對應點的圖像坐標和分割點的三維坐 標。雖然在第一實施例中，最接近于分割點的邊緣被指定為對應點， 但是對應點不限于該邊緣，并且表現(xiàn)出強度梯度的極值的最大絕對值 的邊緣可以被指定為對應點。作為替換方案，如文獻7所公開的，在 本發(fā)明的范圍內(nèi)可以把多個點而不是一個點存儲為候選的對應點。在步驟S1150中，變量"i"增加1，并且處理前進至步驟S1160。 如果已對所有分割點DPi完成處理，則處理結(jié)束；否則，處理返回步 驟S1120。如果已對所有分割點DPi完成處理，則在圖3示出的步驟S1060 中，確定圖像拾取設備100的位置和姿態(tài)。從分割點DPi之中在步驟 S1140已確定了其對應點的分割點的數(shù)目用Nc表示。通過迭代計算 對圖像拾取設備100的大致位置和姿態(tài)進行校正來確定圖像拾取設備 100的位置和姿態(tài)。圖9是示出了用于利用線段信息計算圖像拾取設 備100的位置和姿態(tài)的方法的圖。在圖9中，分別在圖像的水平和垂 直方向上對x軸和y軸標繪。給定的分割點的坐標用(u， v)來表示， 并且圖像上給定的分割點所屬的線段L相對于x軸以傾角e傾斜。線 段L的法向矢量用(sin0，-cose)來表示。分割點的對應點的坐標用 (n，，v，)來表示。線段L上的點(x，y)滿足等式(1):<formula>formula see original document page 18</formula>
其中d= u，sine-v，cose (常數(shù))。分割點的圖像坐標是圖像拾取 設備100的位置和姿態(tài)的函數(shù)。圖像拾取設備100的位置和姿態(tài)具有 6個自由度。假定表示圖像拾取設備100的位置和姿態(tài)的參數(shù)用p表 示。參數(shù)p是六維矢量，其具有表示圖像拾取設備100的位置的三個 元素和表示圖像拾取設備100的姿態(tài)的三個元素。表示姿態(tài)的三個元 素中的每一個例如用歐拉(Euler)角，或者方向和幅度分別表示旋轉(zhuǎn) 軸和旋轉(zhuǎn)角的三維矢量等等來表示。通過對(x，y)進行近似，作為分 割點的圖像坐標，在(u，v)附近利用一維泰勒展開，獲得下述表達式""+ X，Ap'， "v + Z，A^ ......等式(3)tf浙 t^; ,其中，I、 l表示被稱為圖像雅可比行列式(Jacobian)的偏微分系數(shù)，并且利用已知方法而被導出，在例如K.Satoh， S. Uchiyama， H.Yamamoto， 以及 H.Tamura 所著的"Robust Vision-Based Registration Utilizing Bird，s-Eye View with User's View"， Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMA歸)，PP. 46-55， 2003 (在下 文中稱為"文獻9")中公開了這種已知方法。省略對其的詳細描述。計算圖像拾取設備100的位置和姿態(tài)參數(shù)p的校正值Ap，以便 用等式(3)表示的點(x，y)出現(xiàn)于用等式(2)表示的直線上。把等 式(3)代入等式(2)，產(chǎn)生等式(4):廣......等式(4)乂.等式(5重新整理等式(4)來產(chǎn)生等式(5):,=々,. g浙 因為為Nc個分割點建立等式(5)，建立校正值Ap的線性方程 組，如等式(6):sin《^L-eos^sin 62 - cos S2& 浙sin 02 - cos^2 *2 3p2sin《- cos《sin 02 - cos 023p6 *6si"《—cos《—《*2*6-— 等式(6)等式(6)被簡化為等式(7):JAp-E ......等式(7 )根據(jù)等式(7)，利用矩陣J的廣義逆矩陣(JTvJ)"確定校正值Ap。然而，可能經(jīng)常錯誤地檢測邊緣，并且使用下述的強健的估算方 法。通常，與錯誤地檢測到的邊緣相對應的分割點具有大的誤差d-r。 因此，對于用等式(6)和(7)表示的聯(lián)立方程組的貢獻很大，導致 校正值Ap的低精確度。為了處理這個問題，給具有大誤差d-r的分 割點分配小權重，并且給具有小誤差d-r的分割點分配大權重。利用 例如由等式(8)給出的Tukey函數(shù)來計算權重wW = <[(l-"/c)2)2 !，c ……等式(8)0 x 〉 c加權函數(shù)不限于Tukey函數(shù)，并且可以使用給具有大誤差d-r 的分割點分配小權重并且給具有小誤差d-r的分割點分配大權重的任 何其他函數(shù)，諸如由下述等式給出的Huber函數(shù)令分配給分割點DPi的權重用Wi來表示。加權矩陣W用等式(9 ) 來定義,等式(9)加權矩陣W是NcxNc方陣，其包含除了對角元素之外的O和作 為對角元素的權重Wi。加權矩陣W用來把等式(7)更改為等式(10):WJAp-WE ......等式(10)通過利用下面的等式(11)求解等式(10)，確定校正值Ap:Ap=(JTWJ) 1JTWE ......等式(11)獲得的校正值Ap用來對圖像拾取設備100的大致位置和姿態(tài)進 行更新。以這種方式，在步驟S1060中確定圖像拾取設備IOO的位置
和姿態(tài)。然后，在步驟S1070中，確定圖像拾取設備IOO的位置和姿態(tài)的 計算是否已收斂。如果在步驟S1060中確定的校正值足夠小，或者誤 差r-d的總和足夠小，或者誤差r-d的總和不變，則確定圖像拾取設 備IOO的位置和姿態(tài)的計算已收斂，并且處理前進至步驟S1080。如 果確定計算尚未收斂，則把在步驟S1060中更新的圖像拾取設備100 的位置和姿態(tài)指定為圖像拾取設備100的新的大致位置和姿態(tài)。然后， 處理返回步驟S1060，并且重新計算值e、 r、以及d，以再次確定校 正值Ap。在步驟S1080中，確定是否已接收到完成位置和姿態(tài)計算處理的 指示。如果已接收到指示，則處理結(jié)束，否則，處理返回至步驟S1020。利用圖像拾取設備100的位置和姿態(tài)把虛擬空間圖像疊加到拍 攝的圖像上，圖像拾取設備100的位置和姿態(tài)是通過參考圖3示出的 流程圖描述的位置和姿態(tài)測量方法而獲得的。圖IIA和IIB是示出了依據(jù)第一實施例的計算機圖形疊加(合 成)方法的圖。圖IIA示出了不考慮現(xiàn)實對象(例如手)和虛擬對象 (例如虛擬圓柱)之間的遮蔽關系而產(chǎn)生的圖像，其中，把基于圖像 拾取設備100的位置和姿態(tài)而產(chǎn)生的虛擬對象的圖像疊加到拍攝的圖 像上。如果虛擬對象位于手的后面，如圖IIB所示，則需要將虛擬對 象描繪在手的后面。在第一實施例中被檢測為遮蔽區(qū)域的區(qū)域是手區(qū) 域，并且在與檢測到的遮蔽區(qū)域相對應的像素中不描繪虛擬對象的圖 像，以產(chǎn)生如圖IIB所示的自然的AR圖像。因此，在第一實施例中，檢測其中遮蔽對象遮蔽了圖像上觀察目 標對象的圖像的遮蔽區(qū)域，并且在遮蔽區(qū)域中不檢測圖像特征。因此， 可以以高精度穩(wěn)定地計算觀察者相對于觀察目標對象的位置和姿態(tài)。第一實施例的改進示例在第一實施例中，遮蔽觀察目標對象的對象是手，但是不限于此， 而可以是具有二維圖像特征的任何其他對象，諸如臉。
例如，如圖12所示，預先確定臉圖像的數(shù)據(jù)庫，并且將拍攝的 圖像與數(shù)據(jù)庫中的臉圖像進行匹配。確定與臉圖像相匹配的圖像的區(qū) 域被臉遮蔽，并且在該區(qū)域中不檢測圖像特征。通過這種方法，可以 實現(xiàn)穩(wěn)定的高精度位置和姿態(tài)計算。在第一實施例中，基于手的顏色來檢測遮蔽區(qū)域。如果遮蔽對象 具有獨特的顏色，則可以基于這種獨特的顏色檢測遮蔽區(qū)域。例如， 當用戶在他/她的手上戴著橘色手套時，可以把拍攝的圖像上的橘色區(qū) 域檢測為遮蔽區(qū)域。作為替換方案，可以基于遮蔽對象的外形圖案而不是顏色來檢測 遮蔽區(qū)域。例如，當用戶在他/她的手上戴著圓點圖案的手套時，拍攝 的圖像中圓點圖案的區(qū)域可以被檢測為遮蔽區(qū)域。第二實施例在第一實施例中，在拍攝的圖像上檢測手區(qū)域并且把其指定為遮 蔽區(qū)域。不在遮蔽區(qū)域中檢測圖像特征，從而實現(xiàn)觀察者相對于觀察 目標對象的位置和姿態(tài)的穩(wěn)定的高精度計算。在本發(fā)明的笫二實施例中，不以笫 一實施例中描述的方式使用二 維圖像的特征來檢測遮蔽區(qū)域，而是使用遮蔽對象的模型和遮蔽對象 與圖像拾取設備的大致位置和姿態(tài)來從拍攝的圖像中檢測遮蔽區(qū)域。圖13示出了依據(jù)第二實施例的位置和姿態(tài)測量設備2的示例結(jié) 構(gòu)。如圖13所示，圖像拾取設備100連接到位置和姿態(tài)測量設備2。 位置和姿態(tài)測量設備2包括遮蔽對象定義單元210、圖像輸入單元 120、遮蔽區(qū)域檢測器230、圖像特征檢測器140、位置/姿態(tài)計算單元 150、第一大致位置/姿態(tài)輸入單元260、以及第二大致位置/姿態(tài)輸入 單元270。用相同的附圖標記表示與圖1示出的位置和姿態(tài)測量設備 1功能類似的位置和姿態(tài)測量設備2的部件。圖14是示出了應用了依據(jù)第二實施例的位置和姿態(tài)測量設備2 的典型情況的圖。在觀察者所觀察的空間中，存在觀察目標對象30和第二觀察者
40。第二觀察者40可以遮蔽觀察目標對象30。假定兩個觀察者均戴 著HMD并且享受他們的AR經(jīng)歷。在圖14中，第二觀察者40戴著 HMD 50。依據(jù)第二實施例的位置和姿態(tài)測量設備2被配置為確定圖 像拾取設備100相對于觀察目標對象30的位置和姿態(tài)。遮蔽對象定義單元210定義遮蔽對象模型。例如，遮蔽對象定義 單元210基于HMD 50的坐標系定義包含人體對象的長方體模型，并 且把模型的定義存儲在存儲單元(未示出)中。圖像輸入單元120、 圖像特征檢測器140、以及位置/姿態(tài)計算單元150的操作與第一實施 例中的類似，因而省略對其的描述。第一大致位置/姿態(tài)輸入單元260輸入圖像拾取設備100的大致 位置和姿態(tài)。第二大致位置/姿態(tài)輸入單元270輸入第二觀察者40的 大致位置和姿態(tài)，即，HMD50的大致位置和姿態(tài)。遮蔽區(qū)域檢測器 230基于從第一大致位置/姿態(tài)輸入單元260和第二大致位置/姿態(tài)輸 入單元270中獲得的位置和姿態(tài)信息、以及遮蔽對象定義單元210所 定義的遮蔽對象模型，檢測觀察目標對象30在拍攝的圖像中被遮蔽 的遮蔽區(qū)域。檢測到的遮蔽區(qū)域被輸出到圖像特征檢測器140。圖15是示出了依據(jù)第二實施例的處理過程的流程圖。首先，在步驟S2010中，執(zhí)行初始化。在步驟S2010的初始化處 理中，定義遮蔽對象，并且大致確定圖像拾取設備100相對于觀察目 標對象30的位置和姿態(tài)。第二實施例中的遮蔽對象是第二觀察者40， 并且，如圖16所示，指定包含笫二觀察者40的長方體對象60。參考 圖16，預先大致測量第二觀察者40的高度、水平寬度、以及垂直寬 度，并且確定包含第二觀察者40的長方體對象60。也基于HMD 50 的坐標系確定長方體對象60的位置和姿態(tài)。此外，以第一實施例中 描述的方式來大致確定圖像拾取設備100的位置和姿態(tài)。在執(zhí)行了初 始化之后，處理前進至步驟S1020。在步驟S1020中，經(jīng)由圖像輸入單元120把圖像拾取設備100 拍攝的圖像加栽到位置和姿態(tài)測量設備2中。在步驟S1020中加載的 圖像被傳送到遮蔽區(qū)域檢測器230和圖像特征檢測器140。
然后，在步驟S2090中，第一大致位置/姿態(tài)輸入單元260輸入 圖像拾取設備100的大致位置和姿態(tài)。第二大致位置/姿態(tài)輸入單元 270輸入第二觀察者40所佩戴的HMD 50的大致位置和姿態(tài)。圖像 拾取設備100的大致位置和姿態(tài)例如是在前一幀中計算的位置和姿 態(tài)。HMD 50的大致位置和姿態(tài)是利用由觀察者40所操作的位置和 姿態(tài)測量設備2計算的最新的位置和姿態(tài)。兩個位置和姿態(tài)測量設備可以運行在同 一計算機上，并且可以經(jīng) 由進程內(nèi)(inter-process)通信來交換計算出的位置和姿態(tài)結(jié)果。兩 個位置和姿態(tài)測量設備可以運行在不同的計算機上，并且可以經(jīng)由網(wǎng) 絡交換計算出的位置和姿態(tài)結(jié)果?？梢詾镠MD 50提供具有6個自由 度的磁的、光學的、或者超聲波的位置和姿態(tài)測量傳感器，并且可以 從傳感器的輸出值中獲得大致位置和姿態(tài)。作為替換方案，可以為 HMD 50提供具有三個自由度的姿態(tài)傳感器和位置傳感器，并且可以 從標記的投影圖像和三個自由度的傳感器的測量值中獲得位置和姿 態(tài)，其中該標記的投影圖像位于HMD 50的內(nèi)部圖像拾取設備所拍攝 的圖像上。也就是說，可以使用能夠提供大致位置和姿態(tài)確定的任何 方法。可以以類似于用于HMD 50的方式獲得圖像拾取設備100的大 致位置和姿態(tài)。然后，在步驟S2030中，檢測遮蔽區(qū)域。首先，如圖17A所示， 基于步驟S2090中獲得的圖像拾取設備100和HMD 50的大致位置和 姿態(tài)，在圖像拾取設備100拍攝的圖像上描繪長方體對象60。然后， 在描繪有長方體對象60的圖像上，描繪了長方體對象60的部分被輸 出到圖像特征檢測器140作為遮蔽區(qū)域。圖17B是用白色和黑色表示 的屏蔽圖像，利用標志Fi產(chǎn)生該屏蔽圖像。僅在屏蔽圖像的白色部分 中檢測圖像特征。步驟S1040、 S1050、 S1060、 S1070、以及S1080的處理類似于 第一實施例中的處理，因而省略對其的描述。因此，在第二實施例中，使用遮蔽對象的模型和遮蔽對象與圖像 拾取設備的大致位置和姿態(tài)來檢測拍攝的圖像的遮蔽區(qū)域。不在遮蔽
區(qū)域中檢測圖像特征。因此，可以實現(xiàn)觀察者相對于觀察目標對象的 位置和姿態(tài)的穩(wěn)定的高精度計算。改進示例在第一和笫二實施例中，不在被檢測為遮蔽區(qū)域的區(qū)域中檢測圖 像特征。例如，在圖10示出的情況下，雖然具有與手的顏色相同顏色的區(qū)域被檢測為遮蔽區(qū)域，但是手區(qū)域與非手區(qū)域之間的邊界未必具有 與手相同的顏色。因此，在手區(qū)域和非手區(qū)域之間的邊界上可能會錯 誤地檢測圖4象特征。為了避免這種錯誤檢測，可以把檢測到的遮蔽區(qū)域及其邊界包括 在遮蔽區(qū)域中。例如，把遮蔽區(qū)域向外延伸一個像素，以便可以把其邊界包括在遮蔽區(qū)域中。除圖18A示出的邊界之外，鄰近遮蔽區(qū)域的 區(qū)域，如圖18B所示，可以被包括在遮蔽區(qū)域中。在這種情況下，把 遮蔽區(qū)域延伸若干像素而不是一個像素。在第二實施例中，可以增加 長方體對象60的大小以實現(xiàn)類似的優(yōu)點。其他實施例在上述的實施例中，在圖像特征檢測之前檢測遮蔽區(qū)域，并且在 除了遮蔽區(qū)域之外的區(qū)域中檢測圖像特征。然而，圖像特征檢測器可以被配置為不考慮遮蔽區(qū)域來檢測圖像 特征，并且位置/姿態(tài)計算單元可以被配置為確定檢測到的圖像特征是否被包括在遮蔽區(qū)域中，并且只利用未被包括在遮蔽區(qū)域中的圖像特 征來計算圖像拾取設備的位置和姿態(tài)。在這種情況下，只需要在位置和姿態(tài)計算之前執(zhí)行圖像特征的檢測和遮蔽區(qū)域的檢測。例如，可以 在計算機中并行執(zhí)行圖像特征的檢測和遮蔽區(qū)域的檢測。在上述的實施例中，把邊緣用作圖像特征。然而，圖像特征不限 于邊緣，而可以是點特征。通常把點特征稱為特征點、興趣點等等， 并且主要檢測諸如在圖像上表現(xiàn)出強度極值的點或角點(頂點)之類的點?？梢岳肏arris角檢測器來檢測點特征，在例如C.Harris以 及M.Stephens所著的"A Combined Corner and Edge Detector", Proc. 4th Alvey Vision Conf.， PP. 147-151， 1998 (在下文中稱為"文獻10") 中公開了這種Harris角檢測器。在文獻8中，使用被稱為尺度不變 (Scale Invariant)特征變換(SIFT )的方法來檢測點特征。以類似于邊緣檢測中的方式，在除了第一和第二實施例中檢測到 的遮蔽區(qū)域之外的區(qū)域中檢測點特征，以避免錯誤檢測。因此，可以 實現(xiàn)圖像拾取設備的位置和姿態(tài)的穩(wěn)定的高精度計算。雖然在上述的實施例中，確定觀察者相對于觀察目標對象的位置 和姿態(tài)，但是也可以確定觀察目標對象相對于觀察者的位置和姿態(tài)。 作為替換方案，可以使用能夠提供對觀察者或觀察目標對象的位置或 姿態(tài)的確定的任何其他方法來確定觀察者或者觀察目標對象的位置 或姿態(tài)。例如，可以通過連附在觀察目標對象或者觀察者身體上的陀 螺儀傳感器來測量觀察者或者觀察目標對象的姿態(tài)。也可以通過給連接到各種裝置的設備或系統(tǒng)的計算機(或者中央 處理單元(CPU)或者微處理單元(MPU))提供實現(xiàn)上述實施例功 能的軟件的程序代碼以便對各種裝置進行操作來實現(xiàn)上述實施例的 功能，并且使系統(tǒng)或設備的計算機依據(jù)程序代碼對各種裝置進行操 作，來實現(xiàn)上述實施例的功能。在這種情況下，可以通過軟件的程序代碼來實現(xiàn)上述實施例的功 能，并且程序代碼和存儲有程序代碼的存儲介質(zhì)均構(gòu)成了本發(fā)明的實 施例。存儲有程序代碼的存儲介質(zhì)的示例可以包括軟盤、硬盤、光盤、 磁光盤、緊湊盤只讀光盤存儲器(CD-ROM)、磁帶、非易失性存儲 卡、以及ROM?？梢酝ㄟ^由計算機執(zhí)行讀出的程序代碼實現(xiàn)上述實施例的功能， 并且也可以通過與運行在計算機上的操作系統(tǒng)(OS)、其他軟件應用程序、等等相結(jié)合使用程序代碼實現(xiàn)上述實施例的功能。這都落入本 發(fā)明的范圍內(nèi)。
此外，可以把提供的程序代碼存儲在放置在計算機中的功能擴展 板或者連接到計算機的功能擴展單元的存儲器中，其后，功能擴展板或者功能擴展單元的CPU等可以依據(jù)程序代碼的指示，執(zhí)行部分或全部的實際處理，以實現(xiàn)上述實施例的功能。這也落在本發(fā)明的范圍內(nèi)。雖然已參考示例性實施例對本發(fā)明進行了描述，但是應當理解， 本發(fā)明不限于公開的示例性實施例。下列權利要求的范圍應被給予最 寬的解釋，以便涵蓋所有改進、等同結(jié)構(gòu)和功能。
權利要求
1、一種圖像處理設備，其包括對象定義單元，其被配置為定義能夠遮蔽要被觀察的目標對象的特定對象；圖像獲得單元，其被配置為獲得圖像拾取設備所拍攝到的拍攝圖像；區(qū)域檢測器，其被配置為從獲得的拍攝圖像中檢測包括該特定對象的區(qū)域；圖像特征檢測器，其被配置為從拍攝圖像中檢測目標對象的圖像特征；以及計算單元，其被配置為基于圖像特征檢測器檢測到的圖像特征，計算拍攝了拍攝圖像的圖像拾取設備的位置或姿態(tài)、或者拍攝圖像中的目標對象的位置或姿態(tài)，其中，圖像處理設備被配置為在確定拍攝了圖像的圖像拾取設備的位置和/或姿態(tài)、或者拍攝圖像中的目標對象的位置和/或姿態(tài)時，不考慮來自檢測到的區(qū)域的特征。
2、 根據(jù)權利要求1所述的圖像處理設備，其中，區(qū)域檢測器被 配置為檢測包括特定對象遮蔽了目標對象的區(qū)域的區(qū)域，或者檢測特 定對象遮蔽了目標對象的區(qū)域及其相鄰區(qū)域。
3、 根據(jù)權利要求1所述的圖像處理設備，其中，圖像特征檢測 器被配置為基于檢測到的區(qū)域，通過在除了檢測到的區(qū)域之外的拍攝 圖像的區(qū)域中進行檢測，從而檢測圖像特征。
4、 根據(jù)權利要求1所述的圖像處理設備，其中，計算單元被配 置為基于檢測到的區(qū)域，根據(jù)在除了檢測到的區(qū)域之外的拍攝圖像的 區(qū)域中檢測到的圖像特征，計算拍攝了拍攝圖像的圖像拾取設備的位 置和/或姿態(tài)、或者在拍攝圖像中的目標對象的位置和/或姿態(tài)。
5、 根據(jù)權利要求l所述的圖像處理設備，其中，對象定義單元 被配置為在圖像特征信息方面對特定對象進行定義，以及 區(qū)域檢測器被配置為基于定義的圖像特征信息，從拍攝圖像中檢 測所述區(qū)域。
6、 根據(jù)權利要求5所述的圖像處理設備，其中，定義了特定對 象的圖像特征信息包括顏色或圖案。
7、 根據(jù)權利要求6所述的圖像處理設備，其中，特定對象包括 人的皮膚，并且顏色包括皮膚的顏色。
8、 根據(jù)權利要求5所述的圖像處理設備，其中，定義了特定對 象的圖像特征信息包括表示圖像上人臉區(qū)域的特征。
9、 根據(jù)權利要求1所述的圖像處理設備，其中，對象定義單元 被配置為定義特定對象的三維形狀，所述圖像處理設備進一步包括第一大致位置和姿態(tài)獲得單元，其被配置為獲得圖像拾取設備的 大致位置和大致姿態(tài)；以及第二大致位置和姿態(tài)獲得單元，其被配置為獲得特定對象的大致 位置或者特定對象的大致位置和大致姿態(tài)，以及該區(qū)域檢測器基于第一大致位置和姿態(tài)獲得單元獲得的圖像拾 取設備的大致位置和大致姿態(tài)、第二大致位置和姿態(tài)獲得單元獲得的 特定對象的大致位置或者特定對象的大致位置和大致姿態(tài)、以及特定 對象的三維形狀，從拍攝圖像中檢測包括了特定對象的區(qū)域。
10、 根據(jù)權利要求l所述的圖像處理設備，進一步包括 虛擬空間圖像發(fā)生器，其被配置為基于計算單元的計算結(jié)果，產(chǎn)生虛擬空間圖像；以及圖像合成單元，其被配置為把拍攝圖像與虛擬空間的圖像進行合成，其中，向用戶呈現(xiàn)合成了拍攝圖像與虛擬空間圖像的圖像。
11、 根據(jù)權利要求IO所述的圖像處理設備，其中，不把虛擬空 間圖像與區(qū)域檢測器檢測到的區(qū)域進行合成。
12、 根據(jù)權利要求l所述的圖像處理設備，其中，圖像特征包括 線特征或點特征。
13、 一種圖像處理方法，其包括保持步驟，保持對能夠遮蔽要被觀察的目標對象的特定對象進行 定義的定義信息；圖像獲得步驟，獲得圖像拾取設備拍攝的拍攝圖像； 區(qū)域檢測步驟，從獲得的拍攝圖像中檢測包括該特定對象的區(qū)域；圖像特征檢測步猓，從拍攝圖像中檢測目標對象的圖像特征；以及計算步驟，基于圖像特征檢測步驟中檢測到的圖像特征，計算拍 攝了拍攝圖像的圖像拾取設備的位置和/或姿態(tài)、或者拍攝圖像中的目 標對象的位置和/或姿態(tài)，其中，該方法在確定拍攝了圖像的圖像拾取設備的位置和/或姿 態(tài)、或者拍攝圖像中的目標對象的位置和/或姿態(tài)時，不考慮來自檢測 到的區(qū)域的特征。
14、 一種計算機程序，用于通過使用計算機來實現(xiàn)根據(jù)權利要求 13所述的圖像處理方法。
全文摘要
本發(fā)明提供了一種圖像處理設備及方法。在基于自然特征的位置和姿態(tài)測量中，當觀察目標對象被另一對象遮蔽時防止自然特征的錯誤檢測，并且提高了配準穩(wěn)定性。為此，定義了可以遮蔽觀察目標對象的遮蔽對象，并且在輸入的拍攝圖像中檢測遮蔽對象遮蔽了觀察目標對象的遮蔽區(qū)域。在除了檢測到的遮蔽區(qū)域之外的拍攝圖像的區(qū)域中檢測觀察目標對象的圖像特征。因此，計算出拍攝了拍攝圖像的圖像拾取設備的位置或姿態(tài)、或者拍攝圖像中的觀察目標對象的位置或姿態(tài)。
文檔編號G06T7/00GK101162524SQ20071014088
公開日2008年4月16日 申請日期2007年8月10日 優(yōu)先權日2006年8月11日
發(fā)明者中澤壽弘, 佐藤清秀, 小竹大輔, 巖瀨好彥, 武本利果, 鈴木雅博 申請人:佳能株式會社