專利名稱：利用投影儀進行位置和方位的檢測的制作方法
技術領域：
本發(fā)明一般涉及計算機視覺，更具體地說，涉及使用投影的圖像確定物體的位置和方位。
背景技術：
位置傳感器用于許多應用中，其中需要確定物體的位置和方位。在下文中，“位置傳感器”這個術語指位置和方位傳感器。位置是物體在三維座標框架中的位置，物體的方位是物體相對于所述座標框架的轉動。
在一種示例的應用中，位置傳感器可被連接于一個運動著的正在進行三維掃描的攝像機上。此攝像機的位置和方位是已知的，以便幫助根據(jù)運動著的攝像機獲得的圖像產(chǎn)生場景的三維重構。類似地，位置傳感器可被連接于一個投影儀上，以便幫助校正圖像在一個表面或物體上的投影。位置傳感器還可以連接于一個工具上，以使得所述工具可以相對于一部分或一個工作表面被正確地定位。如果用戶正在操縱所述工具，則位置傳感器使得能夠實現(xiàn)觸覺的或其它反饋，例如在遠距離操作中，或者用于計算機輔助的手術。位置傳感器也可以用于跟蹤運動著的物體例如車輛或人員的位置。
在現(xiàn)有技術中使用位置傳感器的一種方法是在環(huán)境中的已知位置設置一個視覺的標記或有源發(fā)射器，例如LED。在這些應用中，位置傳感器可以是觀察所述標記或發(fā)射器的攝像機，以便推斷其自身的位置和方位。其它應用使用超聲代替光?；蛘?，視覺標記或有源發(fā)射器可被連接于感興趣的物體上，以使得通過使用觀察物體的攝像機可以直接確定物體的位置和方位。
在環(huán)境中使用LED發(fā)射器的系統(tǒng)在“The JiBall TrackerHigh-Performance Wide-Area Tracking for Virtual and AugmentedEnvironments”，Welch等，Proc.of the ACM Symposium on VirtaalReality Software and Technology，1999，中描述了。一種在環(huán)境中使用超聲發(fā)射器的系統(tǒng)是由Intersense Corporation，Burlington，Massachusett生產(chǎn)的IS-600運動跟蹤器。
現(xiàn)有技術的方法具有若干限制。當環(huán)境大時或者環(huán)境包括難于達到的位置時，改變環(huán)境可能是困難的。并且對環(huán)境的測試設備必須隨后進行校準處理。因而這些類型的系統(tǒng)趨于是具有固定的工作位置空間的固定的設備，并且在新的地點不能容易地快速地使用。包括連接于物體的標記或發(fā)射器例如LED的系統(tǒng)，通常需要跨過物體的表面的多個發(fā)射器。使用校準處理來確定標記或發(fā)射器的布置。為了把多個標記或發(fā)射器連接到小的物體上這是個問題。如果物體是手持的，這也是有問題的，因為用戶必須采取不使標記或發(fā)射器被閉塞的握持姿勢。
這些問題可以由電磁傳感器來克服，但是這種系統(tǒng)是相當復雜和昂貴的，并且校準仍然是個問題。大多數(shù)現(xiàn)有技術要求相對靜止的設置，這使得在特定的動態(tài)地改變著的環(huán)境中難于使用這種系統(tǒng)。電磁系統(tǒng)的一個例子是由Polhemus Inc.，of Colchester，VT生產(chǎn)的Fastrak運動跟蹤產(chǎn)品。
因而，需要一種用于物體的位置和定向的傳感器，其不必修改環(huán)境便能工作，并且不需要復雜的校準。還需要一種緊湊的位置和定向傳感器，即，傳感器不需要跨越環(huán)境或在感興趣的物體的表面上分布的標記或發(fā)射器。被連接于手持的物體上的位置傳感器的小型化的優(yōu)點在于，用戶可以容易地在物體的某個部分上采用一種握持姿勢，而不會閉塞位置傳感器。

發(fā)明內容
由投影圖像確定投影儀的位置和方位。首先確定在攝像機和一個平的表面之間的單應(homography)，其中所述攝像機和所述平的表面處于一種固定的關系。
接著，使用具有已知的固有參數(shù)和未知的位置與方位的投影儀把一個已知的圖案投影到所述平的表面上。
利用攝像機獲得已知圖案的圖像，并使用所述的單應和所述固有參數(shù)由所述圖像確定投影儀的位置和方位。


由下面結合附圖對本發(fā)明的優(yōu)選實施例進行的詳細說明，可以更容易理解本發(fā)明，其中圖1是按照本發(fā)明的位置和方位感測系統(tǒng)的方塊圖；圖2是按照本發(fā)明的校準處理的流程圖；以及圖3是按照本發(fā)明的位置和方位感測方法的流程圖。
具體實施例方式
系統(tǒng)結構圖1表示按照本發(fā)明的位置和方位感測系統(tǒng)100。所述系統(tǒng)包括固定的攝像機110和可動的投影儀120。攝像機110和投影儀120觀察一個固定的、平的(2D)表面130。攝像機和所述平的表面具有固定的相對位置。攝像機和投影儀可以在所述表面的同一側，或者，如果所述表面是半透明的，則攝像機和投影儀可以位于該平的表面的相對側。
在優(yōu)選實施例中，攝像機110和投影儀120是數(shù)字裝置。也可以使用具有A/D轉換器的模擬裝置。
處理器(CPU)140和攝像機110耦接。處理器140配備有存儲器和I/O端口，如本領域技術人員已知的那樣。處理器140能夠執(zhí)行按照本發(fā)明的位置和方位感測方法300，如下面詳細說明的。
系統(tǒng)操作校準如圖2所示，系統(tǒng)100的校準處理200具有兩個級210-220。第二個是選擇的。在第一級210中，固定的攝像機110相對于固定的平的表面130被校準，以便確定在攝像機110的圖像平面的座標框架和固定的表面130的歐幾里得(公制的)坐標框架之間的單應H 211。這可以通過給定在固定的表面130上的已知位置的4個點131，例如在固定的表面130上的一個方形的4個拐角，使用熟知的幾何關系來實現(xiàn)。
單應211使得攝像機110的坐標框架和固定的表面130的坐標框架按以下方式相關。
對于在2D表面上的對應的點X的圖像點x，其關系是x＝HX其中x和X是齊次座標，H是描述所述單應的3×3的矩陣。給定4組對應的點{xi，Xi}，i＝1，…4，上面的公式產(chǎn)生一個單應H 211的數(shù)組元素的線性系統(tǒng)，使得可以對H求解。
如果表面130的坐標框架的整個比例是未知的，例如，在表面130上的4個點131已知是一個方形的4個拐角，但是方形的尺寸是未知的，則在隨后的處理中，投影儀120的位置和方位被確定為一個未知的比例。這對于許多應用是足夠的，例如，對于一個場景的三維掃描，其中目的是產(chǎn)生一個三維的重構，而整個比例是不重要的。
在第二個可選擇的處理220中，校準處理200確定投影儀120的固有參數(shù)IP 221。確定一個針孔裝置例如投影儀120的固有參數(shù)，是一種熟知的處理?；蛘撸队皟x120的固有參數(shù)可以在系統(tǒng)100操作時被確定，如下面詳細說明的。
位置和方位感測如圖3所示，位置感測系統(tǒng)100可被用于利用投影儀120和方法300來感測物體的位置和方位。
首先，在310確定攝像機110和表面130之間的單應211，如上所述。
接著在320，由具有已知的固有參數(shù)221但是位置和方位未知的投影儀120把一個已知的圖案230投影到平的表面210上。最低限度地，圖案230至少包括3個不同的非共線的點。
然后在330，攝像機110獲得已知圖案230的圖像331，并在投影儀120的圖像座標內測量圖案230的特征。
在處理300的最后一步340，使用單應211把圖案的特征從圖像331的座標框架變換到平的表面130的坐標框架。
給定平的表面130上的圖案230的各特征的座標，以及在投影儀的圖像平面上的各圖案特征的相應的座標，和投影儀的固有參數(shù)221，便可以確定投影儀120的位置和方位。該方法是對在DeMenthon等人的文章“Exact and Approximate Solutions of thePerspective-Three-Point Problem”，IEEE Trans.Pattern Analysis andMachine Intelligence，vol.14，no.11，pp.1100-1105，1992年11月中所述的方法的一種修改。
DeMenthon的方法是一種用于計算攝像機的位置和方位的方法，其中具有已知的固有參數(shù)的攝像機觀察具有已知的座標的一個物理圖案。這里，這種方法被修改用于把一個圖案投影到一個平面上的投影儀的情況，其中借助于觀察所述平面的固定攝像機將坐標框架施加到所述投影的圖案上。
當只使用3個點時，具有關于位置和方位的多個解答，但是具有多個已知的方法來解決這個問題，使得獲得唯一的解答。例如，通過當裝置運動時將信息對時間積分，或者通過使用4個或多個點代替3個點。后一種方法對于系統(tǒng)100是直接的，因為具有對被投影的圖案的完全控制。作為系統(tǒng)100的另一個優(yōu)點，投影的圖案可以在操作期間根據(jù)需要被采用，以便對固定的攝像機提供盡可能好的觀察。
可以被模擬為針孔投影儀的任何系統(tǒng)適用于進行所述投影，例如，3個不同顏色的激光指示器，它們具有不同的光束方向，并且這些光束交于一點，或者具有非共點的光束但具有校準的數(shù)據(jù)，以便考慮所述非共點性。
在另一個實施例中，投影儀210的固有參數(shù)221可以在系統(tǒng)10的操作期間被確定。在這種情況下，圖案230對于投影儀220的兩個不同的位置被投影。在這種情況下，對于圖案的最低要求是，具有4個在一般位置的不同的點，或者任何等效的圖案。
投影儀的固有參數(shù)投影儀的固有參數(shù)可以按如下確定。首先，使用單應H 211確定在平的表面130上的投影圖案特征的座標。然后，確定在投影儀120的圖像平面和投影儀的第一位置P1的平的表面之間的第一單應G1。類似地，計算投影儀的第二位置P2的第二單應G2。給定G1和G2，便可以確定投影儀120的固有參數(shù)221，如Zhang在“A flexible newtechnique for camera calibration”，IEEE Transactions on PatternAnalysis and Machine Intelligence，22(11)1330-1334，2000中所述。
那種技術是為攝像機的固有參數(shù)提出的。然而，在此應用這種技術確定投影儀的固有參數(shù)。
上述系統(tǒng)100的操作200使用一個固定的攝像機110。如果投影儀120正在通過一個伸展的區(qū)域運動，以使得投影的圖案可能運動到任何一個攝像機的視野之外，則可以使用多個固定的攝像機，每個攝像機用于觀察固定的平的表面130的一個不同部分。在這種情況下，固定的攝像機的校準需要確定在每個攝像機的圖像平面和固定的平的表面130的公共坐標框架之間的多個單應H1，H2，等。
還可以具有多個固定的表面，每個表面由一個或多個固定的攝像機觀察。在這種情況下，投影儀120可以在房間內運動，并且天花板、地板或墻壁提供固定的平的表面。
如果廣角的或全方位的投影儀同時投影在多個表面上以便得到寬的視野，則可以同時使用所有的投影信息用于以更高的精度確定投影儀120的位置和方位。
在實際應用中，投影儀120可以和感興趣的物體160具有固定的關系。那么，投影儀的位置和方位便可用于推斷物體160的位置和方位。如果物體具有其自身的坐標框架，則投影儀和物體可以在另一個校準步驟中被校準。
例如，物體160可以是第二個運動著的攝像機。此時，投影儀120可以跟蹤攝像機160的位置和方位。當?shù)诙z像機160用于三維掃描時，這是有用的。在這種應用中，第二攝像機的推斷的位置和方位可用于根據(jù)掃描的圖像確定三維重構。
或者，所述物體可以是另一個投影儀。在這種應用中，第二投影儀按照其推斷的位置和方位將圖像投影到環(huán)境中。這對于增強虛擬現(xiàn)實場景或活動的顯示區(qū)域是有用的。
所述物體還可以是工具，以使得根據(jù)所述工具推斷的位置和方位的反饋可以提供給用戶。例如，所述反饋可以是觸覺反饋。
在另一種應用中，投影儀可被連接到一個物體上，所述物體正在作二維運動，例如轎車或機器人，在這種情況下，只和位置相關而和方位無關。
雖然本發(fā)明以優(yōu)選實施例為例進行了說明，應當理解，在所附權利要求的范圍和構思內，可以具有各種改變和改型。因此，所附權利要求的目的是覆蓋所有這些改變和改型，因為它們處于本發(fā)明的真正的構思和范圍內。
權利要求
1.一種用于確定投影儀的位置和方位的方法，包括確定一個攝像機和一個平的表面之間的單應，其中所述攝像機和所述平的表面相互處于固定的相對位置；利用具有已知的固有參數(shù)和未知的位置及方位的投影儀在所述平的表面上投影一個圖案；利用攝像機獲得所述圖案的圖像；以及使用所述單應和固有參數(shù)，根據(jù)該圖像確定所述投影儀的位置和方位。
2.如權利要求1所述的方法，其中所述投影儀是針孔裝置，并且該方法還包括在所述平的表面上投射至少3個非共線的不同點，從而形成所述圖案。
3.如權利要求2所述的方法，還包括在預處理步驟期間校準所述投影儀，以便確定所述固有參數(shù)。
4.如權利要求1所述的方法，其中所述圖案包括至少4個在一般位置上的不同的點，并且該方法還包括當確定所述投影儀的位置和方位的時候，對于所述投影儀的不同方位，對已知圖案進行至少兩次投影，并使用所述至少兩次投影獲得的圖像校準投影儀的固有參數(shù)。
5.如權利要求1所述的方法，其中所述投影儀是全方向的，并且該方法還包括投影一個全方向圖案。
6.如權利要求1所述的方法，其中所述投影儀是廣角的，并且該方法還包括跨越一個寬的視野投影所述圖案。
7.如權利要求1所述的方法，其中所述投影儀使用可見光。
8.如權利要求1所述的方法，其中所述投影儀使用紅外輻射。
9.如權利要求1所述的方法，其中使用多個固定的攝像機獲得被投影的已知圖案的多個圖像。
10.如權利要求9所述的方法，其中使用多個平的表面，一個攝像機用于每個平的表面。
11.如權利要求9所述的方法，其中使用多個平的表面，一個或多個攝像機用于每個平的表面。
12.如權利要求1所述的方法，其中所述平的表面是房間的天花板，并且該方法還包括在確定所述投影儀的多個位置和方位時在所述房間內移動所述投影儀。
13.如權利要求1所述的方法，其中所述攝像機和投影儀位于所述平的表面的同一側。
14.如權利要求1所述的方法，其中所述平的表面是半透明的屏幕，并且所述投影儀和固定的攝像機位于所述半透明屏幕的相對側。
15.如權利要求10所述的方法，還包括在多個平的表面上同時投影多個已知的圖案；以及通過同時使用所有的多個被投影的已知圖案來確定所述投影儀的位置和方位。
16.如權利要求1所述的方法，還包括把所述投影儀連接到一個物體上，并使用所述投影儀推斷該物體的位置和方位。
17.如權利要求16所述的方法，其中所述投影儀的位置和方位與所述物體的位置和方位處于已知的物理關系。
18.如權利要求16所述的方法，其中所述投影儀的位置和方位以及所述物體的位置和方位的物理關系在一個校準步驟中被校準。
19.如權利要求16所述的方法，其中所述物體是第二攝像機，并且該方法還包括利用所述第二攝像機獲得掃描的圖像；以及利用所述第二攝像機的推斷的位置和方位，根據(jù)所述掃描的圖像確定場景的三維重構。
20.如權利要求16所述的方法，其中所述物體是第二投影儀，并且該方法還包括根據(jù)所述第二投影儀的推斷的位置和方位，利用該第二投影儀投影圖像。
21.如權利要求16所述的方法，其中所述物體是工具，并且該方法還包括根據(jù)所述工具的推斷的位置和方位提供反饋。
22.如權利要求16所述的方法，其中所述物體是車輛。
23.如權利要求16所述的方法，其中所述物體是人。
24.如權利要求4所述的方法，還包括通過固定的攝像機以及所述攝像機和所述平的表面之間的單應來確定在該平的表面上的已知圖案的特征的座標；確定在投影儀的圖像平面以及用于該投影儀的第一位置P1的平的表面之間的第一單應G1；確定在投影儀的圖像平面以及用于該投影儀的第二位置P2的平的表面之間的第二單應G2；以及使用所述第一單應G1和所述第二單應G2確定投影儀的固有參數(shù)。
25.一種用于確定投影儀的位置和方位的系統(tǒng)，包括和一個平的表面具有固定關系的攝像機；用于確定所述攝像機和所述平的表面之間的單應的裝置；被配置用于在所述平的表面上投影一個圖案的投影儀，所述投影儀具有已知的固有參數(shù)以及未知的位置和方位；以及用于使用所述單應和固有參數(shù)以及由攝像機獲得的已知圖案的圖像，根據(jù)所述圖像確定所述投影儀的位置和方位的裝置。
26.如權利要求25所述的系統(tǒng)，還包括連接于所述投影儀的物體，其中所述投影儀的位置和方位用于推斷所述物體的位置和方位。
27.如權利要求26所述的系統(tǒng)，其中所述投影儀的位置和方位與所述物體的位置和方位處于已知的物理關系。
28.如權利要求26所述的系統(tǒng)，其中所述投影儀的位置和方位以及所述物體的位置和方位的物理關系在一個校準步驟中被校準。
全文摘要
根據(jù)投影圖像確定投影儀的位置和方位。首先確定在攝像機和一個平的表面之間的單應，其中所述攝像機和所述平的表面之間的關系是固定的。接著，使用具有已知的固有參數(shù)的和未知的位置與方位的投影儀把一個已知的圖案投影到所述平的表面上。利用攝像機獲得已知圖案的圖像，并使用所述的單應和所述固有參數(shù)根據(jù)所述圖像確定投影儀的位置和方位。
文檔編號H04N5/74GK1745397SQ200380100309
公開日2006年3月8日 申請日期2003年12月25日 優(yōu)先權日2003年1月17日
發(fā)明者保羅·A·比爾茲利, 雷米施·拉斯卡爾, 瓦哈夫·瓦伊什 申請人:三菱電機株式會社