專利名稱：一種基于紅外投影標志點的視覺位置跟蹤系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視覺位置跟蹤技術，尤其涉及一種基于紅外投影標志點的視覺位置跟
蹤系統(tǒng)。
背景技術：
增強現(xiàn)實技術是將真實場景與計算機生成的虛擬場景實時融合的一種應用技術。 其關鍵在于能在正確的位置以設定的方式疊加虛擬圖像，實現(xiàn)核心在于高精度的跟蹤定位 技術。 在大范圍增強現(xiàn)實系統(tǒng)中，目標物體是大范圍跟蹤系統(tǒng)的工作對象，用基于計算 機視覺跟蹤的注冊系統(tǒng)中，對指定目標的跟蹤定位就是通過識別標志點實現(xiàn)的。標志點按 制作方式可分為自然標志點和人工標志點。自然標志點的識別在現(xiàn)有條件下還是比較困難 的，所以目前的增強現(xiàn)實應用大多使用較易實現(xiàn)的人工標志點。 人工標志點可以分為可見與不可見標志點兩大類?？梢姌酥军c是指由黑白或彩 色圖案組成的可識別標志點，將可見標志點置于建筑內表面，圖像采集設備采集可見標志 點的圖像并發(fā)送到計算機進行可見標志點的定位和跟蹤?？梢姌酥军c的制作簡單，例如 可以采用打印設定的圖案得到，但易受環(huán)境光照等其他因素的影響，且影響虛實融合的 沉浸感。不可見標志點最常見的是指紅外光圖案標志點，通常也是將紅外光圖案標志點 置于建筑內表面，紅外光圖案標志點的圖像在紅外圖像采集設備的CCD(電荷耦合元件， Charge-coupled Device)上成像，紅外圖像采集設備將成像得到的紅外光圖案標志點的圖 像發(fā)送到計算機，由計算機進行紅外光圖案標志點的定位和跟蹤。紅外標志點發(fā)出的光波 長一般在800nm以上，人眼不可見，故不影響人們在可見光范圍的觀測。在室內環(huán)境下，紅 外發(fā)射源不多，且功率一般較低，因而紅外標志點受到的干擾較小，更容易實現(xiàn)快速跟蹤。
目前常見的紅外標志點有主動發(fā)光式和被動反射式。主動發(fā)光式是由紅外 LED(發(fā)光二極管)等可控紅外光源主動向外發(fā)射紅外光。這類型標志點的特點是功率高， 亮度大，識別較容易，位置穩(wěn)定。若使用單片機控制紅外LED的亮滅還可實現(xiàn)標志點的編 碼。但是，由于主動發(fā)光式標志點電路較復雜且一般被固定在建筑內表面上，維護不方便， 如果出現(xiàn)LED的損壞，或者想變更標志點圖案都需要更換整個建筑內表面。
被動反射式是指本身不發(fā)光，但由特殊材料制成可反射紅外光源。使用時，需要用 紅外光源照射標志點，讓標志點反射出紅外光，以便攝像機捕捉。反射式標志點從制作到維 護都比主動發(fā)光式標志點更加簡便。不足是反射材料會吸收部分光能，使得標志點亮度不 及主動發(fā)光式標志點；其次，非標志點物體受到紅外光源照射也會反射部分紅外光，這對標 志點來說是一種干擾。 目前，大范圍室內增強現(xiàn)實系統(tǒng)已經(jīng)在軍事訓練，娛樂，教育培訓，工業(yè)輔助等多 個領域展開應用，因此對新一代的不可見，安裝維護簡單，穩(wěn)定性好的紅外標志點提出了新 的要求，且這種新一代的紅外標志點需要滿足大范圍跟蹤注冊的要求。

發(fā)明內容
有鑒于此，本發(fā)明提供了一種基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，能夠提 供不可見、安裝維護簡單、穩(wěn)定性好的紅外標志點，且所提供的紅外標志點能夠大范圍跟蹤 注冊的需求。 該紅外投影標志點的視覺位置跟蹤系統(tǒng)，包括主標志點產生裝置、輔助標志點產 生裝置、紅外圖像采集裝置和計算裝置； 所述主標志點產生裝置由紅外光源、第一菲聶耳透鏡、標志點底片、第二菲聶耳透 鏡、投影鏡頭和滑動導軌組成； 所述紅外光源、第一菲聶耳透鏡、第二菲聶耳透鏡和投影鏡頭依次置于滑動導軌 上；具有預設主標志點圖案的標志點底片置于第一菲聶耳透鏡上；所述紅外光源發(fā)出的紅 外光依次通過第一菲聶耳透鏡上的標志點底片、第二菲聶耳透鏡和投影鏡頭投射到指定區(qū) 域，形成主標志點圖像；所述標志點底片上的主標志點圖案不透光或標志點底片上除主標 志點圖案的部分不透光； 所述輔助標志點產生裝置包括支撐架和至少4個紅外激光發(fā)生器；每個紅外激光 發(fā)生器通過一個萬向軸承安裝在所述支撐架上；每個紅外激光發(fā)生器發(fā)出的紅外激光投射 到所述主標志點圖像周邊的設定位置，形成一個輔助標志點； 所述紅外圖像采集裝置，采集所述指定區(qū)域的紅外光圖像，并發(fā)送給所述計算裝 置； 所述計算裝置，根據(jù)紅外光圖像中的主標志點圖像和輔助標志點的位置，計算確
定紅外圖像采集裝置的當前位置，利用計算出的位置完成虛實融合的位置注冊。 較佳地，該系統(tǒng)包括至少2個主標志點產生裝置，各主標志點產生裝置發(fā)出的主
標志點圖像投射到指定區(qū)域的設定位置。 較佳地，所述輔助標志點產生裝置包括8個紅外激光發(fā)生器，每個紅外激光發(fā)生 器為一個紅外激光發(fā)射二極管，8個紅外激光發(fā)生器分成兩列，通過8個萬向軸承安裝在支 撐架上。 較佳地，所述紅外光源由紅外發(fā)射二極管陣列組成，其總功率不小于36瓦。
其中，所述計算裝置包括二值化模塊、校正模塊、提取和識別模塊、位置計算模塊 和合成增強模塊； 所述二值化模塊，用于將紅外圖像采集裝置采集的紅外光圖像轉換為二值圖，并 發(fā)送給校正模塊； 所述校正模塊，用于對所述二值圖進行圖像失真的校正，得到校正后的圖像，并發(fā) 送給提取和識別模塊； 所述提取和識別模塊，用于根據(jù)預先獲知的主標志點位置，從所述校正后的圖像 中辨識主標志點圖像，根據(jù)主標志點圖像的位置識別輔助標志點的位置并記錄；如果辨識 出的主標志點圖像完整，則將主標志點的位置信息發(fā)送給位置計算模塊；如果主標志點圖 像不完整或沒有主標志點圖像，則獲取已記錄的各輔助標志點位置，將輔助標志點位置發(fā) 送給位置計算模塊；如果圖像中沒有主標志點圖像且識別到少于4個輔助標記點，則確認 跟蹤失??； 所述位置計算模塊，根據(jù)來自所述提取和識別模塊的主標志點位置信息或輔助標
4志點位置計算紅外圖像采集裝置的位置，并發(fā)送給合成增強模塊； 合成增強模塊，用于根據(jù)位置計算模塊提供的紅外圖像采集裝置的位置，利用計 算出的位置完成虛實融合的位置注冊。 根據(jù)以上技術方案可見，本發(fā)明采用紅外光源透過一具有預設主標志點圖案的標 志點底片向指定區(qū)域投影主標志點圖像，由于本發(fā)明投影出的圖像為紅外光圖像，因此具 有不可見標志點的功率高，亮度大，識別較容易，位置穩(wěn)定等優(yōu)點，且主標志點圖像的形狀 由標志點底片上的主標志點圖案決定，當需要更改主標志點形狀時，只需要維護標志點底 片即可，安裝維護操作均十分簡便。而且，為了實現(xiàn)大范圍的跟蹤注冊需求，本發(fā)明還在主 標志點周圍投影至少4個輔助標志點，當由于紅外圖像采集裝置的移動，導致主標志點部 分或全部移出采集區(qū)域時，能夠通過輔助標志點進行定位和跟蹤處理。


圖1為本發(fā)明基于紅外投影標志點的視覺位置跟蹤系統(tǒng)的結構示意圖。
圖2為本發(fā)明主標志點產生裝置的結構示意圖。
圖3(a)和圖3(b)為圖1中投影底片的示意圖。
圖4為本發(fā)明輔助標志點產生裝置的結構示意圖。 圖5為本發(fā)明計算機根據(jù)包含主標志點和輔助標志點的圖像進行增強現(xiàn)實處理 的流程圖。 圖6為圖像中包括完整主標志點和多個輔助標志點的示意圖。
圖7為圖像中包括部分主標識點和多個輔助標志點的示意圖。
具體實施例方式
本發(fā)明提供了一種基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其基本思想是，該 系統(tǒng)采用紅外光源透過一具有預設主標志點圖案的標志點底片向指定區(qū)域投影主標志點 圖像，由于本發(fā)明投影出的圖像為紅外光圖像，因此具有不可見標志點的功率高，亮度大， 識別較容易，位置穩(wěn)定等優(yōu)點，且主標志點圖像的形狀由標志點底片上的主標志點圖案決 定，當需要更改主標志點形狀時，只需要維護標志點底片即可，安裝維護操作均十分簡便。 而且，為了實現(xiàn)大范圍的跟蹤注冊需求，本發(fā)明還在主標志點周圍投影至少4個輔助標志 點，當由于紅外圖像采集裝置的移動，導致主標志點部分或全部移出采集區(qū)域時，能夠通過 輔助標志點進行定位和跟蹤處理。 下面結合附圖并舉實施例，對本發(fā)明進行詳細描述。 圖1為本發(fā)明基于紅外投影標志點的視覺位置跟蹤系統(tǒng)的結構示意圖。如圖1所 示，該系統(tǒng)包括至少1個主標志點產生裝置、輔助標志點產生裝置、紅外圖像采集裝置和計 算裝置。在本實施例中，紅外圖像采集裝置可以為紅外攝像機，計算裝置可以采用計算機。
圖2示出了圖1中主標志點產生裝置，如圖2所示，每個主標志點產生裝置由紅外 光源1、標志點底片2、菲聶耳透鏡3、菲聶耳透鏡4、投影鏡頭5和滑動導軌6組成。
紅外光源1、菲聶耳透鏡3、菲聶耳透鏡4和投影鏡頭5依次置于滑動導軌6上，方 便調整其相對位置，從而投影出最清晰的圖像。為了使投影標志點亮度足夠大，可選擇功率 較大的紅外LED燈陣列作為該系統(tǒng)的紅外光源l，例如紅外光源的總功率不小于36瓦。印
5有主標志點圖案的標志點底片2置于首個菲聶耳透鏡3上，較佳地，在保證成像質量的前提
下，菲聶耳透鏡3應盡量靠近光源，以提高光能利用率。菲聶耳透鏡3和4組成的菲聶耳透
鏡組的作用是使紅外光源的發(fā)散光盡可能匯聚，從而減小后級光路通光口徑，同時提高光
能利用率，其聚焦后的圖像經(jīng)由投影鏡頭5投射到面板，例如建筑物內表面(墻面，天花板)
等等。投影鏡頭5與菲聶耳透鏡4之間的距離由投影鏡頭5的焦距決定。 由于標志點底片2的存在，紅外光源1發(fā)出的紅外光依次通過菲聶耳透鏡3上的
標志點底片2、菲聶耳透鏡4和投影鏡頭5投射到指定區(qū)域，較佳地，可以投射到指定區(qū)域的
中心，從而在指定區(qū)域中顯示出主標志點圖像。主標志點圖像透鏡的位置是預先設計確定
的，且在紅外攝像機移動過程中不改變其位置。 標志點底片2可以采用亞克力板制成，其表面刻出特定的標志點圖形的凹槽，在 標志點圖像的凹槽處涂上不透光的涂料或者用膠泥封住，就能使標志點圖形對應的投影區(qū) 域不受光照，從而產生黑白對比的圖案。當然，也可以在亞克力板上刻出形狀如標志點圖形 的突起，然后在除了突起的部分涂上不透光的涂料或者用膠泥封住，那么就能使標志點圖 像對應的投影區(qū)域受到光照，從而產生黑白對比的圖案。如圖3(a)和圖3(b)示出了兩種 標志點底片2的投影情況示意圖，圖3(a)的標志點圖形為"T"字型，或圖3(b)的標志點圖 形為"口"字形，且均是標志點圖像部分受光，當然在實際中也可以設計其他圖形作為主標 志點。 本實施例中，紅外光源1、標志點底片2、菲聶耳透鏡3、4和投影鏡頭5的具體參數(shù) 可以如下 1.紅外光源1中紅外LED燈陣列共7 X 5個LED燈，波長850nm。
2.菲聶耳透鏡組尺寸200mmX 150mm，焦距180mm。
3.投影鏡頭5 : 口徑130mm，焦距330mm。
4.標志點底片2 :尺寸70X70mm。
本實施例中，各部件間距離可以為 紅外光源1中紅外LED與標志點底片2之間的距離100mm ; 菲聶耳透鏡3和4之間的間距110mm ; 菲聶耳透鏡4與投影鏡頭5之間的距離150mm。 在大范圍跟蹤系統(tǒng)中，只使用主標志點有時不能滿足精確定位的要求，因此本發(fā) 明在主標志點周圍增加輔助標志點，輔助標志點系統(tǒng)可直接射出紅外激光點，其亮度高，位 置精確性好，可用于標志點圖形的精確定位。各種圖形的主標志點和各種位置的輔助標志 點可以組成多種標志點圖案編碼，由紅外攝像機拍攝主標志點和輔助標志點后，可根據(jù)不 同的標志點編碼算法實時解算，實現(xiàn)增強現(xiàn)實的位置跟蹤。 圖4示出了圖1中輔助標志點產生裝置的結構示意圖。如圖3所示，該輔助標志點 產生裝置包括支撐架8和兩列共8個紅外激光發(fā)射二極管(波長850nm)，每個激光二極管 都安裝在一個萬向軸承上，萬向軸承安裝在支撐架8上，使得激光二極管發(fā)射方位可自由 調整。多個激光二極管發(fā)出的紅外激光投射到主標志點圖像的周邊，形成多個輔助標志點。 輔助標志點的投影位置可以根據(jù)需要設置，與主標志點相同，輔助標志點在位置確定后，不 會在紅外攝像機移動過程中改變位置。 由主標志點和輔標志點配合投射在建筑物內表面的標志點，可以組成多種標志點圖案編碼。通過紅外攝像機拍攝建筑物內表面時，紅外主、輔標志點將成像于紅外攝像機的CCD上。 計算機獲取紅外攝像機采集的紅外光圖像，根據(jù)紅外光圖像中主標志點和輔助標志點的位置，確定紅外攝像機的位置，利用紅外攝像機的位置完成虛實融合的位置注冊。
具體來說，計算機包括如下模塊二值化模塊、校正模塊、提取和識別模塊、位置計算模塊和合成增強模塊。下面結合圖4說明計算機根據(jù)包含主標志點和輔助標志點的圖像進行增強現(xiàn)實處理的流程。如圖4所示，該流程包括以下步驟 步驟1、二值化模塊將紅外攝像機采集的紅外光圖像轉換為二值圖，并發(fā)送給校正模塊。紅外攝像機采集投影標志點的紅外圖像，由于其安裝了紅外濾光片，紅外攝像機所拍攝的紅外圖像基本上是一副具有255級灰度值的灰度圖像，因此這里使用簡單的二值化算法可以得到一幅黑白圖像。 步驟2、校正模塊對二值圖進行圖像失真的校正，得到校正后的圖像，并發(fā)送給提取和識別模塊。 由于紅外攝像機使用廣角鏡頭，其采集的圖像會有很大的徑向失真，所以需要對圖像進行相應的校正，以得到一個針孔模型攝像機的圖像。 步驟3、提取和識別模塊根據(jù)預先獲知的主標志點位置，從校正后的圖像中辨識主標志點圖像，根據(jù)主標志點圖像的位置識別輔助標志點的位置并記錄；如果辨識出的主標志點圖像完整，則將主標志點的位置信息發(fā)送給位置計算模塊；如果主標志點圖像不完整或沒有主標志點圖像，則獲取已記錄的各輔助標志點位置，將輔助標志點位置發(fā)送給位置計算模塊；如果圖像中沒有主標志點圖像且識別到少于4個輔助標記點，則確認跟蹤失敗。
在應用中，可以通過調整主標志點的位置，確保紅外攝像機在初始階段可以采集到完整主標志點圖像，那么提取和識別模塊在獲取第一幀圖像后，辨識主標志點圖像和識別輔助標志點的位置，識別后可以在后臺處理圖像上標記輔助標志點的序號，以便處理后續(xù)幀時方便對輔助標志點進行識別。然后，針對第一幀圖像，根據(jù)主標志點圖像是否完整，確定向位置計算模塊發(fā)送主標志點的位置信息還是發(fā)送輔助標志點位置。對于后續(xù)幀，直接根據(jù)主標志點圖像是否完整，確定向位置計算模塊發(fā)送主標志點的位置信息還是發(fā)送輔助標志點位置，如果確認跟蹤失敗，則在下一幀處理時，重新辨識主標志點圖像和識別輔助標志點的位置并進行標記。 舉個例子，圖像校正后，主標志點和輔助標志點同時出現(xiàn)在圖像畫面中，如圖6，辨識主標志點后，標記輔助標志點1至8，由主標志點可計算攝像機位置。主標志點移出圖像后，如圖7，不能識別到完整主標志點，可由輔助標志點3至8計算攝像機位置。若圖像中無法識別到主標志點，且識別到4個輔助標志點以下，則跟蹤失敗。 步驟4、位置計算模塊根據(jù)主標志點的位置信息或輔助標志點位置計算紅外攝像機的在世界坐標系中的位置。在已知標志點位置的情況下，根據(jù)計算機視覺中攝像機模型，共面4點(主標志點圖像的4個頂點，或者4個輔助標志點)計算攝像機位置為已有技術，這里不贅述。 步驟5、合成增強模塊根據(jù)位置計算模塊提供的紅外圖像采集裝置的位置，利用計算出的位置完成虛實融合的位置注冊。
權利要求
一種基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其特征在于，包括主標志點產生裝置、輔助標志點產生裝置、紅外圖像采集裝置和計算裝置；所述主標志點產生裝置由紅外光源、第一菲聶耳透鏡、標志點底片、第二菲聶耳透鏡、投影鏡頭和滑動導軌組成；所述紅外光源、第一菲聶耳透鏡、第二菲聶耳透鏡和投影鏡頭依次置于滑動導軌上；具有預設主標志點圖案的標志點底片置于第一菲聶耳透鏡上；所述紅外光源發(fā)出的紅外光依次通過第一菲聶耳透鏡上的標志點底片、第二菲聶耳透鏡和投影鏡頭投射到指定區(qū)域，形成主標志點圖像；所述標志點底片上的主標志點圖案不透光或標志點底片上除主標志點圖案的部分不透光；所述輔助標志點產生裝置包括支撐架和至少4個紅外激光發(fā)生器；每個紅外激光發(fā)生器通過一個萬向軸承安裝在所述支撐架上；每個紅外激光發(fā)生器發(fā)出的紅外激光投射到所述主標志點圖像周邊的設定位置，形成一個輔助標志點；所述紅外圖像采集裝置，采集所述指定區(qū)域的紅外光圖像，并發(fā)送給所述計算裝置；所述計算裝置，根據(jù)紅外光圖像中的主標志點圖像和輔助標志點的位置，計算確定紅外圖像采集裝置的當前位置，利用計算出的位置完成虛實融合的位置注冊。
2. 如權利要求1所述的基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其特征在于，該系 統(tǒng)包括至少2個主標志點產生裝置，各主標志點產生裝置發(fā)出的主標志點圖像投射到指定 區(qū)域的設定位置。
3. 如權利要求1所述的基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其特征在于，所述 輔助標志點產生裝置包括8個紅外激光發(fā)生器，每個紅外激光發(fā)生器為一個紅外激光發(fā)射 二極管，8個紅外激光發(fā)生器分成兩列，通過8個萬向軸承安裝在支撐架上。
4. 如權利要求1所述的基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其特征在于，所述 紅外光源由紅外發(fā)射二極管陣列組成，其總功率不小于36瓦。
5. 如權利要求1所述的基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，其特征在于，所述 計算裝置包括二值化模塊、校正模塊、提取和識別模塊、位置計算模塊和合成增強模塊；所述二值化模塊，用于將紅外圖像采集裝置采集的紅外光圖像轉換為二值圖，并發(fā)送 給校正模塊；所述校正模塊，用于對所述二值圖進行圖像失真的校正，得到校正后的圖像，并發(fā)送給 提取和識別模塊；所述提取和識別模塊，用于根據(jù)預先獲知的主標志點位置，從所述校正后的圖像中辨 識主標志點圖像，根據(jù)主標志點圖像的位置識別輔助標志點的位置并記錄；如果辨識出的 主標志點圖像完整，則將主標志點的位置信息發(fā)送給位置計算模塊；如果主標志點圖像不 完整或沒有主標志點圖像，則獲取已記錄的各輔助標志點位置，將輔助標志點位置發(fā)送給 位置計算模塊；如果圖像中沒有主標志點圖像且識別到少于4個輔助標記點，則確認跟蹤失敗；所述位置計算模塊，根據(jù)來自所述提取和識別模塊的主標志點位置信息或輔助標志點 位置計算紅外圖像采集裝置的位置，并發(fā)送給合成增強模塊；合成增強模塊，用于根據(jù)位置計算模塊提供的紅外圖像采集裝置的位置，利用計算出 的位置完成虛實融合的位置注冊。
全文摘要
本發(fā)明公開了一種基于紅外投影標志點的視覺位置跟蹤系統(tǒng)，該系統(tǒng)采用紅外光源透過一具有預設主標志點圖案的標志點底片向指定區(qū)域投影主標志點圖像，由于本發(fā)明投影出的圖像為紅外光圖像，因此具有不可見標志點的功率高，亮度大，識別較容易，位置穩(wěn)定等優(yōu)點，且主標志點圖像的形狀由標志點底片上的主標志點圖案決定，當需要更改主標志點形狀時，只需要維護標志點底片即可，安裝維護操作均十分簡便。而且，為了實現(xiàn)大范圍的跟蹤注冊需求，本發(fā)明還在主標志點周圍投影至少4個輔助標志點，當由于紅外圖像采集裝置的移動，導致主標志點部分或全部移出采集區(qū)域時，能夠通過輔助標志點進行定位和跟蹤處理。
文檔編號G06K9/60GK101777123SQ20101003447
公開日2010年7月14日 申請日期2010年1月21日 優(yōu)先權日2010年1月21日
發(fā)明者劉越, 王涌天, 翁冬冬, 黃業(yè)桃 申請人:北京理工大學