一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法
【專利摘要】本發(fā)明提供一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法，通過減少反投影誤差來優(yōu)化攝像機(jī)的位姿矩陣，通過建立虛擬三維物體的坐標(biāo)系和場景平面的坐標(biāo)系，以利于更精確的完成虛擬物體對真實(shí)場景的注冊；使用局部區(qū)域的特征點(diǎn)快速查找算法來恢復(fù)丟失的特征點(diǎn)，通過對檢測到的場景特征點(diǎn)進(jìn)行在線學(xué)習(xí)，使得場景三維點(diǎn)坐標(biāo)的權(quán)值實(shí)時(shí)更新，貢獻(xiàn)大的三維點(diǎn)逐步增大對應(yīng)的權(quán)值，貢獻(xiàn)小的逐步降低對應(yīng)的權(quán)值，并通過學(xué)習(xí)計(jì)算出全局分值最大投影矩陣，從而進(jìn)一步提高了增強(qiáng)現(xiàn)實(shí)注冊的精準(zhǔn)度。
【專利說明】—種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于移動(dòng)增強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】，具體涉及一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Real ity—AR)是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)之一，通過將虛擬物體與真實(shí)環(huán)境緊密結(jié)合，增強(qiáng)人們對真實(shí)環(huán)境的理解與體驗(yàn)。增強(qiáng)現(xiàn)實(shí)技術(shù)的特性是:虛實(shí)結(jié)合、實(shí)時(shí)交互和跟蹤注冊。其中，跟蹤注冊是增強(qiáng)現(xiàn)實(shí)技術(shù)需要解決的核心問題之一。尤其是基于視覺的無標(biāo)志點(diǎn)跟蹤注冊技術(shù)，由于其精度高、設(shè)備簡單且對環(huán)境無干擾，逐漸成為增強(qiáng)現(xiàn)實(shí)領(lǐng)域的研究熱點(diǎn)。
[0003]傳統(tǒng)的無標(biāo)志點(diǎn)跟蹤注冊技術(shù)大多適用于小范圍的簡單場景，算法只需處理少量的場景及其特征的跟蹤注冊問題。隨著應(yīng)用領(lǐng)域的不斷拓寬，增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用開始向著戶外復(fù)雜環(huán)境延伸。因此，適用于戶外復(fù)雜環(huán)境的無標(biāo)志點(diǎn)跟蹤注冊技術(shù)，尤其是跟蹤精度高、實(shí)時(shí)性和魯棒性強(qiáng)且存儲(chǔ)容量低的無標(biāo)志點(diǎn)跟蹤注冊技術(shù)，已經(jīng)成為未來增強(qiáng)現(xiàn)實(shí)發(fā)展的難點(diǎn)和關(guān)鍵。國外相關(guān)機(jī)構(gòu)已經(jīng)在這一領(lǐng)域展開研究，并取得了一定的成果。國內(nèi)在這方面的研究則剛剛起步，理論和實(shí)踐均不夠成熟。因此，進(jìn)行戶外復(fù)雜環(huán)境下的無標(biāo)志點(diǎn)跟蹤注冊技術(shù)研究，是國內(nèi)廣泛深入開展相關(guān)增強(qiáng)現(xiàn)實(shí)系統(tǒng)研究的必然要求，也是我國發(fā)展具有獨(dú)立自主知識(shí)產(chǎn)權(quán)的戶外復(fù)雜環(huán)境下增強(qiáng)現(xiàn)實(shí)系統(tǒng)的必備條件。
[0004]在移動(dòng)增強(qiáng)現(xiàn)實(shí)領(lǐng)域中，針對平面物體及有標(biāo)志物體的注冊方法已經(jīng)取得了很好的發(fā)展與應(yīng)用。但是，智能手機(jī)端對自然場景的識(shí)別與跟蹤注冊仍然是一個(gè)困難的、開放的問題。
[0005]2011 年學(xué)者 T.Guan 等(文獻(xiàn) IT.Guan ；L.Y.Duan.“Real Time Camera PoseEstimation for WideAreaAugmented Reality Application，，.IE EE Computer Graphicsand Application, 31 (3) =56-68,2011)為能夠正確識(shí)別自然場景，保存了大量的參考視圖，通過局部特征匹配方法來對自然場景進(jìn)行識(shí)別，但該算法計(jì)算量非常大，無法應(yīng)用于智能手機(jī)。
[0006]2Ol3 年，學(xué)者 Liya Duan 等(文獻(xiàn) 2.Liya Duan ;Tao Guan ;Yawei Lu0.“Wide arearegi stration on camera phones for mobile augmented reality applications，，SensorReview, 2013, 33 (3):209-219.)提出了局部區(qū)域特征的注冊方法，將輸入圖像中提取的相應(yīng)特征與場景圖像的物體特征進(jìn)行匹配，然后根據(jù)匹配點(diǎn)的對應(yīng)關(guān)系對物體的三維位姿進(jìn)行計(jì)算。但是，需要用計(jì)算機(jī)事先對所有場景進(jìn)行三維重建，建立場景的三維點(diǎn)與場景相關(guān)圖像的二維關(guān)系，并且都需要用戶手動(dòng)將所在場景的三維點(diǎn)坐標(biāo)下載下來，才能實(shí)現(xiàn)后續(xù)的跟蹤注冊算法，否則將產(chǎn)生巨大的搜索空間，難以滿足實(shí)時(shí)性的要求。

【發(fā)明內(nèi)容】

[0007]針對現(xiàn)有的技術(shù)存在的問題，本發(fā)明提供一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法。
[0008]本發(fā)明的技術(shù)方案是:
[0009]一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法，包括以下步驟:
[0010]步驟1:對攝像機(jī)的內(nèi)參進(jìn)行標(biāo)定；
[0011]步驟2:建立場景特征點(diǎn)的三維坐標(biāo)信息庫，根據(jù)立體視覺三維重建的基本原理，對場景特征點(diǎn)進(jìn)行重建；
[0012]步驟3:繼續(xù)拍攝當(dāng)前場景，獲取當(dāng)前幀的視頻圖像，檢測圖像的自然特征；
[0013]步驟4:將當(dāng)前視頻圖像與指定的參考圖像進(jìn)行匹配，根據(jù)匹配結(jié)果，判斷當(dāng)前場景圖像與參考圖像是否相似；如果匹配不相似進(jìn)入步驟5，匹配成功進(jìn)入步驟6 ；
[0014]步驟5:設(shè)定一個(gè)識(shí)別失敗的計(jì)數(shù)器N，2 < N < 5，當(dāng)失敗次數(shù)大于N時(shí)，說明已經(jīng)進(jìn)入一個(gè)新的場景，進(jìn)入步驟I對新場景進(jìn)行重建，否則由于攝像頭移動(dòng)太快而導(dǎo)致匹配失敗，則進(jìn)入步驟3;
[0015]步驟6:根據(jù)描述符映射表找到當(dāng)前圖像描述符對應(yīng)的3D點(diǎn)坐標(biāo)，描述符2D坐標(biāo)到3D空間坐標(biāo)的投影矩陣；
[0016]步驟7:根據(jù)投影矩陣和已知的內(nèi)參矩陣恢復(fù)出當(dāng)前圖像幀的位姿[R|t]矩陣；
[0017]步驟8:進(jìn)行幾何校驗(yàn)和反投影誤差分析判斷是不是有效的位姿矩陣如果是有效的位姿矩陣執(zhí)行步驟9，否則返回步驟3 ；
[0018]步驟9:存在有效的位姿矩陣，定義虛擬物體的坐標(biāo)系，合成有效的注冊矩陣，疊加三維虛擬物體；
[0019]步驟10:利用光流跟蹤算法對場景圖像的局部特征點(diǎn)進(jìn)行跟蹤和在線學(xué)習(xí)；
[0020]步驟11:對跟蹤的點(diǎn)進(jìn)行分析，若跟蹤上的特征點(diǎn)個(gè)數(shù)大于并且小于T1, 20 < T1
<30，40 < T1 < 50，跟蹤到的點(diǎn)數(shù)影響了計(jì)算位姿矩陣的精度，則進(jìn)行丟失的特征點(diǎn)恢復(fù)；
[0021]步驟12:當(dāng)跟蹤到的特征點(diǎn)數(shù)小于，表明已經(jīng)對當(dāng)前場景跟蹤失敗，用戶已經(jīng)到達(dá)新的場景需要重新進(jìn)行重建和識(shí)別，則返回步驟2。
[0022]步驟2中對場景特征點(diǎn)進(jìn)行重建的具體步驟包括:
[0023]2.1從不同角度拍攝待注冊場景的兩幅圖像作為參考圖像，并做特征提取與匹配操作
[0024]2.2根據(jù)特征匹配結(jié)果，利用RANSAC算法去除誤匹配點(diǎn)，根據(jù)匹配的特征點(diǎn)對求取基本矩陣F。
[0025]2.3由基本矩陣F和已知的攝像頭內(nèi)參得到本質(zhì)矩陣E。
[0026]2.4根據(jù)本質(zhì)矩陣E正確估計(jì)攝像機(jī)外參數(shù)R和t。
[0027]2.5將攝像機(jī)內(nèi)參數(shù)K和外參數(shù)R和t組合成投影矩陣、。
[0028]2.7重建兩幅圖像匹配好的特征點(diǎn)。
[0029]2.8建立圖像局部特征對應(yīng)的三維坐標(biāo)信息庫。
[0030]步驟2.1對圖像的特征提取和匹配，包括對圖像的去噪聲和進(jìn)行灰度處理。特征點(diǎn)提取使用二進(jìn)制特征檢測算法BRISK，特征匹配使用漢明距離度量法。設(shè)定一個(gè)閾值T，30 < T < 50，當(dāng)前圖像的特征與參考圖像的所有特征進(jìn)行比較，選取距離最短的，并且小于T的特征作為匹配特征。
[0031]本發(fā)明的有益效果:[0032](I)通過減少反投影誤差來優(yōu)化攝像機(jī)的位姿矩陣。。
[0033](2)通過建立虛擬三維物體的坐標(biāo)系和場景平面的坐標(biāo)系，以利于更精確的完成虛擬物體對真實(shí)場景的注冊。
[0034](3)使用局部區(qū)域的特征點(diǎn)快速查找算法來恢復(fù)丟失的特征點(diǎn)，大大節(jié)省了特征檢測時(shí)間，進(jìn)一步提高了實(shí)時(shí)更新注冊信息的速度。
[0035](4)通過對檢測到的場景特征點(diǎn)進(jìn)行在線學(xué)習(xí)，使得場景三維點(diǎn)坐標(biāo)的權(quán)值實(shí)時(shí)更新，貢獻(xiàn)大的三維點(diǎn)逐步增大對應(yīng)的權(quán)值，貢獻(xiàn)小的逐步降低對應(yīng)的權(quán)值，并通過學(xué)習(xí)計(jì)算出全局分值最大投影矩陣，從而進(jìn)一步提高了增強(qiáng)現(xiàn)實(shí)注冊的精準(zhǔn)度。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明具體實(shí)施的在線學(xué)習(xí)移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊算法流程圖；
[0037]圖2為本發(fā)明中場景重建三角測量法原理圖；
[0038]圖3為本發(fā)明中圖像尺度空間的BRISK特征示意圖；
[0039]圖4為本發(fā)明中2D描述符到3D坐標(biāo)點(diǎn)的關(guān)聯(lián)表。
【具體實(shí)施方式】
[0040]下面將結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】做詳細(xì)描述。
[0041]本實(shí)施方式中，實(shí)施基于戶外自然場景的移動(dòng)增強(qiáng)現(xiàn)實(shí)注冊方法時(shí)，采用四核、IG內(nèi)存的智能手機(jī)，攝像頭分辨率為640*320，內(nèi)參為標(biāo)定好的，默認(rèn)一直不變。對攝像頭中出現(xiàn)的自然場景進(jìn)行識(shí)別和跟蹤注冊。
[0042]圖1示出了本發(fā)明的戶外自然場景移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊流程，主要包括以下步驟:
[0043]步驟1:用攝像機(jī)標(biāo)定方法得到攝像機(jī)的內(nèi)參K。
[0044]通過攝像機(jī)定標(biāo)，可以確定與攝像機(jī)自身的幾何和光學(xué)特性有關(guān)的參數(shù)(即內(nèi)部參數(shù))，以及它相對于某一世界坐標(biāo)系的三維位置和方向(即外部參數(shù))。攝像機(jī)的定標(biāo)在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中起著重要作用。本發(fā)明采用ART00LKIT方法，利用黑色邊框的平板圖案作為系統(tǒng)標(biāo)識(shí)的四個(gè)角點(diǎn)及其在圖像中的位置計(jì)算矩陣單應(yīng)矩陣Bi的值。
[0045]攝像機(jī)成像基本原理，屏幕坐標(biāo)系與世界坐標(biāo)系之間的變換關(guān)系可用下式表示:.lxr
【權(quán)利要求】
1.一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法，其特征在于，包括以下步驟: 步驟1:對攝像機(jī)的內(nèi)參進(jìn)行標(biāo)定； 步驟2:建立場景特征點(diǎn)的三維坐標(biāo)信息庫，根據(jù)立體視覺三維重建的基本原理，對場景特征點(diǎn)進(jìn)行重建； 步驟3:繼續(xù)拍攝當(dāng)前場景，獲取當(dāng)前幀的視頻圖像，檢測圖像的自然特征； 步驟4:將當(dāng)前視頻圖像與指定的參考圖像進(jìn)行匹配，根據(jù)匹配結(jié)果，判斷當(dāng)前場景圖像與參考圖像是否相似；如果匹配不相似進(jìn)入步驟5，匹配成功進(jìn)入步驟6 ； 步驟5:設(shè)定一個(gè)識(shí)別失敗的計(jì)數(shù)器N，2 < N < 5，當(dāng)失敗次數(shù)大于N時(shí)，說明已經(jīng)進(jìn)入一個(gè)新的場景，進(jìn)入步驟I對新場景進(jìn)行重建，否則由于攝像頭移動(dòng)太快而導(dǎo)致匹配失敗，則進(jìn)入步驟3 ； 步驟6:根據(jù)描述符映射表找到當(dāng)前圖像描述符對應(yīng)的3D點(diǎn)坐標(biāo)，描述符2D坐標(biāo)到3D空間坐標(biāo)的投影矩陣； 步驟7:根據(jù)投影矩陣和已知的內(nèi)參矩陣恢復(fù)出當(dāng)前圖像幀的位姿[R|t]矩陣； 步驟8:進(jìn)行幾何校驗(yàn)和反投影誤差分析判斷是不是有效的位姿矩陣，如果是有效的位姿矩陣執(zhí)行步驟9，否則返回步驟3 ； 步驟9:存在有效的位姿矩陣，定義虛擬物體的坐標(biāo)系，合成有效的注冊矩陣，疊加三維虛擬物體； 步驟10:利用光流跟蹤算法對場景圖像的局部特征點(diǎn)進(jìn)行跟蹤和在線學(xué)習(xí)； 步驟11:對跟蹤的點(diǎn)進(jìn)行分析，若跟蹤上的特征點(diǎn)個(gè)數(shù)大于并且小于T1, 20 < T1 < 30，.40 < T1 < 50，跟蹤到的點(diǎn)數(shù)影響了計(jì)算位姿矩陣的精度，則進(jìn)行丟失的特征點(diǎn)恢復(fù)； 步驟12:當(dāng)跟蹤到的特征點(diǎn)數(shù)小于，表明已經(jīng)對當(dāng)前場景跟蹤失敗，用戶已經(jīng)到達(dá)新的場景需要重新進(jìn)行重建和識(shí)別，則返回步驟2。
2.如權(quán)利要求1所述的一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法，其特征在于，步驟2中對場景特征點(diǎn)進(jìn)行重建的具體步驟包括: .2.1從不同角度拍攝待注冊場景的兩幅圖像作為參考圖像，并做特征提取與匹配操作； .2.2根據(jù)特征匹配結(jié)果，利用RANSAC算法去除誤匹配點(diǎn)，根據(jù)匹配的特征點(diǎn)對求取基本矩陣F ； .2.3由基本矩陣F和已知的攝像頭內(nèi)參得到本質(zhì)矩陣E ； . 2.4根據(jù)本質(zhì)矩陣E正確估計(jì)攝像機(jī)外參數(shù)R和t ; .2.5將攝像機(jī)內(nèi)參數(shù)K和外參數(shù)R和t組合成投影矩陣； .2.6重建兩幅圖像匹配好的特征點(diǎn)； .2.7建立圖 像局部特征對應(yīng)的三維坐標(biāo)信息庫。
3.如權(quán)利要求2所述的一種基于在線學(xué)習(xí)的移動(dòng)增強(qiáng)現(xiàn)實(shí)跟蹤注冊方法，其特征在于，步驟2.1對圖像的特征提取和匹配，包括對圖像的去噪聲和進(jìn)行灰度處理；特征點(diǎn)提取使用二進(jìn)制特征檢測算法BRISK，特征匹配使用漢明距離度量法；設(shè)定一個(gè)閾值T，.30 ^ 50，當(dāng)前圖像的特征與參考圖像的所有特征進(jìn)行比較，選取距離最短的，并且小于T的特征作為匹配特征。
【文檔編號(hào)】G06F17/30GK103854283SQ201410059259
【公開日】2014年6月11日 申請日期:2014年2月21日 優(yōu)先權(quán)日:2014年2月21日
【發(fā)明者】劉越, 桂振文, 王涌天 申請人:北京理工大學(xué)