視覺輔助慣性相機(jī)姿勢(shì)估計(jì)與僅基于視覺的相機(jī)姿勢(shì)估計(jì)之間的自適應(yīng)性切換的制作方法
【專利摘要】移動(dòng)裝置使用視覺輔助慣性導(dǎo)航系統(tǒng)VINS跟蹤相機(jī)與目標(biāo)之間的相對(duì)姿勢(shì)，所述視覺輔助慣性導(dǎo)航系統(tǒng)包含來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)。當(dāng)所述移動(dòng)裝置檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少或消除用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)?？赏ㄟ^比較來自所俘獲圖像的僅視覺測(cè)量值與基于慣性的測(cè)量值以確定是否存在指示所述目標(biāo)己移動(dòng)的偏差來檢測(cè)所述目標(biāo)的移動(dòng)。另外或替代地，可使用從所俘獲圖像提取的特征向量的投影來檢測(cè)所述目標(biāo)的移動(dòng)。
【專利說明】視覺輔助慣性相機(jī)姿勢(shì)估計(jì)與僅基于視覺的相機(jī)姿勢(shì)估計(jì) 之間的自適應(yīng)性切換
[0001] 相關(guān)申請(qǐng)案的奪叉參考
[0002] 本申請(qǐng)案主張2012年6月14日申請(qǐng)且標(biāo)題為"視覺輔助慣性導(dǎo)航系統(tǒng)與僅視覺 姿勢(shì)之間的自適應(yīng)性切換（Adaptive Switching Between Vision Aided INS and Vision Only Pose)"的第13/523, 634號(hào)美國(guó)申請(qǐng)案的優(yōu)先權(quán)，所述申請(qǐng)案轉(zhuǎn)讓給本受讓人且以引 用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0003] 本文所述的標(biāo)的物的實(shí)施例涉及姿勢(shì)確定，且更明確地說，涉及使用基于視覺的 技術(shù)用于姿勢(shì)確定。

【背景技術(shù)】
[0004] 在擴(kuò)增實(shí)境（AR)型應(yīng)用中，確定且跟蹤相機(jī)相對(duì)于成像環(huán)境的姿勢(shì)（平移及姿 態(tài)）。在僅視覺姿勢(shì)方法中，使用所俘獲圖像（例如，視頻幀）確定及跟蹤相機(jī)相對(duì)于環(huán)境 中的特征豐富目標(biāo)的姿勢(shì)。例如，在每一幀處估計(jì)僅視覺姿勢(shì)，且使用統(tǒng)計(jì)模型來預(yù)測(cè)在下 一幀處的姿勢(shì)，從而提供用于姿勢(shì)細(xì)化算法的起始點(diǎn)。
[0005] 例如蜂窩式電話等現(xiàn)代裝置通常配備有慣性傳感器，所述慣性傳感器能夠測(cè)量裝 置相對(duì)于慣性幀的姿勢(shì)的改變速率，其被稱為慣性導(dǎo)航系統(tǒng)（INS)。由INS提供的信息可用 以改進(jìn)相機(jī)相對(duì)于目標(biāo)的僅視覺姿勢(shì)估計(jì)，因?yàn)榻^對(duì)姿勢(shì)（即，裝置相對(duì)于慣性幀的姿勢(shì)） 與相對(duì)姿勢(shì)（即，相機(jī)相對(duì)于目標(biāo)的姿勢(shì)）相差恒定的變換。僅視覺姿勢(shì)與INS的組合通 常稱為視覺輔助INS (VINS)。
[0006] VINS方法比單獨(dú)的僅視覺姿勢(shì)或INS使用的信息更多，且因此，VINS通常比任一 單獨(dú)方法性能更好。盡管如此，在某些情形下，VINS方法與僅視覺方法相比性能不良。此 夕卜，VINS方法的性能可能會(huì)基于移動(dòng)裝置外部的條件而降級(jí)，且因此，降級(jí)可能是不可預(yù)測(cè) 的。


【發(fā)明內(nèi)容】

[0007] 移動(dòng)裝置使用視覺輔助慣性導(dǎo)航系統(tǒng)（VINS)跟蹤相機(jī)與目標(biāo)之間的相對(duì)姿勢(shì)， 所述視覺輔助慣性導(dǎo)航系統(tǒng)包含來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值 的貢獻(xiàn)。當(dāng)所述移動(dòng)裝置檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少或消除用以跟蹤所述相機(jī)與所述 目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)?？赏ㄟ^比較來自所俘 獲圖像的僅視覺測(cè)量值與基于慣性的測(cè)量值以確定是否存在指示所述目標(biāo)已移動(dòng)的偏差 來檢測(cè)所述目標(biāo)的移動(dòng)。另外或替代地，可使用從所俘獲圖像提取的特征向量的投影來檢 測(cè)所述目標(biāo)的移動(dòng)。
[0008] 在一個(gè)實(shí)施方案中，一種方法包含：使用來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基 于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī)與目標(biāo)之間的相對(duì)姿勢(shì)；檢測(cè)所述目標(biāo)的移動(dòng)；以及當(dāng) 檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)的來自 所述慣性傳感器測(cè)量值的所述貢獻(xiàn)。
[0009] 在一個(gè)實(shí)施方案中，一種移動(dòng)裝置包含：相機(jī)，其能夠俘獲目標(biāo)的圖像；慣性傳感 器；以及處理器，其經(jīng)耦合以接收所述目標(biāo)的所俘獲圖像且經(jīng)耦合以從所述慣性傳感器接 收信號(hào)，所述處理器經(jīng)配置使用所述目標(biāo)的所述所俘獲圖像產(chǎn)生基于視覺的測(cè)量值且使用 來自所述慣性傳感器的所述信號(hào)產(chǎn)生慣性傳感器測(cè)量值，所述處理器經(jīng)配置以使用來自所 述慣性傳感器測(cè)量值的貢獻(xiàn)及來自所述基于視覺的測(cè)量值的貢獻(xiàn)跟蹤所述相機(jī)與所述目 標(biāo)之間的相對(duì)姿勢(shì)，所述處理器進(jìn)一步經(jīng)配置以檢測(cè)所述目標(biāo)的移動(dòng)，且當(dāng)檢測(cè)到所述目 標(biāo)的移動(dòng)時(shí)減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所述慣性傳感 器測(cè)量值的所述貢獻(xiàn)。
[0010] 在一個(gè)實(shí)施方案中，一種移動(dòng)裝置包含：用于使用來自慣性傳感器測(cè)量值的貢獻(xiàn) 及來自基于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī)與目標(biāo)之間的相對(duì)姿勢(shì)的裝置；用于檢測(cè)所述 目標(biāo)的移動(dòng)的裝置；以及用于當(dāng)檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述 目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)的裝置。
[0011] 在一個(gè)實(shí)施方案中，一種包含儲(chǔ)存于其上的程序代碼的非暫時(shí)性計(jì)算機(jī)可讀媒體 包含：用以使用來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī) 與目標(biāo)之間的相對(duì)姿勢(shì)的程序代碼；用以檢測(cè)所述目標(biāo)的移動(dòng)的程序代碼；以及用以當(dāng)檢 測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所 述慣性傳感器測(cè)量值的所述貢獻(xiàn)的程序代碼。

【專利附圖】

【附圖說明】
[0012] 圖1說明能夠通過在VINS追蹤方法與僅視覺跟蹤方法之間自適應(yīng)性地切換而檢 測(cè)及跟蹤目標(biāo)的移動(dòng)裝置。
[0013] 圖2說明使用僅視覺方法及VINS方法產(chǎn)生的在不同時(shí)間及姿勢(shì)下的固定目標(biāo)及 移動(dòng)的移動(dòng)裝置的俯視圖。
[0014] 圖3類似于圖2,但說明使用僅視覺方法及VINS方法產(chǎn)生的在不同時(shí)間及姿勢(shì)下 的移動(dòng)的移動(dòng)裝置及移動(dòng)目標(biāo)的俯視圖。
[0015] 圖4是說明通過在目標(biāo)固定時(shí)的VINS方法與目標(biāo)正在移動(dòng)時(shí)的僅視覺方法之間 自適應(yīng)性地切換而檢測(cè)及跟蹤目標(biāo)的方法的流程圖。
[0016] 圖5是說明使用通過基于視覺的測(cè)量值及慣性傳感器測(cè)量值確定的姿勢(shì)的至少 一部分確定目標(biāo)是否正在移動(dòng)的方法的流程圖。
[0017] 圖6是說明使用所投影特征向量確定目標(biāo)是否正在移動(dòng)的另一方法的流程圖。
[0018] 圖7是能夠通過在VINS方法與僅視覺方法之間自適應(yīng)性地切換而檢測(cè)及跟蹤目 標(biāo)的移動(dòng)裝置的框圖。

【具體實(shí)施方式】
[0019] 圖1說明能夠通過在目標(biāo)101固定時(shí)的VINS方法與目標(biāo)正在移動(dòng)時(shí)的僅視覺方 法之間自適應(yīng)性地切換而檢測(cè)及跟蹤目標(biāo)101的移動(dòng)裝置100。在一些實(shí)施方案中，當(dāng)檢測(cè) 到目標(biāo)101的移動(dòng)時(shí)，移動(dòng)裝置100可實(shí)質(zhì)上減少慣性傳感器測(cè)量值的貢獻(xiàn)而非完全消除 慣性傳感器測(cè)量值的貢獻(xiàn)。
[0020] 如本文所使用，移動(dòng)裝置是指任何便攜式電子裝置，例如蜂窩式或其它無線通信 裝置、個(gè)人通信系統(tǒng)（PCS)裝置、個(gè)人導(dǎo)航裝置（PND)、個(gè)人信息管理器（PM)、個(gè)人數(shù)字助 理（PDA)，或其它合適移動(dòng)裝置，包含能夠俘獲環(huán)境的圖像、可用于基于視覺的跟蹤或VINS 中的無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)等。移動(dòng)裝置可能夠接收無線通信 和/或?qū)Ш叫盘?hào)，例如導(dǎo)航定位信號(hào)。術(shù)語"移動(dòng)裝置"也意圖包含（例如）通過短程無線、 紅外線、有線連接或其它連接與個(gè)人導(dǎo)航裝置（PND)通信的裝置，而不管在裝置處或在PND 處是否發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收和/或位置相關(guān)處理。
[0021] 移動(dòng)裝置100包含顯示器102,顯示器102可為觸摸屏顯示器。移動(dòng)裝置100包含 前置相機(jī)108以對(duì)例如目標(biāo)101等環(huán)境進(jìn)行成像，所述目標(biāo)101說明為展示在顯示器102 上。由相機(jī)108產(chǎn)生的圖像或幀被視覺姿勢(shì)模塊112用來產(chǎn)生基于計(jì)算機(jī)視覺的姿勢(shì)。應(yīng) 理解，相機(jī)108可俘獲圖像和/或視頻幀，且術(shù)語圖像與幀在本文中可互換地使用。移動(dòng) 裝置100還包含慣性傳感器110,例如加速度計(jì)、陀螺儀或其類似者，其可用以輔助確定移 動(dòng)裝置100的姿勢(shì)。慣性傳感器Iio的輸出由慣性感測(cè)系統(tǒng)（inertial sensory system, INS)模塊114用以確定移動(dòng)裝置的姿勢(shì)改變，且可產(chǎn)生INS姿勢(shì)。移動(dòng)裝置100進(jìn)一步包 含VINS模塊116，所述VINS模塊116組合來自基于視覺的姿勢(shì)模塊112的姿勢(shì)與來自INS 模塊114的姿勢(shì)。盡管分開說明INS模塊114與VINS模塊116,但應(yīng)理解，INS模塊114可 為VINS模塊116的部分。在操作中，移動(dòng)裝置100在目標(biāo)101固定時(shí)使用VINS模塊116 來確定相對(duì)于目標(biāo)101 (即，相對(duì)于慣性參考幀）的姿勢(shì)，且當(dāng)目標(biāo)101正在移動(dòng)時(shí)切換到 基于視覺的姿勢(shì)模塊112以確定相對(duì)于目標(biāo)101的姿勢(shì)。
[0022] 移動(dòng)裝置100還可包含與本發(fā)明不相關(guān)的其它特征，例如揚(yáng)聲器104及麥克風(fēng) 106 (例如，如果移動(dòng)裝置100為蜂窩式電話）。
[0023] 圖2說明固定目標(biāo)101及移動(dòng)的移動(dòng)裝置100在如由參考數(shù)字IOOtl及IOO t2識(shí) 別的第一時(shí)間h及第二時(shí)間t2處的俯視圖。在第一時(shí)間h，移動(dòng)裝置100的基于視覺的 姿勢(shì)模塊112產(chǎn)生相對(duì)于目標(biāo)101的第一姿勢(shì)Ca i)。在第二時(shí)間t2，移動(dòng)裝置100的基于 視覺的姿勢(shì)模塊112產(chǎn)生相對(duì)于目標(biāo)101的第二姿勢(shì)C(t 2)。在第一時(shí)間h與第二時(shí)間t2 之間，移動(dòng)裝置100如所說明沿路徑Gai, t2)移動(dòng)。INS模塊114使用從慣性傳感器110 取樣的信號(hào)來測(cè)量移動(dòng)裝置的位置改變Gai, t2)。如由圖2中的虛線所說明，當(dāng)位置改變 G (ti，t2)與第一姿勢(shì)C U1)組合，艮P G Upt2Rcai)(其可由INS模塊114或VINS模塊116 執(zhí)行）時(shí)，結(jié)果在理想情況下與第二姿勢(shì)C(t 2)相同。VINS模塊116例如使用擴(kuò)展卡爾曼 濾波器（Extended Kalman filter)組合來自基于視覺的姿勢(shì)模塊112的姿勢(shì)C (t2)的結(jié)果 與由INS模塊114產(chǎn)生的姿勢(shì)GU1, t2)*C(ti)以產(chǎn)生最終姿勢(shì)。應(yīng)理解，擴(kuò)展卡爾曼濾波 器的使用僅為一個(gè)可能的姿勢(shì)估計(jì)器，且如果需要?jiǎng)t可使用其它姿勢(shì)估計(jì)器。
[0024] 圖3類似于圖2,但說明移動(dòng)的移動(dòng)裝置100及移動(dòng)目標(biāo)101在如由參考數(shù)字識(shí) 別的第一時(shí)間h及第二時(shí)間t 2處的俯視圖?；谝曈X的姿勢(shì)模塊112估計(jì)目標(biāo)101與相 機(jī)108之間的相對(duì)姿勢(shì)，而INS模塊114對(duì)來自慣性傳感器110的信號(hào)進(jìn)行取樣以測(cè)量所 述姿勢(shì)在慣性傳感器Iio與慣性幀之間的改變速率。如果目標(biāo)101相對(duì)于慣性幀固定，則 慣性傳感器測(cè)量值可原則上跟蹤相機(jī)108相對(duì)于目標(biāo)101的姿勢(shì)的改變速率，如圖2中所 說明。然而，如果目標(biāo)101移動(dòng)，則目標(biāo)101的運(yùn)動(dòng)影響基于視覺的姿勢(shì)模塊112,但不影響 INS模塊114。因此，如圖3中所說明，因?yàn)槟繕?biāo)101在時(shí)間ti與時(shí)間t2之間已移動(dòng)，因此 基于視覺的姿勢(shì)模塊112將產(chǎn)生姿勢(shì)C' (t2)，其不同于針對(duì)如圖2中所示的固定目標(biāo)101 產(chǎn)生的姿勢(shì)C(t2)。然而，INS模塊114僅使用從慣性傳感器110取樣的信號(hào)，且因此產(chǎn)生 移動(dòng)裝置的姿勢(shì)改變G U1, t2)，其獨(dú)立于目標(biāo)101的位置改變。如由圖3中的虛線所說明， 來自INS模塊114的所得姿勢(shì)GU 1, t2)*C U1)是相對(duì)于目標(biāo)101在時(shí)間&處的位置，且因 此將不同于基于視覺的姿勢(shì)C' (t2)，基于視覺的姿勢(shì)C' (t2)是相對(duì)于在已移動(dòng)之后在時(shí) 間七2處的目標(biāo)101。VINS模塊116組合來自基于視覺的姿勢(shì)模塊112的姿勢(shì)C'(〖 2)的 結(jié)果與由INS模塊114產(chǎn)生的姿勢(shì)Gai^2Rcai)以產(chǎn)生不準(zhǔn)確的組合姿勢(shì)118。因此，可 以看出，當(dāng)目標(biāo)101正在移動(dòng)時(shí)，由基于視覺的姿勢(shì)模塊112自身產(chǎn)生的姿勢(shì)比由VINS模 塊116產(chǎn)生的姿勢(shì)更準(zhǔn)確。因此，當(dāng)目標(biāo)101至相對(duì)于慣性系統(tǒng)移動(dòng)時(shí)，來自基于視覺的姿 勢(shì)模塊112的姿勢(shì)應(yīng)用作最準(zhǔn)確的姿勢(shì)。
[0025] 圖4是說明通過在目標(biāo)固定時(shí)的VINS方法與目標(biāo)正在移動(dòng)時(shí)的僅視覺方法之間 自適應(yīng)性地切換而檢測(cè)及跟蹤目標(biāo)的方法的流程圖。如所說明，使用來自慣性傳感器測(cè)量 值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)跟蹤相機(jī)與目標(biāo)之間的相對(duì)姿勢(shì)（202)。換句話 說，執(zhí)行VINS以跟蹤相機(jī)與目標(biāo)之間的姿勢(shì)。VINS方法大體在上文參考圖2及3加以描 述，且為所屬領(lǐng)域的技術(shù)人員所熟知。一股來說，VINS方法可通過組合使用基于視覺的技 術(shù)確定的姿勢(shì)與使用慣性傳感器產(chǎn)生的姿勢(shì)而估計(jì)姿勢(shì)。如果需要，可對(duì)來自不同技術(shù)的 姿勢(shì)進(jìn)行加權(quán)以產(chǎn)生估計(jì)的VINS姿勢(shì)。作為實(shí)例，使用來自圖2及3的參數(shù)，可如下確定 VINS姿勢(shì)，其中W1及W2為可調(diào)整加權(quán)因數(shù)。

【權(quán)利要求】
1. 一種方法，其包括： 使用來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī)與目 標(biāo)之間的相對(duì)姿勢(shì)； 檢測(cè)所述目標(biāo)的移動(dòng)；以及 當(dāng)檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì) 的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)。
2. 根據(jù)權(quán)利要求1所述的方法，其中減少來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)包括 消除來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)，其中當(dāng)檢測(cè)到所述目標(biāo)的所述移動(dòng)時(shí)，僅使 用基于視覺的測(cè)量值來跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)。
3. 根據(jù)權(quán)利要求1所述的方法，其中檢測(cè)所述目標(biāo)的移動(dòng)包括： 確定所述相機(jī)相對(duì)于所述目標(biāo)的基于視覺的姿勢(shì)的至少一部分； 基于慣性傳感器測(cè)量值確定所述相機(jī)的基于慣性的姿勢(shì)的至少一部分的改變；以及 使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部分的 所述改變來檢測(cè)所述目標(biāo)的所述移動(dòng)。
4. 根據(jù)權(quán)利要求3所述的方法，其中： 所述基于視覺的姿勢(shì)的至少所述部分包括基于視覺的姿態(tài)； 所述基于慣性的姿勢(shì)的至少所述部分的所述改變包括基于慣性的姿態(tài)的改變；且 使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部分的 所述改變包括使用所述基于視覺的姿態(tài)及所述基于慣性的姿態(tài)的所述改變來檢測(cè)所述目 標(biāo)的所述移動(dòng)。
5. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包括： 確定所述基于視覺的姿勢(shì)的至少所述部分的改變； 其中使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部 分的所述改變包括： 確定所述基于慣性的姿勢(shì)的至少所述部分的所述改變與所述基于視覺的姿勢(shì)的至少 所述部分的所述改變之間的差異； 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
6. 根據(jù)權(quán)利要求3所述的方法，其進(jìn)一步包括： 使用所述基于慣性的姿勢(shì)的至少所述部分的所述改變確定基于慣性的姿勢(shì)的至少一 部分； 其中使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部 分的所述改變包括： 確定所述基于視覺的姿勢(shì)的至少所述部分與所述基于慣性的姿勢(shì)的至少所述部分之 間的差異； 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
7. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括在檢測(cè)到所述目標(biāo)的所述移動(dòng)之前確定 所述相機(jī)為固定的。
8. 根據(jù)權(quán)利要求1所述的方法，其中檢測(cè)所述目標(biāo)的移動(dòng)包括基于所述慣性傳感器測(cè) 量值使用特征向量的投影。
9. 根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括： 從所俘獲圖像提取特征； 基于所述慣性傳感器測(cè)量值預(yù)測(cè)特征向量的所述投影； 將特征向量的所述投影與從所俘獲圖像提取的所提取特征向量進(jìn)行比較以確定差異； 以及 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
10. -種移動(dòng)裝置，其包括： 相機(jī)，其能夠俘獲目標(biāo)的圖像； 慣性傳感器；以及 處理器，其經(jīng)耦合以接收所述目標(biāo)的所俘獲圖像且經(jīng)耦合以從所述慣性傳感器接收信 號(hào)，所述處理器經(jīng)配置使用所述目標(biāo)的所述所俘獲圖像產(chǎn)生基于視覺的測(cè)量值且使用來自 所述慣性傳感器的所述信號(hào)產(chǎn)生慣性傳感器測(cè)量值，所述處理器經(jīng)配置以使用來自所述慣 性傳感器測(cè)量值的貢獻(xiàn)及來自所述基于視覺的測(cè)量值的貢獻(xiàn)跟蹤所述相機(jī)與所述目標(biāo)之 間的相對(duì)姿勢(shì)，所述處理器進(jìn)一步經(jīng)配置以檢測(cè)所述目標(biāo)的移動(dòng)，且當(dāng)檢測(cè)到所述目標(biāo)的 移動(dòng)時(shí)減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)的來自所述慣性傳感器測(cè) 量值的所述貢獻(xiàn)。
11. 根據(jù)權(quán)利要求10所述的移動(dòng)裝置，其中所述處理器經(jīng)配置以通過經(jīng)配置以消除來 自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)而減少來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)，其中 所述處理器經(jīng)配置以當(dāng)檢測(cè)到所述目標(biāo)的所述移動(dòng)時(shí)僅利用所述基于視覺的測(cè)量值跟蹤 所述相機(jī)與所述目標(biāo)之間的所述相對(duì)姿勢(shì)。
12. 根據(jù)權(quán)利要求10所述的移動(dòng)裝置，其中所述處理器經(jīng)配置以通過經(jīng)配置以進(jìn)行以 下操作而檢測(cè)所述目標(biāo)的移動(dòng)： 確定所述相機(jī)相對(duì)于所述目標(biāo)的基于視覺的姿勢(shì)的至少一部分； 基于慣性傳感器測(cè)量值確定所述相機(jī)的基于慣性的姿勢(shì)的至少一部分的改變；以及 使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部分的 所述改變來檢測(cè)所述目標(biāo)的移動(dòng)。
13. 根據(jù)權(quán)利要求12所述的移動(dòng)裝置，其中： 所述基于視覺的姿勢(shì)的至少所述部分包括基于視覺的姿態(tài)； 所述基于慣性的姿勢(shì)的至少所述部分的所述改變包括基于慣性的姿態(tài)的改變；且 所述處理器經(jīng)配置以通過經(jīng)配置以使用所述基于視覺的姿態(tài)及所述基于慣性的姿態(tài) 的所述改變來檢測(cè)所述目標(biāo)的所述移動(dòng)而使用所述基于視覺的姿勢(shì)的至少所述部分及所 述基于慣性的姿勢(shì)的至少所述部分的所述改變。
14. 根據(jù)權(quán)利要求12所述的移動(dòng)裝置，所述處理器進(jìn)一步經(jīng)配置以確定所述基于視覺 的姿勢(shì)的至少所述部分的改變，其中所述處理器經(jīng)配置以通過經(jīng)配置以進(jìn)行以下操作而使 用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部分的所述改 變： 確定所述基于慣性的姿勢(shì)的至少所述部分的所述改變與所述基于視覺的姿勢(shì)的至少 所述部分的所述改變之間的差異； 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
15. 根據(jù)權(quán)利要求12所述的移動(dòng)裝置，所述處理器進(jìn)一步經(jīng)配置以使用基于慣性的姿 勢(shì)的至少一部分的改變來確定所述基于慣性的姿勢(shì)的至少所述部分；其中所述處理器經(jīng)配 置以通過經(jīng)配置以進(jìn)行以下操作而使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于 慣性的姿勢(shì)的至少所述部分的所述改變： 確定所述基于視覺的姿勢(shì)的至少所述部分與所述基于慣性的姿勢(shì)的至少所述部分之 間的差異； 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
16. 根據(jù)權(quán)利要求10所述的移動(dòng)裝置，所述處理器進(jìn)一步經(jīng)配置以在檢測(cè)到所述目標(biāo) 的所述移動(dòng)之前確定所述相機(jī)為固定的。
17. 根據(jù)權(quán)利要求10所述的移動(dòng)裝置，其中所述處理器經(jīng)配置以通過經(jīng)配置以基于所 述慣性傳感器測(cè)量值使用特征向量的投影而檢測(cè)所述目標(biāo)的移動(dòng)。
18. 根據(jù)權(quán)利要求17所述的移動(dòng)裝置，其中所述處理器進(jìn)一步經(jīng)配置以進(jìn)行以下操 作： 從所俘獲圖像提取特征； 基于所述慣性傳感器測(cè)量值預(yù)測(cè)特征向量的所述投影； 將特征向量的所述投影與從所俘獲圖像提取的所提取特征向量進(jìn)行比較以確定差異； 以及 將所述差異與閾值進(jìn)行比較以確定所述目標(biāo)已移動(dòng)。
19. 一種移動(dòng)裝置，其包括： 用于使用來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī) 與目標(biāo)之間的相對(duì)姿勢(shì)的裝置； 用于檢測(cè)所述目標(biāo)的移動(dòng)的裝置；以及 用于當(dāng)檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì) 姿勢(shì)的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)的裝置。
20. 根據(jù)權(quán)利要求19所述的移動(dòng)裝置，其中所述用于減少來自所述慣性傳感器測(cè)量值 的所述貢獻(xiàn)的裝置消除來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)。
21. 根據(jù)權(quán)利要求19所述的移動(dòng)裝置，其中所述用于檢測(cè)所述目標(biāo)的移動(dòng)的裝置包 括： 用于確定所述相機(jī)相對(duì)于所述目標(biāo)的基于視覺的姿勢(shì)的至少一部分的裝置； 用于基于慣性傳感器測(cè)量值確定所述相機(jī)的基于慣性的姿勢(shì)的至少一部分的改變的 裝置；以及 用于使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部 分的所述改變來檢測(cè)所述目標(biāo)的移動(dòng)的裝置。
22. 根據(jù)權(quán)利要求19所述的移動(dòng)裝置，其進(jìn)一步包括用于在檢測(cè)到所述目標(biāo)的所述移 動(dòng)之前確定所述相機(jī)固定的裝置。
23. 根據(jù)權(quán)利要求19所述的移動(dòng)裝置，其中所述用于檢測(cè)所述目標(biāo)的移動(dòng)的裝置包括 用于基于所述慣性傳感器測(cè)量值使用特征向量的投影的裝置。
24. -種包含儲(chǔ)存于其上的程序代碼的非暫時(shí)性計(jì)算機(jī)可讀媒體，其包括： 用以使用來自慣性傳感器測(cè)量值的貢獻(xiàn)及來自基于視覺的測(cè)量值的貢獻(xiàn)來跟蹤相機(jī) 與目標(biāo)之間的相對(duì)姿勢(shì)的程序代碼； 用以檢測(cè)所述目標(biāo)的移動(dòng)的程序代碼；以及 用以當(dāng)檢測(cè)到所述目標(biāo)的移動(dòng)時(shí)，減少用以跟蹤所述相機(jī)與所述目標(biāo)之間的所述相對(duì) 姿勢(shì)的來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)的程序代碼。
25. 根據(jù)權(quán)利要求24所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中用以減少來自所述慣性傳 感器測(cè)量值的所述貢獻(xiàn)的所述程序代碼消除來自所述慣性傳感器測(cè)量值的所述貢獻(xiàn)。
26. 根據(jù)權(quán)利要求24所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中用以檢測(cè)所述目標(biāo)的移動(dòng) 的所述程序代碼包括： 用以確定所述相機(jī)相對(duì)于所述目標(biāo)的基于視覺的姿勢(shì)的至少一部分的程序代碼； 用以基于慣性傳感器測(cè)量值確定所述相機(jī)的基于慣性的姿勢(shì)的至少一部分的改變的 程序代碼；以及 用以使用所述基于視覺的姿勢(shì)的至少所述部分及所述基于慣性的姿勢(shì)的至少所述部 分的所述改變來檢測(cè)所述目標(biāo)的移動(dòng)的程序代碼。
27. 根據(jù)權(quán)利要求24所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其進(jìn)一步包括用以在檢測(cè)到所 述目標(biāo)的所述移動(dòng)之前確定所述相機(jī)固定的程序代碼。
28. 根據(jù)權(quán)利要求24所述的非暫時(shí)性計(jì)算機(jī)可讀媒體，其中用以檢測(cè)所述目標(biāo)的移動(dòng) 的所述程序代碼包括用以基于所述慣性傳感器測(cè)量值使用特征向量的投影的程序代碼。
【文檔編號(hào)】G06T7/00GK104364823SQ201380030992
【公開日】2015年2月18日 申請(qǐng)日期:2013年6月10日 優(yōu)先權(quán)日:2012年6月14日
【發(fā)明者】A·拉馬南達(dá)恩, 克里斯托?！げ剪敿{, M·拉馬錢德蘭, A·狄亞吉, D·克諾布勞赫, 穆拉利·拉馬斯瓦米·查里 申請(qǐng)人:高通股份有限公司