本公開整體涉及姿態(tài)估計技術(shù)。例如,本公開的各方面包括用于提供分布式姿態(tài)預(yù)測的系統(tǒng)和技術(shù)。
背景技術(shù):
1、可在各種應(yīng)用(諸如擴(kuò)展現(xiàn)實(xr)(例如,虛擬現(xiàn)實、增強(qiáng)現(xiàn)實、混合現(xiàn)實)、計算機(jī)視覺、和機(jī)器人)中使用姿態(tài)估計,以確定人類或?qū)ο笙鄬τ趫鼍盎颦h(huán)境的定位和取向。姿態(tài)信息可用于管理人類或?qū)ο笈c特定場景或環(huán)境之間的交互。例如,用戶或由用戶穿戴的設(shè)備的姿態(tài)可用于用虛擬內(nèi)容來提升或增強(qiáng)用戶的真實或物理環(huán)境。又如,機(jī)器人的姿態(tài)(例如,定位和取向)可用于允許機(jī)器人操縱對象或避免在場景中四處移動時與對象碰撞。
2、如上文所指出,姿態(tài)估計可在xr系統(tǒng)諸如智能眼鏡和頭戴式顯示器(hmd)中使用。此類擴(kuò)展現(xiàn)實系統(tǒng)一般實現(xiàn)相機(jī)和傳感器以跟蹤xr設(shè)備和物理環(huán)境內(nèi)的其他對象的定位。xr設(shè)備可使用這種跟蹤信息來向xr設(shè)備的用戶提供逼真的xr體驗。例如,xr設(shè)備可允許用戶體驗身臨其境的虛擬環(huán)境或內(nèi)容或與之交互。為了提供真實的xr體驗,xr技術(shù)可將虛擬內(nèi)容與物理世界或描繪物理世界中的場景的視頻饋送集成。在一些情況下,xr技術(shù)可匹配對象和設(shè)備在物理世界中的相對姿態(tài)和移動。例如,除設(shè)備、對象和/或真實世界環(huán)境的特征的姿態(tài)之外,xr設(shè)備還可使用跟蹤信息來計算xr系統(tǒng)或設(shè)備的相對姿態(tài),以便匹配設(shè)備、對象和/或真實世界環(huán)境的相對定位和移動。在一些情況下,xr設(shè)備可使用一個或多個設(shè)備、對象和/或真實世界環(huán)境的姿態(tài)和移動來以令人信服的方式渲染相對于真實世界環(huán)境的內(nèi)容??墒褂孟鄬ψ藨B(tài)信息來將虛擬內(nèi)容與用戶感知到的運(yùn)動以及設(shè)備、對象和現(xiàn)實世界環(huán)境的時空狀態(tài)相匹配。
3、然而,姿態(tài)估計系統(tǒng)的計算復(fù)雜性可能施加顯著的功率和資源需求,并且在各種應(yīng)用中可能成為限制因素。姿態(tài)估計的計算復(fù)雜性還可能限制依賴于姿態(tài)信息的跟蹤和定位應(yīng)用的性能和可縮放性。
技術(shù)實現(xiàn)思路
1、描述了用于提供分布式(例如,基于服務(wù)器的)姿態(tài)預(yù)測(例如,在擴(kuò)展現(xiàn)實(xr)系統(tǒng)中)的系統(tǒng)和技術(shù)。根據(jù)至少一個示例,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中的第一設(shè)備處生成虛擬內(nèi)容的方法。該方法包括:從與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備接收一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;基于該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測該第二設(shè)備的一個或多個姿態(tài);基于該第一設(shè)備的所預(yù)測的一個或多個姿態(tài)中的姿態(tài)來生成虛擬內(nèi)容;以及向該第二設(shè)備發(fā)送該虛擬內(nèi)容。
2、在另一示例中,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中生成虛擬內(nèi)容的第一設(shè)備,該第一設(shè)備包括:至少一個存儲器和耦合到該至少一個存儲器的至少一個處理器(例如,在電路系統(tǒng)中配置)。該至少一個處理器配置為:從與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備接收一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;基于該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測該第二設(shè)備的一個或多個姿態(tài);基于該第一設(shè)備的所預(yù)測的一個或多個姿態(tài)中的姿態(tài)來生成虛擬內(nèi)容;以及向該第二設(shè)備發(fā)送該虛擬內(nèi)容。
3、在另一示例中,一種非暫態(tài)計算機(jī)可讀介質(zhì),該非暫態(tài)計算機(jī)可讀介質(zhì)上存儲有指令,這些指令在由一個或多個處理器執(zhí)行時使該一個或多個處理器:從與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備接收一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;基于該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測該第二設(shè)備的一個或多個姿態(tài);基于該第一設(shè)備的所預(yù)測的一個或多個姿態(tài)中的姿態(tài)來生成虛擬內(nèi)容;以及向該第二設(shè)備發(fā)送該虛擬內(nèi)容。
4、在另一示例中,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中生成虛擬內(nèi)容的第一設(shè)備。該裝置包括:用于從與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備接收一個或多個姿態(tài)預(yù)測參數(shù)集合的構(gòu)件,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;用于基于該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測該第二設(shè)備的一個或多個姿態(tài)的構(gòu)件;用于基于該第一設(shè)備的所預(yù)測的一個或多個姿態(tài)中的姿態(tài)來生成虛擬內(nèi)容的構(gòu)件;和用于向該第二設(shè)備發(fā)送該虛擬內(nèi)容的構(gòu)件。
5、根據(jù)至少一個附加示例,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中的第一設(shè)備處處理虛擬內(nèi)容的方法。該方法包括:向與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備發(fā)送一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;從該第二設(shè)備接收基于該第一設(shè)備的一個或多個預(yù)測姿態(tài)中的姿態(tài)的虛擬內(nèi)容,該一個或多個預(yù)測姿態(tài)基于發(fā)送到該第二設(shè)備的該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測;以及至少部分地基于所接收的虛擬內(nèi)容來顯示一個或多個虛擬對象。
6、在另一示例中,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中處理虛擬內(nèi)容的第一設(shè)備,該第一設(shè)備包括:至少一個存儲器和耦合到該至少一個存儲器的至少一個處理器(例如,在電路系統(tǒng)中配置)。該至少一個處理器配置為:向與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備發(fā)送一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;從該第二設(shè)備接收基于該第一設(shè)備的一個或多個預(yù)測姿態(tài)中的姿態(tài)的虛擬內(nèi)容,該一個或多個預(yù)測姿態(tài)基于發(fā)送到該第二設(shè)備的該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測;以及至少部分地基于所接收的虛擬內(nèi)容來顯示一個或多個虛擬對象。
7、在另一示例中,一種非暫態(tài)計算機(jī)可讀介質(zhì),該非暫態(tài)計算機(jī)可讀介質(zhì)上存儲有指令,這些指令在由一個或多個處理器執(zhí)行時使該一個或多個處理器:向與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備發(fā)送一個或多個姿態(tài)預(yù)測參數(shù)集合,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;從該第二設(shè)備接收基于該第一設(shè)備的一個或多個預(yù)測姿態(tài)中的姿態(tài)的虛擬內(nèi)容,該一個或多個預(yù)測姿態(tài)基于發(fā)送到該第二設(shè)備的該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測;以及至少部分地基于所接收的虛擬內(nèi)容來顯示一個或多個虛擬對象。
8、在另一示例中,提供了一種用于在分布式擴(kuò)展現(xiàn)實系統(tǒng)中處理虛擬內(nèi)容的第一設(shè)備。該裝置包括:用于向與該分布式擴(kuò)展現(xiàn)實系統(tǒng)相關(guān)聯(lián)的第二設(shè)備發(fā)送一個或多個姿態(tài)預(yù)測參數(shù)集合的構(gòu)件,其中來自該一個或多個姿態(tài)預(yù)測參數(shù)集合的每個相應(yīng)姿態(tài)預(yù)測參數(shù)集合包括與相應(yīng)原始姿態(tài)數(shù)據(jù)相關(guān)聯(lián)的相應(yīng)預(yù)測系數(shù)和相應(yīng)預(yù)測時間;用于從該第二設(shè)備接收基于該第一設(shè)備的一個或多個預(yù)測姿態(tài)中的姿態(tài)的虛擬內(nèi)容的構(gòu)件,該一個或多個預(yù)測姿態(tài)基于發(fā)送到該第二設(shè)備的該一個或多個姿態(tài)預(yù)測參數(shù)集合來預(yù)測;和用于至少部分地基于所接收的虛擬內(nèi)容來顯示一個或多個虛擬對象的構(gòu)件。
9、在一些方面,本文所述的裝置中的一個或多個裝置是以下、是以下的部分和/或包括以下:擴(kuò)展現(xiàn)實(xr)設(shè)備(例如,虛擬現(xiàn)實(vr)設(shè)備、增強(qiáng)現(xiàn)實(ar)設(shè)備或混合現(xiàn)實(mr)設(shè)備)、移動設(shè)備(例如,移動電話或其他移動設(shè)備)、可穿戴設(shè)備、頭戴式設(shè)備(hmd)設(shè)備、無線通信設(shè)備、相機(jī)、個人計算機(jī)、膝上型計算機(jī)、服務(wù)器計算機(jī)或服務(wù)器設(shè)備(例如,基于邊緣或云的服務(wù)器、充當(dāng)服務(wù)器設(shè)備的個人計算機(jī)、充當(dāng)服務(wù)器設(shè)備的移動設(shè)備諸如移動電話、充當(dāng)服務(wù)器設(shè)備的xr設(shè)備、網(wǎng)絡(luò)路由器或充當(dāng)服務(wù)器的其他設(shè)備)、交通工具或交通工具的或計算設(shè)備組件、另一設(shè)備或它們的組合。在一些方面,該裝置包括用于捕獲一個或多個圖像的一個或多個相機(jī)。在一些方面,該裝置還包括用于顯示一個或多個圖像、通知和/或其他可顯示數(shù)據(jù)的顯示器。在一些方面,以上描述的裝置可以包括一個或多個傳感器(例如,一個或多個慣性測量單元(imu),諸如一個或多個陀螺儀、一個或多個陀螺測試儀、一個或多個加速度計、它們的任何組合和/或其他傳感器)。
10、該
技術(shù)實現(xiàn)要素:
不旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵或必要特征,其也不旨在孤立地用于確定所要求保護(hù)的主題的范圍。本主題應(yīng)當(dāng)參照本專利的整個說明書的合適部分、任何或所有附圖、以及每項權(quán)利要求來理解。
11、前述內(nèi)容以及其他特征和方面將在參照以下說明書、權(quán)利要求書和所附附圖時變得更明顯。