本申請涉及虛擬現(xiàn)實(shí)(virtual?reality，vr)，提供一種虛擬現(xiàn)實(shí)設(shè)備的定位方法及虛擬現(xiàn)實(shí)設(shè)備。

背景技術(shù)：

1、目前，用戶佩戴vr設(shè)備進(jìn)行沉浸式體驗(yàn)時，一般會采集真實(shí)環(huán)境中的信息，并通過同步定位與建圖(simultaneous?localization?and?mapping，slam)技術(shù)來計(jì)算vr設(shè)備自身的位姿。

2、slam技術(shù)依賴于跟蹤到的特征點(diǎn)進(jìn)行定位，為了確保slam運(yùn)行中能夠跟蹤到足夠多的特征點(diǎn)，需要盡可能地保持相機(jī)視野中存在豐富的紋理信息。因此，相關(guān)技術(shù)通常會為vr設(shè)備配備多個相機(jī)，且為了獲得更大的視野，這些相機(jī)的朝向各不相同。然而，如果各相機(jī)間的朝向差異過大，可能會導(dǎo)致同一特征點(diǎn)在同一時刻不同相機(jī)采集的環(huán)境圖像中具有不同的尺度和旋轉(zhuǎn)，從而影響位姿的計(jì)算精度。另一方面，由于使用了多個相機(jī)，也會增加圖像間特征點(diǎn)匹配的算力，降低slam定位的實(shí)時性。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供了一種虛擬現(xiàn)實(shí)設(shè)備的定位方法及虛擬現(xiàn)實(shí)設(shè)備，用于保證實(shí)時定位的同時提高定位精度。

2、一方面，本申請實(shí)施例提供了一種虛擬現(xiàn)實(shí)設(shè)備的定位方法，所述虛擬現(xiàn)實(shí)設(shè)備包含至少一組主從相機(jī)對，所述方法包括：

3、獲取主從相機(jī)對實(shí)時采集的原始環(huán)境圖像，并對所述主從相機(jī)對中主相機(jī)和從相機(jī)同步采集的兩張?jiān)辑h(huán)境圖像進(jìn)行極線矯正以減小環(huán)境圖像間的尺度差異和旋轉(zhuǎn)差異，獲得目標(biāo)環(huán)境圖像；

4、提取所述主從相機(jī)對中主相機(jī)采集的原始環(huán)境圖像中的特征點(diǎn)，若提取的特征點(diǎn)數(shù)量小于預(yù)設(shè)數(shù)量閾值，則將所述主從相機(jī)對中的從相機(jī)切換為主相機(jī)；

5、對所述主從相機(jī)對中主相機(jī)采集的相鄰兩張?jiān)辑h(huán)境圖像中提取的特征點(diǎn)進(jìn)行幀間匹配，獲得幀間匹配點(diǎn)；

6、根據(jù)所述幀間匹配點(diǎn)，確定所述主從相機(jī)對中主相機(jī)和從相機(jī)在同一時刻的目標(biāo)環(huán)境圖像中的特征點(diǎn)，獲得幀內(nèi)匹配點(diǎn)對；

7、根據(jù)所述幀內(nèi)匹配點(diǎn)對，結(jié)合預(yù)先標(biāo)定的所述主從相機(jī)對中主相機(jī)和從相機(jī)的內(nèi)參數(shù)和外參數(shù)，確定當(dāng)前時刻所述虛擬現(xiàn)實(shí)設(shè)備的位姿。

8、另一方面，本申請實(shí)施例提供一種虛擬現(xiàn)實(shí)設(shè)備，包括處理器、存儲器、顯示器和至少一組主從相機(jī)對；

9、所述主從相機(jī)對用于實(shí)時采集原始環(huán)境圖像；

10、所述顯示器用于顯示虛擬畫面；

11、所述存儲器存儲有計(jì)算機(jī)程序，所述處理器根據(jù)所述計(jì)算機(jī)程序，執(zhí)行以下操作：

12、獲取主從相機(jī)對實(shí)時采集的原始環(huán)境圖像，并對所述主從相機(jī)對中主相機(jī)和從相機(jī)同步采集的兩張?jiān)辑h(huán)境圖像進(jìn)行極線矯正以減小環(huán)境圖像間的尺度差異和旋轉(zhuǎn)差異，獲得目標(biāo)環(huán)境圖像；

13、提取所述主從相機(jī)對中主相機(jī)采集的原始環(huán)境圖像中的特征點(diǎn)，若提取的特征點(diǎn)數(shù)量小于預(yù)設(shè)數(shù)量閾值，則將所述主從相機(jī)對中的從相機(jī)切換為主相機(jī)；

14、對所述主從相機(jī)對中主相機(jī)采集的相鄰兩張?jiān)辑h(huán)境圖像中提取的特征點(diǎn)進(jìn)行幀間匹配，獲得幀間匹配點(diǎn)；

15、根據(jù)所述幀間匹配點(diǎn)，確定所述主從相機(jī)對中主相機(jī)和從相機(jī)在同一時刻的目標(biāo)環(huán)境圖像中的特征點(diǎn)，獲得幀內(nèi)匹配點(diǎn)對；

16、根據(jù)所述幀內(nèi)匹配點(diǎn)對，結(jié)合預(yù)先標(biāo)定的所述主從相機(jī)對中主相機(jī)和從相機(jī)的內(nèi)參數(shù)和外參數(shù)，確定當(dāng)前時刻所述虛擬現(xiàn)實(shí)設(shè)備的位姿。

17、另一方面，本申請實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于使計(jì)算機(jī)設(shè)備執(zhí)行本申請實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的定位方法的步驟。

18、本申請實(shí)施例提供的一種虛擬現(xiàn)實(shí)設(shè)備的定位方法及虛擬現(xiàn)實(shí)設(shè)備中，為了減小由于主相機(jī)和從相機(jī)的朝向不同導(dǎo)致的環(huán)境圖像間的尺度差異和旋轉(zhuǎn)差異，對主相機(jī)和從相機(jī)同步采集的兩張?jiān)辑h(huán)境圖像進(jìn)行極線矯正，從而消除雙目特征點(diǎn)間的尺度差異和旋轉(zhuǎn)差異，增加雙目特征點(diǎn)匹配的對數(shù)，提高slam定位的精度，且主相機(jī)和從相機(jī)可以進(jìn)行切換，從而避免相機(jī)被遮擋或者采集紋理不豐富的情況對特征點(diǎn)提取的影響，提高slam定位的穩(wěn)定性。另一方面，考慮到slam定位對實(shí)時性的要求，只對主相機(jī)進(jìn)行了幀間匹配，從而減少了特征匹配的算力，保證slam定位的實(shí)時性。

19、本申請的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本申請而了解。本申請的目的和其它優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

技術(shù)特征：

1.一種虛擬現(xiàn)實(shí)設(shè)備的定位方法，其特征在于，虛擬現(xiàn)實(shí)設(shè)備包括至少一組主從相機(jī)對，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述對所述主從相機(jī)對中主相機(jī)和從相機(jī)同步采集的兩張?jiān)辑h(huán)境圖像進(jìn)行極線矯正以減小環(huán)境圖像間的尺度差異和旋轉(zhuǎn)差異，獲得目標(biāo)環(huán)境圖像，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述主相機(jī)采集的原始環(huán)境圖像的極線矯正公式表示為：

4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述幀間匹配點(diǎn)，確定所述主從相機(jī)對中主相機(jī)和從相機(jī)在同一時刻的目標(biāo)環(huán)境圖像中的特征點(diǎn)，獲得幀內(nèi)匹配點(diǎn)對，包括：

5.如權(quán)利要求1所述的方法，其特征在于，將所述主從相機(jī)對中的從相機(jī)切換為主相機(jī)之后，所述方法還包括：

6.一種虛擬現(xiàn)實(shí)設(shè)備，其特征在于，包括處理器、存儲器和至少一組主從相機(jī)對；

7.如權(quán)利要求6所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述處理器對所述主從相機(jī)對中主相機(jī)和從相機(jī)同步采集的兩張?jiān)辑h(huán)境圖像進(jìn)行極線矯正以減小環(huán)境圖像間的尺度差異和旋轉(zhuǎn)差異，獲得目標(biāo)環(huán)境圖像，具體操作為：

8.如權(quán)利要求7所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述主相機(jī)采集的原始環(huán)境圖像的極線矯正公式表示為：

9.如權(quán)利要求6所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，所述處理器根據(jù)所述幀間匹配點(diǎn)，確定所述主從相機(jī)對中主相機(jī)和從相機(jī)在同一時刻的目標(biāo)環(huán)境圖像中的特征點(diǎn)，獲得幀內(nèi)匹配點(diǎn)對，具體操作為：

10.如權(quán)利要求6所述的虛擬現(xiàn)實(shí)設(shè)備，其特征在于，將所述主從相機(jī)對中的從相機(jī)切換為主相機(jī)之后，所述處理器還執(zhí)行：

技術(shù)總結(jié)
本申請涉及VR技術(shù)領(lǐng)域，提供一種虛擬現(xiàn)實(shí)設(shè)備的定位方法及虛擬現(xiàn)實(shí)設(shè)備，用于提高SLAM定位的魯棒性和精度。該方法針對虛擬現(xiàn)實(shí)設(shè)備上的多目相機(jī)，引入主相機(jī)和從相機(jī)的概念獲得至少一組主從相機(jī)對，并對每個主相機(jī)連續(xù)采集的原始環(huán)境圖像進(jìn)行了幀間特征點(diǎn)匹配，從而節(jié)省了特征匹配的時間和算力，且主相機(jī)和從相機(jī)可以切換，從而克服幀間特征點(diǎn)跟蹤失敗的問題，且考慮到主相機(jī)和從相機(jī)朝向差異引發(fā)的圖像間的尺度差異和旋轉(zhuǎn)差異，對每組主從相機(jī)對中主相機(jī)和從相機(jī)在同一時刻采集的原始環(huán)境圖像進(jìn)行了極線矯正，并對極線矯正后的目標(biāo)環(huán)境圖像進(jìn)行幀內(nèi)特征點(diǎn)匹配，增加了雙目特征點(diǎn)匹配的點(diǎn)對，提高了SLAM定位的精度。

技術(shù)研發(fā)人員：黃志明,翟嘉星
受保護(hù)的技術(shù)使用者：海信電子科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30