本技術涉及計算機視覺與三維重建，尤其涉及一種基于全景圖構建的三維地圖的更新方法、裝置和設備。

背景技術：

1、在現(xiàn)有技術中，混合現(xiàn)實（mixed?reality,?mr）、增強現(xiàn)實（augmented?reality,ar）和虛擬現(xiàn)實（virtual?reality,?vr）技術因其高度沉浸式體驗而在娛樂、教育、醫(yī)療等多個領域得到廣泛應用。這些技術的核心在于創(chuàng)建一個能夠與現(xiàn)實世界互動或者完全模擬出新世界的虛擬環(huán)境。為了構建這樣的虛擬環(huán)境，全景相機被廣泛用于全方位捕捉周圍環(huán)境，并基于這些圖像數(shù)據(jù)生成三維地圖。比如專利cn118918273a中詳細公開了通過全景相機獲取環(huán)境圖像并與遠程云服務器的數(shù)據(jù)庫中的地圖信息進行匹配，實現(xiàn)了針對場景環(huán)境的三維重建。

2、然而，在現(xiàn)實世界中，很多環(huán)境都是動態(tài)變化的，預先制作的地圖往往不能及時反映出這些變化。例如，建筑物的拆除、道路的改建、家具的重新布置等因素都可能影響設備的定位精度；此外，預先制作的地圖難以一次性覆蓋所有空間環(huán)境，導致某些區(qū)域缺乏地圖信息。

3、傳統(tǒng)的地圖更新方法通常需要人工干預，這種方法不僅不夠靈活，也缺乏效率?；诖?，有必要提出一種新的地圖更新方法，以提高地圖更新的靈活性與更新效率。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于全景圖構建的三維地圖的更新方法、裝置和設備，以提高地圖更新的靈活性與更新效率。

2、本技術第一方面，提供了一種基于全景圖構建的三維地圖的更新方法，所述方法包括：

3、獲取待定位圖像，調(diào)用特征提取模型從所述待定位圖像中提取圖像特征信息；

4、調(diào)用圖像匹配模型從待更新三維地圖中查詢出與所述圖像特征信息最匹配的待更新圖像；

5、基于所述待更新圖像識別所述待定位圖像在所述待更新三維地圖中的第一位姿；

6、基于所述第一位姿計算所述待定位圖像的點云數(shù)據(jù)；

7、將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中。

8、可選地，所述圖像匹配模型包括圖像檢索模型和特征匹配模型，所述調(diào)用圖像匹配模型從待更新三維地圖中查詢出與所述圖像特征信息最匹配的待更新圖像，包括：

9、調(diào)用所述圖像檢索模型從待更新三維地圖中查詢出與所述圖像特征信息相匹配的第一數(shù)量的候選圖像；

10、調(diào)用所述圖像匹配模型計算所述待定位圖像與每個候選圖像之間的特征點匹配對集合；

11、基于所述特征點匹配對集合從所述候選圖像中確定出待更新圖像。

12、可選地，所述調(diào)用所述圖像匹配模型計算所述待定位圖像與每個候選圖像之間的特征點匹配對集合，包括：

13、識別所述待定位圖像的場景，所述場景包括室內(nèi)場景與室外場景；

14、調(diào)用與所述場景相匹配的圖像匹配模型計算所述待定位圖像與每個候選圖像之間的特征點匹配對集合。

15、可選地，所述基于所述待更新圖像識別所述待定位圖像在所述待更新三維地圖中的第一位姿，包括：

16、基于所述待定位圖像與所述待更新圖像之間的特征點匹配對集合，調(diào)用預設的隨機樣本一致算法計算出內(nèi)點匹配對集合；基于所述內(nèi)點匹配對集合計算出所述第一位姿。

17、可選地，在將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中之前，所述方法還包括：

18、基于所述待定位圖像與所述待更新圖像之間的特征點匹配對集合中的第一點對數(shù)量和/或所述內(nèi)點匹配對集合中的第二點對數(shù)量確定所述待定位圖像是否滿足第一更新條件；

19、當滿足第一更新條件時，執(zhí)行所述將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中。

20、可選地，在將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中之前，所述方法還包括：計算所述第一位姿與所述待更新三維地圖中的已有位姿之間的差異度；

21、基于所述差異度確定所述待定位圖像是否滿足第二更新條件；

22、當滿足所述第二更新條件時，執(zhí)行將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中。

23、可選地，所述第二更新條件包括所述差異度超過預設的第一差異閾值；

24、所述將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中，包括：

25、當滿足所述第二更新條件時，將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)添加至所述待更新三維地圖中；

26、當不滿足所述第二更新條件，且所述待更新圖像與待定位圖像之間的位姿差異度小于預設的第二差異閾值時，以所述待定位圖像、第一位姿和所述點云數(shù)據(jù)對所述待更新圖像在所述待更新三維地圖中的信息進行替換，實現(xiàn)對所述待更新三維地圖的更新，所述第二差異閾值小于所述第一差異閾值。

27、可選地，所述特征提取模型包括全局特征提取模型和局部特征提取模型，所述圖像特征信息包括全局特征向量和局部特征向量；

28、所述調(diào)用特征提取模型從所述待定位圖像中提取圖像特征信息，包括：

29、調(diào)用全局特征提取模型從所述待定位圖像中提取全局特征向量；

30、調(diào)用局部特征提取模型從所述待定位圖像中提取局部特征向量。

31、本技術第二方面，提供了一種基于全景圖構建的三維地圖的更新裝置，所述裝置包括：

32、特征提取模塊，用于獲取待定位圖像，調(diào)用特征提取模型從所述待定位圖像中提取圖像特征信息；

33、圖像匹配模塊，用于調(diào)用圖像匹配模型從待更新三維地圖中查詢出與所述圖像特征信息最匹配的待更新圖像；

34、位姿計算模塊，用于基于所述待更新圖像識別所述待定位圖像在所述待更新三維地圖中的第一位姿；

35、地圖更新模塊，用于基于所述第一位姿計算所述待定位圖像的點云數(shù)據(jù)，將所述待定位圖像、第一位姿和所述點云數(shù)據(jù)更新至所述待更新三維地圖中。

36、本技術第三方面，提供了一種電子設備，包括：一個或多個處理器；

37、存儲器，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述一個或多個處理器執(zhí)行本技術實施例中任一項所述的基于全景圖構建的三維地圖的更新方法。

38、本技術中的基于全景圖構建的三維地圖的更新方法、裝置和設備，通過對待定位圖像進行圖像特征信息提取，再結(jié)合已有三維地圖中的圖像的圖像特征信息，查詢?nèi)S地圖中與待定位圖像最匹配的待更新圖像，結(jié)合查詢出來的待更新圖像來計算待定位圖像的第一位姿，可以提高第一位姿計算的準確性，實現(xiàn)了針對待定位圖像的高精度實時定位，避免待定位圖像的位置距離三維重建掃描軌跡過遠，在定位時定位不準的問題。

39、進一步的，在確保了第一位姿計算準確性的前提下，基于第一位姿計算出待定位圖像的點云數(shù)據(jù)，進而基于該點云數(shù)據(jù)對三維圖像進行更新，從而不斷優(yōu)化和提高三維地圖的精度和實時性，提高了三維圖像更新的實時性和更新質(zhì)量。此外，本技術可以實現(xiàn)自動地三維地圖更新，無需用戶手動操作更新，提高了地圖更新的靈活性和更新效率。