本申請(qǐng)涉及圖像處理，尤其涉及一種目標(biāo)物體表面重建方法及相關(guān)裝置。

背景技術(shù)：

1、隨著數(shù)字化技術(shù)的飛速發(fā)展，三維重建技術(shù)在文化遺產(chǎn)保護(hù)、博物館展示、教育研究等領(lǐng)域的重要性日益凸顯。傳統(tǒng)的三維重建方法主要依賴于專業(yè)的掃描設(shè)備，如激光掃描儀或結(jié)構(gòu)光掃描儀，這些設(shè)備價(jià)格昂貴，操作復(fù)雜，且在處理精細(xì)紋理和復(fù)雜幾何結(jié)構(gòu)的文物時(shí)存在局限性。

2、近年來(lái)，基于圖像的三維重建技術(shù)逐漸受到關(guān)注。這種方法使用普通相機(jī)拍攝的視覺圖片，通過計(jì)算機(jī)視覺算法重建物體的三維模型。

3、目前主流的基于圖像的三維重建算法可以分成兩種技術(shù)路線：1）基于體渲染的三維重建算法，代表算法有nerf、nerf++、instant-ngp。2）基于點(diǎn)云的三維重建算法，代表算法有3dgs。

4、現(xiàn)有的基于圖像的三維重建算法，無(wú)論是基于體渲染的三維重建還是基于點(diǎn)云的三維重建，都存在其局限性。首先，這兩種算法普遍依賴colmap工具來(lái)計(jì)算相機(jī)位姿。colmap工具計(jì)算相機(jī)位姿往往耗時(shí)較高，甚至超過模型訓(xùn)練的耗時(shí)，進(jìn)而造成了重建過程緩慢。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，本申請(qǐng)?zhí)峁┝艘环N目標(biāo)物體表面重建方法及相關(guān)裝置，以實(shí)現(xiàn)目標(biāo)物體的快速建模的目的。具體方案如下：

2、本申請(qǐng)第一方面提供一種目標(biāo)物體表面重建方法，包括：

3、通過相機(jī)組對(duì)目標(biāo)物體進(jìn)行圖像采集得到的表面圖像，所述相機(jī)組中包括n個(gè)相機(jī)，不同的相機(jī)對(duì)所述目標(biāo)物體圖像采集角度不同，所述n為不小于2的正整數(shù)；

4、基于預(yù)設(shè)映射表以及各個(gè)相機(jī)的拍攝角度和拍攝間隔獲取與所述表面圖像對(duì)應(yīng)的各個(gè)相機(jī)的相機(jī)姿態(tài)；

5、基于所述相機(jī)姿態(tài)，將所述表面圖像中各個(gè)像素的坐標(biāo)點(diǎn)映射到世界坐標(biāo)系；

6、采用采樣點(diǎn)預(yù)測(cè)模型對(duì)所述表面圖像中各個(gè)像素對(duì)應(yīng)的射線的對(duì)應(yīng)的采樣點(diǎn)進(jìn)行預(yù)測(cè)，得到各個(gè)圖像中各個(gè)射線對(duì)應(yīng)的采樣點(diǎn)；

7、采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建。

8、在一種可能的實(shí)現(xiàn)中，基于預(yù)設(shè)映射表以及各個(gè)相機(jī)的拍攝角度和拍攝間隔獲取與所述表面圖像對(duì)應(yīng)的各個(gè)相機(jī)的相機(jī)姿態(tài)，包括：

9、獲取各個(gè)相機(jī)的內(nèi)參；

10、獲取各個(gè)表面圖像對(duì)應(yīng)的相機(jī)的拍攝時(shí)刻；

11、基于預(yù)設(shè)映射表查找相機(jī)的拍攝角度、拍攝時(shí)刻以及目標(biāo)物體相對(duì)于相機(jī)的轉(zhuǎn)速計(jì)算相機(jī)拍攝到的各個(gè)表面圖像對(duì)應(yīng)的旋轉(zhuǎn)矩陣；

12、基于所述相機(jī)的位置和世界坐標(biāo)系圓心位置，獲取各個(gè)相機(jī)的平移矩陣。

13、在一種可能的實(shí)現(xiàn)中，采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建，包括：

14、將所述采樣點(diǎn)的坐標(biāo)和方向由低維向量空間映射到高維向量空間；

15、采用三維重建模型對(duì)映射到高維向量空間后的采樣點(diǎn)的坐標(biāo)和方向進(jìn)行渲染，得到所述采樣點(diǎn)的密度和顏色。

16、在一種可能的實(shí)現(xiàn)中，所述采樣點(diǎn)預(yù)測(cè)模型的訓(xùn)練過程包括：

17、獲取標(biāo)簽，所述標(biāo)簽為采用粗采樣重建得到粗采樣階段的采樣點(diǎn)密度以后，基于采樣點(diǎn)的密度計(jì)算得到細(xì)采樣的采樣點(diǎn)位置；

18、將所述標(biāo)簽劃分為訓(xùn)練集合和測(cè)試集合；

19、采用訓(xùn)練集合對(duì)所述采樣點(diǎn)預(yù)測(cè)模型進(jìn)行訓(xùn)練學(xué)習(xí)，采用所述測(cè)試集合對(duì)訓(xùn)練后的采樣點(diǎn)預(yù)測(cè)模型的輸出結(jié)果的可靠性進(jìn)行測(cè)試，如果測(cè)試結(jié)果不合格，繼續(xù)采用所述訓(xùn)練集合對(duì)所述采樣點(diǎn)預(yù)測(cè)模型進(jìn)行迭代測(cè)試，直至測(cè)試結(jié)果合格為止。

20、在一種可能的實(shí)現(xiàn)中，所述采樣點(diǎn)預(yù)測(cè)模型具體用于：

21、獲取所需預(yù)測(cè)采樣點(diǎn)的射線的極坐標(biāo)；

22、基于所述極坐標(biāo)預(yù)測(cè)得到各個(gè)所需預(yù)測(cè)采樣點(diǎn)的射線上的采樣點(diǎn)。

23、在一種可能的實(shí)現(xiàn)中，采樣點(diǎn)的坐標(biāo)和方向由低維向量空間映射到高維向量空間，包括：

24、初始化一個(gè)與原始位置編碼維度一致的可學(xué)習(xí)位置編碼；

25、獲取與所述采樣點(diǎn)的坐標(biāo)和方向相匹配的哈希映射的位置編碼；

26、將經(jīng)過哈希映射的位置編碼與所述可學(xué)習(xí)的位置編碼相加，得到融合后的經(jīng)過哈希映射的位置編碼；

27、基于融合后的經(jīng)過哈希映射的位置編碼創(chuàng)建得到與所述采樣點(diǎn)的坐標(biāo)和方向相匹配的高維度向量空間。本申請(qǐng)第二方面提供一種目標(biāo)物體表面重建裝置，包括：

28、圖像采集單元，用于獲取相機(jī)組對(duì)目標(biāo)物體進(jìn)行圖像采集得到的表面圖像，所述相機(jī)組中包括n個(gè)相機(jī)，不同的相機(jī)對(duì)所述目標(biāo)物體圖像采集角度不同，所述n為不小于2的正整數(shù)；

29、相機(jī)姿態(tài)獲取單元，用于基于預(yù)設(shè)映射表以及各個(gè)相機(jī)的拍攝角度和拍攝間隔獲取與所述表面圖像對(duì)應(yīng)的各個(gè)相機(jī)的相機(jī)姿態(tài)；

30、坐標(biāo)轉(zhuǎn)換單元，用于基于所述相機(jī)姿態(tài)，將所述表面圖像中各個(gè)像素的坐標(biāo)點(diǎn)映射到世界坐標(biāo)系；

31、采樣點(diǎn)預(yù)測(cè)單元，用于采用采樣點(diǎn)預(yù)測(cè)模型對(duì)所述表面圖像中各個(gè)像素對(duì)應(yīng)的射線的對(duì)應(yīng)的采樣點(diǎn)進(jìn)行預(yù)測(cè)，得到各個(gè)圖像中各個(gè)射線對(duì)應(yīng)的采樣點(diǎn)；

32、建模單元，用于采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建。

33、本申請(qǐng)第三方面提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備實(shí)現(xiàn)上述第一方面或第一方面任一實(shí)現(xiàn)方式的目標(biāo)物體表面重建方法。

34、本申請(qǐng)第四方面提供一種電子設(shè)備，包括至少一個(gè)處理器和與所述處理器連接的存儲(chǔ)器，其中：

35、所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；

36、所述處理器用于執(zhí)行所述計(jì)算機(jī)程序，以使所述電子設(shè)備能夠?qū)崿F(xiàn)上述第一方面或第一方面任一實(shí)現(xiàn)方式的目標(biāo)物體表面重建方法。

37、本申請(qǐng)第五方面提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)承載有一個(gè)或多個(gè)計(jì)算機(jī)程序，當(dāng)所述一個(gè)或多個(gè)計(jì)算機(jī)程序被電子設(shè)備執(zhí)行時(shí)，能夠使所述電子設(shè)備上述第一方面或第一方面任一實(shí)現(xiàn)方式的目標(biāo)物體表面重建方法。

38、借由上述技術(shù)方案，本申請(qǐng)?zhí)峁┑纳鲜龇桨福捎貌杉_(tái)上的相機(jī)組對(duì)目標(biāo)物體進(jìn)行圖像采集得到的表面圖像，基于各個(gè)相機(jī)的拍攝角度和拍攝間隔計(jì)算得到各個(gè)相機(jī)的相機(jī)姿態(tài)，基于所述相機(jī)姿態(tài)，將所述表面圖像中?的各個(gè)像素在相機(jī)坐標(biāo)系中的位置映射到世界坐標(biāo)系中，再采用采樣點(diǎn)預(yù)測(cè)模型輸出所述表面圖像中各個(gè)像素對(duì)應(yīng)的射線的對(duì)應(yīng)的采樣點(diǎn)，最后采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建，該建模過程中，無(wú)需計(jì)算相機(jī)姿態(tài)，可直接查表得到相機(jī)的相機(jī)姿態(tài)，且可以采樣點(diǎn)預(yù)測(cè)模型直接輸出各個(gè)表面圖像中各個(gè)像素對(duì)應(yīng)的采樣點(diǎn)，整體建模過程耗時(shí)較短，提高了建模效率。

技術(shù)特征：

1.一種目標(biāo)物體表面重建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的目標(biāo)物體表面重建方法，其特征在于，基于預(yù)設(shè)映射表以及各個(gè)相機(jī)的拍攝角度和拍攝間隔獲取與所述表面圖像對(duì)應(yīng)的各個(gè)相機(jī)的相機(jī)姿態(tài)，包括：

3.根據(jù)權(quán)利要求1所述的目標(biāo)物體表面重建方法，其特征在于，采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建，包括：

4.根據(jù)權(quán)利要求1所述的目標(biāo)物體表面重建方法，其特征在于，所述采樣點(diǎn)預(yù)測(cè)模型的訓(xùn)練過程包括：

5.根據(jù)權(quán)利要求4所述的目標(biāo)物體表面重建方法，其特征在于，所述采樣點(diǎn)預(yù)測(cè)模型具體用于：

6.根據(jù)權(quán)利要求3所述的目標(biāo)物體表面重建方法，其特征在于，將所述采樣點(diǎn)的坐標(biāo)和方向由低維向量空間映射到高維向量空間，包括：

7.一種目標(biāo)物體表面重建裝置，其特征在于，包括：

8.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)可讀指令，當(dāng)所述計(jì)算機(jī)可讀指令在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備實(shí)現(xiàn)如權(quán)利要求1至6中任意一項(xiàng)所述的目標(biāo)物體表面重建方法。

9.一種電子設(shè)備，其特征在于，包括至少一個(gè)處理器和與所述處理器連接的存儲(chǔ)器，其中：

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)承載有一個(gè)或多個(gè)計(jì)算機(jī)程序，當(dāng)所述一個(gè)或多個(gè)計(jì)算機(jī)程序被電子設(shè)備執(zhí)行時(shí)，能夠使所述電子設(shè)備實(shí)現(xiàn)如權(quán)利要求1至6中任意一項(xiàng)所述的目標(biāo)物體表面重建方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種目標(biāo)物體表面重建方法及相關(guān)裝置，涉及圖像處理領(lǐng)域，包括：采用采集臺(tái)上的相機(jī)組對(duì)目標(biāo)物體進(jìn)行圖像采集得到的表面圖像，基于各個(gè)相機(jī)的拍攝角度和拍攝間隔計(jì)算得到各個(gè)相機(jī)的相機(jī)姿態(tài)，基于所述相機(jī)姿態(tài)，將所述表面圖像中的各個(gè)像素在相機(jī)坐標(biāo)系中的位置映射到世界坐標(biāo)系中，再采用采樣點(diǎn)預(yù)測(cè)模型輸出所述表面圖像中各個(gè)像素對(duì)應(yīng)的射線的對(duì)應(yīng)的采樣點(diǎn)，最后采用三維重建模型基于所述采樣點(diǎn)的在世界坐標(biāo)系中的坐標(biāo)和方向進(jìn)行三維重建，該建模過程中，無(wú)需計(jì)算相機(jī)姿態(tài)，可直接查表得到相機(jī)的相機(jī)姿態(tài)，且可以采樣點(diǎn)預(yù)測(cè)模型直接輸出各個(gè)表面圖像中各個(gè)像素對(duì)應(yīng)的采樣點(diǎn)，整體建模過程耗時(shí)較短，提高了建模效率。

技術(shù)研發(fā)人員：黃泱柯,張斌,王書浩,何建
受保護(hù)的技術(shù)使用者：湖南芒果數(shù)智藝術(shù)科技有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26