本技術(shù)涉及三維點(diǎn)云重建，尤其涉及一種基于多模態(tài)嵌入的三維高斯點(diǎn)云網(wǎng)格構(gòu)建方法及系統(tǒng)。

背景技術(shù)：

1、在計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域，3d高斯點(diǎn)云作為一種高效的三維數(shù)據(jù)表示方法，其具有快速的訓(xùn)練速度和能夠生成高質(zhì)量的渲染效果，具體通過引入高斯分布參數(shù)，能夠精確描述點(diǎn)的位置和密度信息，廣泛應(yīng)用于場景重建、物體識(shí)別和虛擬現(xiàn)實(shí)等場景。而網(wǎng)格則是下游領(lǐng)域的常用三維表示形式，它提供了物體的拓?fù)浣Y(jié)構(gòu)和表面細(xì)節(jié)，支持復(fù)雜的幾何操作和渲染任務(wù)，在游戲開發(fā)、影視特效和工業(yè)設(shè)計(jì)等領(lǐng)域發(fā)揮著關(guān)鍵作用。

2、然而，需要說明的是，3d高斯點(diǎn)云數(shù)據(jù)本質(zhì)上是無序的，缺少清晰的結(jié)構(gòu)信息，難以直接從點(diǎn)云生成高質(zhì)量網(wǎng)格。此外，高斯點(diǎn)云密度分布的不均勻，大大增加了網(wǎng)格生成的難度。而相關(guān)技術(shù)中的點(diǎn)云生成網(wǎng)格算法通常依賴于密度函數(shù)的等值面采樣，這種方法生成的網(wǎng)格往往過于密集和平滑，從而丟失了原始高斯點(diǎn)云中的重要全局信息和精細(xì)細(xì)節(jié)，且只利用點(diǎn)云這一種模態(tài)，未能有效捕獲和學(xué)習(xí)網(wǎng)格各面片的信息，導(dǎo)致生成的網(wǎng)格在緊湊性和細(xì)節(jié)表現(xiàn)上存在不足，使得生成的網(wǎng)格視覺效果下降。

3、綜上，相關(guān)技術(shù)中存在的技術(shù)問題有待得到改善。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的主要目的在于提出一種基于多模態(tài)嵌入的三維高斯點(diǎn)云網(wǎng)格構(gòu)建方法及系統(tǒng)，能夠全面捕捉點(diǎn)云的全局結(jié)構(gòu)和局部細(xì)節(jié)特征，提高自回歸采樣生成網(wǎng)格時(shí)的緊湊性，進(jìn)而提高生成的圖像或數(shù)據(jù)質(zhì)量。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的一方面提出了一種基于多模態(tài)嵌入的三維高斯點(diǎn)云網(wǎng)格構(gòu)建方法，所述方法包括：

3、獲取三維高斯點(diǎn)云數(shù)據(jù)并進(jìn)行稀疏采樣與自適應(yīng)采樣處理，得到點(diǎn)云嵌入向量；

4、引入注意力機(jī)制，對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行泊松重建，得到網(wǎng)格嵌入向量；

5、基于所述點(diǎn)云嵌入向量與所述網(wǎng)格嵌入向量，進(jìn)行transformer網(wǎng)絡(luò)訓(xùn)練與自回歸采樣，生成三維高斯點(diǎn)云網(wǎng)格。

6、在一些實(shí)施例中，所述獲取三維高斯點(diǎn)云數(shù)據(jù)并進(jìn)行稀疏采樣與自適應(yīng)采樣處理，得到點(diǎn)云嵌入向量，包括：

7、獲取所述三維高斯點(diǎn)云數(shù)據(jù)；

8、通過體素網(wǎng)格下采樣算法對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行稀疏采樣，得到稀疏采樣點(diǎn)云數(shù)據(jù)；

9、通過自適應(yīng)采樣算法對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行自適應(yīng)采樣，得到自適應(yīng)采樣點(diǎn)云數(shù)據(jù)；

10、基于多層感知機(jī)模塊，對(duì)所述稀疏采樣點(diǎn)云數(shù)據(jù)與所述自適應(yīng)采樣點(diǎn)云數(shù)據(jù)進(jìn)行向量嵌入，得到所述點(diǎn)云嵌入向量。

11、在一些實(shí)施例中，所述通過體素網(wǎng)格下采樣算法對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行稀疏采樣，得到稀疏采樣點(diǎn)云數(shù)據(jù)，包括：

12、根據(jù)所述三維高斯點(diǎn)云數(shù)據(jù)的分布情況確定體素邊長；

13、根據(jù)所述體素邊長將三維空間劃分為體素網(wǎng)格并對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行映射，獲取三維高斯點(diǎn)云坐標(biāo)數(shù)據(jù)；

14、根據(jù)所述三維高斯點(diǎn)云坐標(biāo)數(shù)據(jù)構(gòu)建體素列表；

15、對(duì)所述體素列表進(jìn)行中心點(diǎn)計(jì)算與選擇組合處理，得到所述稀疏采樣點(diǎn)云數(shù)據(jù)。

16、在一些實(shí)施例中，所述通過自適應(yīng)采樣算法對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行自適應(yīng)采樣，得到自適應(yīng)采樣點(diǎn)云數(shù)據(jù)，包括：

17、通過k鄰近算法獲取所述三維高斯點(diǎn)云數(shù)據(jù)的局部密度數(shù)據(jù)并設(shè)定預(yù)設(shè)采樣密度閾值；

18、根據(jù)所述局部密度數(shù)據(jù)確定采樣率并結(jié)合所述預(yù)設(shè)采樣密度閾值對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行自適應(yīng)采樣，得到自適應(yīng)采樣點(diǎn)云數(shù)據(jù)。

19、在一些實(shí)施例中，所述基于多層感知機(jī)模塊，對(duì)所述稀疏采樣點(diǎn)云數(shù)據(jù)與所述自適應(yīng)采樣點(diǎn)云數(shù)據(jù)進(jìn)行向量嵌入，得到所述點(diǎn)云嵌入向量，包括：

20、通過點(diǎn)云編碼器分別對(duì)所述稀疏采樣點(diǎn)云數(shù)據(jù)與所述自適應(yīng)采樣點(diǎn)云數(shù)據(jù)進(jìn)行編碼處理，得到稀疏采樣點(diǎn)云嵌入向量與自適應(yīng)采樣點(diǎn)云嵌入向量；

21、將所述稀疏采樣點(diǎn)云嵌入向量與所述自適應(yīng)采樣點(diǎn)云嵌入向量進(jìn)行拼接，得到拼接后的點(diǎn)云嵌入向量；

22、基于所述多層感知機(jī)模塊，對(duì)所述拼接后的點(diǎn)云嵌入向量進(jìn)行特征提取與應(yīng)用嵌入，得到所述點(diǎn)云嵌入向量。

23、在一些實(shí)施例中，所述引入注意力機(jī)制，對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行泊松重建，得到網(wǎng)格嵌入向量，包括：

24、對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行泊松重建，得到泊松重建后的網(wǎng)格；

25、將所述泊松重建后的網(wǎng)格依次進(jìn)行離散化與數(shù)據(jù)序列表示處理，得到三角面序列數(shù)據(jù)；

26、引入所述注意力機(jī)制，構(gòu)建改進(jìn)的三維生成模型meshgpt，所述改進(jìn)的三維生成模型meshgpt包括圖卷積編碼器、注意力機(jī)制與resnet解碼器；

27、將所述三角面序列數(shù)據(jù)輸入至所述改進(jìn)的三維生成模型meshgpt進(jìn)行重建，得到所述網(wǎng)格嵌入向量。

28、在一些實(shí)施例中，所述將所述三角面序列數(shù)據(jù)輸入至所述改進(jìn)的三維生成模型meshgpt進(jìn)行重建，得到所述網(wǎng)格嵌入向量，包括：

29、基于所述改進(jìn)的三維生成模型meshgpt的圖卷積編碼器，對(duì)所述三角面序列數(shù)據(jù)進(jìn)行特征提取處理，得到面的編碼特征向量；

30、基于所述改進(jìn)的三維生成模型meshgpt的注意力機(jī)制，根據(jù)所述三角面序列數(shù)據(jù)生成權(quán)重信息；

31、基于所述改進(jìn)的三維生成模型meshgpt的resnet解碼器，結(jié)合所述權(quán)重信息對(duì)所述面的編碼特征向量進(jìn)行解碼處理，得到所述網(wǎng)格嵌入向量。

32、在一些實(shí)施例中，所述基于所述點(diǎn)云嵌入向量與所述網(wǎng)格嵌入向量，進(jìn)行transformer網(wǎng)絡(luò)訓(xùn)練與自回歸采樣，生成三維高斯點(diǎn)云網(wǎng)格，包括：

33、將所述點(diǎn)云嵌入向量與所述網(wǎng)格嵌入向量進(jìn)行拼接，得到多模態(tài)嵌入拼接向量；

34、通過所述多模態(tài)嵌入拼接向量對(duì)所述transformer網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練后的transformer網(wǎng)絡(luò)；

35、對(duì)所述訓(xùn)練后的transformer網(wǎng)絡(luò)進(jìn)行自回歸采樣，生成所述三維高斯點(diǎn)云網(wǎng)格。

36、在一些實(shí)施例中，所述對(duì)所述訓(xùn)練后的transformer網(wǎng)絡(luò)進(jìn)行自回歸采樣，生成所述三維高斯點(diǎn)云網(wǎng)格，包括：

37、將所述點(diǎn)云嵌入向量輸入至所述訓(xùn)練后的transformer網(wǎng)絡(luò)，基于每個(gè)時(shí)間步，通過所述訓(xùn)練后的transformer網(wǎng)絡(luò)自回歸生成若干嵌入，得到嵌入序列數(shù)據(jù)；

38、通過解碼器對(duì)所述嵌入序列數(shù)據(jù)進(jìn)行解碼處理，得到所述三維高斯點(diǎn)云網(wǎng)格。

39、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例的另一方面提出了一種基于多模態(tài)嵌入的三維高斯點(diǎn)云網(wǎng)格構(gòu)建系統(tǒng)，所述系統(tǒng)包括：

40、第一模塊，用于獲取三維高斯點(diǎn)云數(shù)據(jù)并進(jìn)行稀疏采樣與自適應(yīng)采樣處理，得到點(diǎn)云嵌入向量；

41、第二模塊，用于引入注意力機(jī)制，對(duì)所述三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行泊松重建，得到網(wǎng)格嵌入向量；

42、第三模塊，用于基于所述點(diǎn)云嵌入向量與所述網(wǎng)格嵌入向量，進(jìn)行transformer網(wǎng)絡(luò)訓(xùn)練與自回歸采樣，生成三維高斯點(diǎn)云網(wǎng)格。

43、本技術(shù)實(shí)施例至少包括以下有益效果：本技術(shù)提供一種基于多模態(tài)嵌入的三維高斯點(diǎn)云網(wǎng)格構(gòu)建方法及系統(tǒng)，該方案通過獲取三維高斯點(diǎn)云數(shù)據(jù)并進(jìn)行稀疏采樣與自適應(yīng)采樣處理，得到點(diǎn)云嵌入向量，對(duì)3d高斯點(diǎn)云實(shí)施稀疏采樣與自適應(yīng)采樣策略，并將采樣結(jié)果編碼為點(diǎn)云嵌入向量，以全面捕捉點(diǎn)云的全局結(jié)構(gòu)和局部細(xì)節(jié)特征，進(jìn)一步引入注意力機(jī)制，對(duì)三維高斯點(diǎn)云數(shù)據(jù)進(jìn)行泊松重建，得到網(wǎng)格嵌入向量，對(duì)泊松重建提取的網(wǎng)格進(jìn)行嵌入學(xué)習(xí)，以獲取網(wǎng)格層面的結(jié)構(gòu)化信息，最后基于點(diǎn)云嵌入向量與網(wǎng)格嵌入向量，進(jìn)行transformer網(wǎng)絡(luò)訓(xùn)練與自回歸采樣，生成三維高斯點(diǎn)云網(wǎng)格，點(diǎn)云嵌入和泊松重建的網(wǎng)格嵌入來共同引導(dǎo)transformer網(wǎng)絡(luò)的訓(xùn)練，使模型充分利用不同模態(tài)間的互補(bǔ)信息，進(jìn)而提高自回歸采樣生成網(wǎng)格時(shí)的緊湊性和質(zhì)量，能夠捕捉到更多細(xì)節(jié)，提高生成的圖像或數(shù)據(jù)質(zhì)量，使得視覺效果更自然。