本發(fā)明屬于三維建模，具體涉及基于草圖與文本的彩色三維模型生成方法及系統(tǒng)。

背景技術(shù)：

1、在設(shè)計(jì)領(lǐng)域中，草圖中的筆畫輪廓能夠表示三維模型的外形、結(jié)構(gòu)等基礎(chǔ)特征，是三維建模的重要引導(dǎo)。而文本作為人類精煉提取的設(shè)計(jì)思想，也能夠?yàn)槿S模型提供基本的特征描述，能夠通過簡潔的信息指導(dǎo)三維模型的重建。

2、隨著深度學(xué)習(xí)的興起，基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)有條件的三維重建的研究逐漸成為一大熱點(diǎn)。但是，由于草圖的稀疏性和抽象性及文本的模糊性與粗略性，以深度學(xué)習(xí)的方法將草圖或文本轉(zhuǎn)換為正確的三維模型仍是一個(gè)挑戰(zhàn)。在現(xiàn)有技術(shù)中，基于神經(jīng)網(wǎng)絡(luò)從草圖或文本到三維重建仍然存在生成理解錯(cuò)誤等問題，此外，對(duì)三維形狀的語義結(jié)構(gòu)缺乏感知。

3、因此，如何將草圖與文本相互結(jié)合并引入三維重建的神經(jīng)網(wǎng)絡(luò)中，以提升三維模型的特征表達(dá)完整性與清晰度，是提高三維模型建模效果的關(guān)鍵，也是非常具有學(xué)術(shù)和工程價(jià)值的。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)通過提取草圖中的語義信息并融合文本特征來引導(dǎo)三維重建，在點(diǎn)云生成的同時(shí)計(jì)算顏色及部件分類信息的目的，本發(fā)明采用如下的技術(shù)方案：

2、基于草圖與文本的彩色三維模型生成方法，包括如下步驟：

3、步驟1：獲取手繪草圖；

4、步驟2：草圖分割與文本特征融合，按部件分割手繪草圖并提取特征，融合手繪草圖特征、草圖部件特征和提取的文本特征；

5、步驟3：構(gòu)建三維模型生成網(wǎng)絡(luò)，并在其采用的交叉注意力機(jī)制中引入步驟2得到的草圖與文本的融合特征，訓(xùn)練三維模型生成網(wǎng)絡(luò)以生成具有色彩與部件分類的三維模型。

6、進(jìn)一步地，所述步驟1中，檢測草圖中完整草圖筆畫區(qū)域四周邊界并截取，并進(jìn)行圖像規(guī)范化處理，縮放并補(bǔ)充四周空白區(qū)域至大小為224*224像素的圖片。

7、進(jìn)一步地，所述步驟2中，訓(xùn)練以resnet-50為網(wǎng)絡(luò)骨干的fcn(fullyconvolutional?networks，全卷積網(wǎng)絡(luò))模型對(duì)輸入草圖進(jìn)行語義分割，標(biāo)記草圖中不同部件部分。

8、進(jìn)一步地，所述步驟2中，草圖特征提取網(wǎng)絡(luò)采用預(yù)訓(xùn)練的visual?transformer模型，分別對(duì)完整草圖與草圖部件提取全局特征與多層局部特征，并通過特征拼接實(shí)現(xiàn)特征融合。

9、進(jìn)一步地，所述步驟2中，通過預(yù)訓(xùn)練bert模型，基于深度雙向上下文信息來提高自然語言處理任務(wù)性能來提取文本特征。

10、進(jìn)一步地，所述步驟2中，通過多頭注意力機(jī)制融合手繪草圖特征、草圖部件特征和文本特征。

11、進(jìn)一步地，所述步驟3中，構(gòu)建基于unet的聯(lián)合擴(kuò)散模型，同步訓(xùn)練生成點(diǎn)云形狀、顏色以及部件分類；在擴(kuò)散模型中，引入無分類器引導(dǎo)方法，同時(shí)訓(xùn)練一個(gè)無條件生成模型和條件生成模型，通過兩者線性組合來推理三維模型重建結(jié)果，以提高生成模型的質(zhì)量和多樣性；為使草圖和文本信息與三維模型在各個(gè)特征層都能夠進(jìn)行交互，從而使擴(kuò)散過程得到深層的特征引導(dǎo)，在unet結(jié)構(gòu)的每一層，采用基于投影的交叉注意力機(jī)制引入步驟2輸出的草圖與文本融合特征，使融合特征與相機(jī)視角下對(duì)應(yīng)的投影位置點(diǎn)云特征進(jìn)行交互。

12、進(jìn)一步的，所述步驟3中，構(gòu)建的擴(kuò)散模型的損失函數(shù)設(shè)置為：

13、

14、其中，表示期望函數(shù)，∈和t分別表示采樣噪聲和時(shí)間步，x0表示點(diǎn)云點(diǎn)，c0表示點(diǎn)云顏色，s0表示點(diǎn)云分類，xt,ct,st表示對(duì)應(yīng)的加噪后的向量，c表示草圖與文本融合特征條件，f表示unet網(wǎng)絡(luò)。

15、進(jìn)一步地，所述步驟3中，在采樣階段，從高斯噪聲出發(fā)，通過迭代訓(xùn)練逐步生成聯(lián)合特征的點(diǎn)云三維模型。

16、基于草圖與文本的彩色三維模型生成系統(tǒng)，包括草圖手繪輸入模塊、草圖分割與文本特征融合模塊和三維模型生成模塊；

17、所述草圖手繪輸入模塊，用于獲取手繪草圖；

18、所述草圖分割與文本特征融合模塊，按部件分割輸入草圖并提取特征，融合手繪草圖特征、草圖部件特征和提取的文本特征；

19、所述三維模型生成模塊，通過構(gòu)建三維模型生成網(wǎng)絡(luò)，并在其采用的交叉注意力機(jī)制中引入所述草圖分割與文本特征融合模塊得到的草圖與文本的融合特征，訓(xùn)練三維模型生成網(wǎng)絡(luò)以生成具有色彩與部件分類的三維模型。

20、本發(fā)明的優(yōu)勢和有益效果在于：

21、本發(fā)明的基于草圖與文本的彩色三維模型生成方法及系統(tǒng)，通過對(duì)草圖進(jìn)行語義分割，并與文本特征進(jìn)行融合，顯式提取草圖中的語義信息，同時(shí)結(jié)合文本輔助來引導(dǎo)三維重建的過程，從而減少草圖與文本帶來的模糊信息，來解決三維模型建模中因信息理解錯(cuò)誤導(dǎo)致的建模錯(cuò)誤的問題，從而實(shí)現(xiàn)手繪草圖的高精確度三維重建，且在彩色三維模型生成的同時(shí)實(shí)現(xiàn)模型的三維語義分割，為模型編輯等延伸任務(wù)提供支持。

技術(shù)特征：

1.基于草圖與文本的彩色三維模型生成方法，其特征在于包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟1中，檢測草圖中完整草圖筆畫區(qū)域邊界并截取，并進(jìn)行圖像規(guī)范化處理。

3.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟2中，訓(xùn)練以resnet為網(wǎng)絡(luò)骨干的fcn模型對(duì)輸入草圖進(jìn)行語義分割，標(biāo)記草圖中不同部件部分。

4.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟2中，草圖特征提取網(wǎng)絡(luò)采用預(yù)訓(xùn)練的visual?transformer模型，分別對(duì)完整草圖與草圖部件提取全局特征與多層局部特征，并通過特征拼接實(shí)現(xiàn)特征融合。

5.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟2中，通過預(yù)訓(xùn)練bert模型，基于深度雙向上下文信息來提取文本特征。

6.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟2中，通過多頭注意力機(jī)制融合手繪草圖特征、草圖部件特征和文本特征。

7.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟3中，構(gòu)建基于unet的聯(lián)合擴(kuò)散模型，同步訓(xùn)練生成點(diǎn)云形狀、顏色以及部件分類；在擴(kuò)散模型中，引入無分類器引導(dǎo)方法，同時(shí)訓(xùn)練一個(gè)無條件生成模型和條件生成模型，通過兩者線性組合來推理三維模型重建結(jié)果；在unet結(jié)構(gòu)的每一層，采用基于投影的交叉注意力機(jī)制引入步驟2輸出的草圖與文本融合特征，使融合特征與相機(jī)視角下對(duì)應(yīng)的投影位置點(diǎn)云特征進(jìn)行交互。

8.根據(jù)權(quán)利要求7所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟3中，擴(kuò)散模型的損失函數(shù)設(shè)置為：

9.根據(jù)權(quán)利要求1所述的基于草圖與文本的彩色三維模型生成方法，其特征在于：所述步驟3中，在采樣階段，從高斯噪聲出發(fā)，通過迭代訓(xùn)練逐步生成聯(lián)合特征的點(diǎn)云三維模型。

10.基于草圖與文本的彩色三維模型生成系統(tǒng)，包括草圖手繪輸入模塊、草圖分割與文本特征融合模塊和三維模型生成模塊，其特征在于：

技術(shù)總結(jié)
本發(fā)明公開了基于草圖與文本的彩色三維模型生成方法及系統(tǒng)，模型草圖、文本提示與三維模型間建立映射關(guān)系，通過獲取手繪草圖，進(jìn)行草圖分割與文本特征融合，按部件分割手繪草圖并提取特征，融合手繪草圖特征、草圖部件特征和提取的文本特征，得到草圖與文本的融合特征，構(gòu)建三維模型生成網(wǎng)絡(luò)并在其采用的交叉注意力機(jī)制中引入草圖與文本的融合特征，訓(xùn)練三維模型生成網(wǎng)絡(luò)以生成具有色彩與部件分類的三維模型，用于生成具有色彩與部件分類的三維形狀。從而解決了三維模型建模中，因信息理解錯(cuò)誤導(dǎo)致的建模錯(cuò)誤的問題，實(shí)現(xiàn)了手繪草圖的高精確度三維重建。

技術(shù)研發(fā)人員：張昱曉,王進(jìn),陸國棟
受保護(hù)的技術(shù)使用者：余姚市機(jī)器人研究中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2