本技術(shù)涉及計算機，尤其涉及一種三維虛擬角色生成方法、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、在虛擬現(xiàn)實、增強現(xiàn)實、教育、藝術(shù)創(chuàng)作、游戲、電影和人機交互等領(lǐng)域，可以基于文本和/或圖像創(chuàng)建三維虛擬角色。

2、在相關(guān)技術(shù)中，可以通過如下方式創(chuàng)建三維虛擬角色的三維模型：三維生成對抗網(wǎng)絡(luò)(3d?gan)、變分自動編碼器(vae)以及生成式對抗網(wǎng)絡(luò)(gan)結(jié)合姿勢估計算法等方式。其中，人物虛擬角色的頭像部位，相比于身體其他部位，在創(chuàng)建過程中需要更為精細的立體結(jié)構(gòu)數(shù)據(jù)和面部紋理數(shù)據(jù)。

3、由于相關(guān)數(shù)據(jù)量有限，且難以確?，F(xiàn)有技術(shù)中所使用的神經(jīng)網(wǎng)絡(luò)模型的泛化能力，因此，當前的人物虛擬形象的頭像生成技術(shù)中，存在生成的人物頭像結(jié)果過于平滑，難以恢復(fù)紋理的高頻細節(jié)，生成結(jié)果不夠真實的問題。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供一種三維虛擬角色生成方法、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品，用以達到快速基于文本和/或圖像提示生成高質(zhì)量的虛擬角色人物頭像的效果。

2、第一方面，本技術(shù)實施例提供一種三維虛擬角色生成方法，包括：

3、獲取三維虛擬角色的生成條件，生成條件包括文本描述信息和/或圖像描述信息；

4、對生成條件進行編碼處理，得到對應(yīng)的生成條件特征；生成條件特征包括第一人臉結(jié)構(gòu)特征、第一人臉紋理特征和人臉遮擋特征；

5、使用三維角色生成模型對生成條件特征進行處理，得到第二人臉紋理特征和第二人臉結(jié)構(gòu)特征；其中，三維角色生成模型為基于多個人臉圖像組、以及每組人臉圖像的圖像信息訓(xùn)練得到，人臉圖像組包括同一人臉在不同光照和不同姿態(tài)下的圖像，圖像信息包括面部屬性描述和身份標識；

6、將第二人臉紋理特征和第二人臉結(jié)構(gòu)特征輸入三維渲染引擎，得到三維渲染引擎的輸出的目標三維虛擬角色。

7、在一種可能的實施方式中，使用三維角色生成模型對生成條件特征進行處理，得到第二人臉紋理特征和第二人臉結(jié)構(gòu)特征，包括：

8、對第一人臉紋理特征和/或人臉遮擋特征進行紋理重建處理，得到生成條件對應(yīng)的第二人臉紋理特征；其中，第一人臉紋理特征為文本描述信息中的紋理文本經(jīng)過文本編碼器處理得到；人臉遮擋特征為圖像描述信息經(jīng)過展開處理得到；

9、對第一人臉結(jié)構(gòu)特征進行幾何重建處理，得到生成條件對應(yīng)的第二人臉結(jié)構(gòu)特征；其中第一人臉結(jié)構(gòu)特征為文本描述中的幾何文本經(jīng)過文本編碼器處理得到；或，當生成條件中只包括圖像描述信息，使用預(yù)訓(xùn)練的人臉重建模型預(yù)估得到第二人臉結(jié)構(gòu)特征。

10、在一種可能的實施方式中，對第一人臉紋理特征和/或人臉遮擋特征進行紋理重建處理，得到生成條件對應(yīng)的第二人臉紋理特征，包括：

11、使用紋理擴散模型對第一人臉紋理特征和/或人臉遮擋特征進行處理，得到生成條件對應(yīng)的第三人臉紋理特征；其中，紋理擴散模型為基于多個人臉圖像組、以及每組人臉圖像的圖像信息訓(xùn)練得到，人臉圖像組包括同一人臉在不同光照和不同姿態(tài)下的圖像，圖像信息包括面部屬性描述和身份標識；

12、使用預(yù)訓(xùn)練的超分辨率網(wǎng)絡(luò)對第三人臉紋理特征的分辨率進行調(diào)整，得到滿足目標分辨率的紋理作為第二人臉紋理特征。

13、在一種可能的實施方式中，使用紋理擴散模型對第一人臉紋理特征和/或人臉遮擋特征進行處理，得到生成條件對應(yīng)的第三人臉紋理特征，包括：

14、使用預(yù)訓(xùn)練的編碼器對人臉遮擋特征進行編碼，得到人臉遮擋特征對應(yīng)的殘缺潛變量；

15、將第一人臉紋理特征通過交叉注意力的方式添加至紋理擴散模型，作為紋理擴散模型的第一引導(dǎo)條件；

16、將給定的第一高斯噪聲作為噪聲潛變量，與殘缺潛變量相拼接，輸入紋理擴散模型，以使紋理擴散模型基于第一引導(dǎo)條件和殘缺潛變量，對噪聲潛變量進行預(yù)測去噪，輸出第一引導(dǎo)條件對應(yīng)的紋理潛變量；

17、使用預(yù)訓(xùn)練的解碼器對紋理潛變量進行解碼，得到生成條件對應(yīng)的第三人臉紋理特征。

18、在一種可能的實施方式中，對第一人臉結(jié)構(gòu)特征進行幾何重建處理，得到生成條件對應(yīng)的第二人臉結(jié)構(gòu)特征，包括：

19、將第一人臉結(jié)構(gòu)特征通過交叉注意力的方式添加至幾何擴散模型，作為幾何擴散模型的第二引導(dǎo)條件；其中，幾何擴散模型為基于多個人臉圖像組、以及每組人臉圖像的圖像信息訓(xùn)練得到，人臉圖像組包括同一人臉在不同光照和不同姿態(tài)下的圖像，圖像信息包括面部屬性描述和身份標識；

20、將給定的第二高斯噪聲輸入幾何擴散模型，以使幾何擴散模型基于第二引導(dǎo)條件，對第二高斯噪聲進行預(yù)測去噪，得到第一人臉結(jié)構(gòu)特征對應(yīng)的身份系數(shù)；

21、將身份系數(shù)進行基底線性加權(quán)處理，得到生成條件對應(yīng)的第二人臉結(jié)構(gòu)特征。

22、在一種可能的實施方式中，多個人臉圖像組、以及每組人臉圖像的圖像信息的構(gòu)建方法包括：

23、獲取多個人臉圖像；

24、對于每一個人臉圖像，進行去光處理和重打光處理，得到去光照的多視圖人臉圖像和重打光人臉圖像；

25、基于去光照的多視圖人臉圖像和重打光人臉圖像，得到人臉圖像對應(yīng)的在不同光照和不同姿態(tài)下的圖像、以及反照率紋理uv貼圖，并將在不同光照和不同姿態(tài)下的圖像、以及反照率紋理uv貼圖與人臉圖像建立對應(yīng)關(guān)系，得到人臉圖像組；

26、在去光照的多視圖人臉圖像中選取正面視圖人臉圖像，對正面視圖人臉圖像進行身份系數(shù)估計與面部屬性描述處理，得到人臉圖像對應(yīng)的面部屬性描述和人臉圖像對應(yīng)的身份標識，作為人臉圖像的圖像信息；

27、對于每一個人臉圖像，將人臉圖像組與圖像信息建立對應(yīng)關(guān)系，得到多個人臉圖像組、以及每組人臉圖像的圖像信息。

28、第二方面，本技術(shù)實施例提供一種三維虛擬角色生成裝置，包括：

29、獲取模塊，用于獲取三維虛擬角色的生成條件，生成條件包括文本描述信息和/或圖像描述信息；

30、編碼模塊，用于對生成條件進行編碼處理，得到對應(yīng)的生成條件特征；生成條件特征包括第一人臉結(jié)構(gòu)特征、第一人臉紋理特征和人臉遮擋特征；

31、條件處理模塊，用于使用三維角色生成模型對生成條件特征進行處理，得到第二人臉紋理特征和第二人臉結(jié)構(gòu)特征；其中，三維角色生成模型為基于多個人臉圖像組、以及每組人臉圖像的圖像信息訓(xùn)練得到，人臉圖像組包括同一人臉在不同光照和不同姿態(tài)下的圖像，圖像信息包括面部屬性描述和身份標識；

32、生成模塊，用于將第二人臉紋理特征和第二人臉結(jié)構(gòu)特征輸入三維渲染引擎，得到三維渲染引擎的輸出的目標三維虛擬角色。

33、第三方面，本技術(shù)實施例提供一種電子設(shè)備，包括：存儲器，處理器；

34、所述存儲器存儲計算機執(zhí)行指令；

35、所述處理器執(zhí)行所述存儲器存儲的計算機執(zhí)行指令，使得所述處理器執(zhí)行如上第一方面和/或第一方面各種可能的實施方式。

36、第四方面，本技術(shù)實施例提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，所述計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。

37、第五方面，本技術(shù)實施例提供一種計算機程序產(chǎn)品，包括計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。

38、本技術(shù)實施例提供的三維虛擬角色生成方法、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品，通過獲取三維虛擬角色的生成條件，對生成條件進行編碼以及提取人臉結(jié)構(gòu)特征、人臉結(jié)構(gòu)特征，并使用經(jīng)過紋理數(shù)據(jù)集訓(xùn)練的維角色生成模型處理，以及經(jīng)過三維渲染引擎的渲染，得到生成條件對應(yīng)的三維虛擬角色的手段，達到快速基于文本和/或圖像提示生成高質(zhì)量的虛擬角色人物頭像的效果。