本發(fā)明涉及計算機視覺和圖形學(xué)，具體涉及基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法、裝置。

背景技術(shù)：

1、三維卡通人臉重建技術(shù)是一項結(jié)合計算機視覺、圖形學(xué)和機器學(xué)習(xí)的前沿技術(shù)，旨在將二維卡通圖像或視頻轉(zhuǎn)換為逼真的三維卡通人臉模型。這一技術(shù)的發(fā)展源于對卡通藝術(shù)的需求和對虛擬世界的追求，涉及多個學(xué)科領(lǐng)域的交叉和創(chuàng)新?？ㄍㄗ髌纷鳛橐环N具有簡化風(fēng)格和抽象特征的藝術(shù)形式，一直受到廣泛歡迎，廣泛應(yīng)用于動畫、游戲、虛擬現(xiàn)實等領(lǐng)域，深受各年齡層觀眾的喜愛。然而，即使對于一名熟練的藝術(shù)家來說，創(chuàng)建高質(zhì)量的3d卡通人臉模型也是一項耗時費力的任務(wù)。因此，從最少的輸入(例如一幅圖像)生成富有表現(xiàn)力的3d卡通人臉是一項要求很高但也很具有挑戰(zhàn)性的任務(wù)。

2、當(dāng)前，在計算機圖形學(xué)的支持下，三維卡通人臉重建技術(shù)逐漸成為可能。現(xiàn)有的人臉重建方法在重建卡通人臉方面表現(xiàn)不佳，因為傳統(tǒng)的正常人臉的3d可變形模型(3dmm)在模擬卡通人物中復(fù)雜的面部變形時的表現(xiàn)力非常有限，難以捕捉比正常人臉更多樣化和更復(fù)雜的3d卡通細(xì)節(jié)。雖然基于隱式函數(shù)的方法對任意拓?fù)涞奈矬w建模具有很好的恢復(fù)能力，但在用于重建通常包含許多極端扭曲的3d卡通人臉時，容易出現(xiàn)偽影和自交，并且難以形成統(tǒng)一的拓?fù)浣Y(jié)構(gòu)方便后續(xù)下游應(yīng)用。而使用參數(shù)化網(wǎng)格模型的方法可以確保生成合理的3d人臉，但它們很難生成具有精確幾何形狀的卡通人臉。

3、有鑒于此，提出本申請。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法、裝置，能至少部分的改善上述問題。

2、為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其包括：

4、獲取單目攝像頭拍攝的用戶正面圖像，并使用預(yù)訓(xùn)練好的風(fēng)格遷移網(wǎng)絡(luò)模型stylegan對所述用戶正面圖像進(jìn)行轉(zhuǎn)換處理，得到卡通風(fēng)格的人物面部圖像；

5、對所述卡通風(fēng)格的人物面部圖像和預(yù)設(shè)的三維可形變模型進(jìn)行擬合處理，生成粗糙的卡通三維人臉幾何形狀，并將所述粗糙的卡通三維人臉幾何形狀作為初始的重建結(jié)果；

6、采用基于像素對齊函數(shù)的三維隱式表示方式對所述卡通風(fēng)格的人物面部圖像進(jìn)行重建處理，從所述卡通風(fēng)格的人物面部圖像中重建潛在的3d卡通人臉形狀，隱式生成卡通人臉初始網(wǎng)格結(jié)構(gòu)；

7、基于預(yù)定義的標(biāo)準(zhǔn)拓?fù)浣Y(jié)構(gòu)模板，使用補全算法將所述卡通人臉初始網(wǎng)格結(jié)構(gòu)的拓樸結(jié)構(gòu)補全，得到配準(zhǔn)后的隱式卡通人臉網(wǎng)格；

8、使用協(xié)同迭代圖卷積神經(jīng)網(wǎng)絡(luò)模型cigcn對所述配準(zhǔn)后的隱式卡通人臉網(wǎng)格的局部和全局的幾何信息進(jìn)行結(jié)合處理，得到三維特征錨點；

9、根據(jù)所述三維特征錨點對所述粗糙的卡通三維人臉幾何形狀進(jìn)行細(xì)節(jié)的擬合優(yōu)化處理，得到高質(zhì)量重建結(jié)果。

10、本發(fā)明還提供了一種基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建裝置，其包括：

11、輸入數(shù)據(jù)獲取單元，用于獲取單目攝像頭拍攝的用戶正面圖像，并使用預(yù)訓(xùn)練好的風(fēng)格遷移網(wǎng)絡(luò)模型stylegan對所述用戶正面圖像進(jìn)行轉(zhuǎn)換處理，得到卡通風(fēng)格的人物面部圖像；

12、三維可形變卡通人臉統(tǒng)計模型擬合單元，用于對所述卡通風(fēng)格的人物面部圖像和預(yù)設(shè)的三維可形變模型進(jìn)行擬合處理，生成粗糙的卡通三維人臉幾何形狀，并將所述粗糙的卡通三維人臉幾何形狀作為初始的重建結(jié)果；

13、基于像素對齊隱函數(shù)的三維表示方式建立單元，用于采用基于像素對齊函數(shù)的三維隱式表示方式對所述卡通風(fēng)格的人物面部圖像進(jìn)行重建處理，從所述卡通風(fēng)格的人物面部圖像中重建潛在的3d卡通人臉形狀，隱式生成卡通人臉初始網(wǎng)格結(jié)構(gòu)；

14、基于模板拓?fù)涞膸缀谓Y(jié)構(gòu)補全單元，用于基于預(yù)定義的標(biāo)準(zhǔn)拓?fù)浣Y(jié)構(gòu)模板，使用補全算法將所述卡通人臉初始網(wǎng)格結(jié)構(gòu)的拓樸結(jié)構(gòu)補全，得到配準(zhǔn)后的隱式卡通人臉網(wǎng)格；

15、基于迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維特征錨點獲取單元，用于使用協(xié)同迭代圖卷積神經(jīng)網(wǎng)絡(luò)模型cigcn對所述配準(zhǔn)后的隱式卡通人臉網(wǎng)格的局部和全局的幾何信息進(jìn)行結(jié)合處理，得到三維特征錨點；

16、基于特征錨點的幾何結(jié)構(gòu)細(xì)化單元，用于根據(jù)所述三維特征錨點對所述粗糙的卡通三維人臉幾何形狀進(jìn)行細(xì)節(jié)的擬合優(yōu)化處理，得到高質(zhì)量重建結(jié)果。

17、綜上，所述基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法包括：使用人臉檢測網(wǎng)絡(luò)獲取人臉圖像；使用預(yù)訓(xùn)練的風(fēng)格遷移網(wǎng)絡(luò)將人臉圖像卡通化；通過擬合優(yōu)化三維可形變?nèi)四樈y(tǒng)計模型，得到粗糙的三維卡通人臉幾何形狀；為了更好地捕捉卡通人臉更高精度的細(xì)節(jié)，本發(fā)明提出了一種創(chuàng)新的基于像素對齊隱函數(shù)的三維表示方式，將隱函數(shù)與圖像的像素信息直接關(guān)聯(lián)起來，確保了重建過程中對細(xì)節(jié)的捕捉與恢復(fù)，同時提升了模型的準(zhǔn)確性和魯棒性；然后，由于隱式方式難以生成統(tǒng)一的拓?fù)浣Y(jié)構(gòu)，本發(fā)明通過補全算法將拓?fù)浣Y(jié)構(gòu)補全；本方法提出一種新的迭代協(xié)同圖卷積特征點提取方法，通過圖卷積網(wǎng)絡(luò)能協(xié)同，有效地結(jié)合局部和全局的幾何信息，使得到對補全后的幾何結(jié)構(gòu)進(jìn)行關(guān)鍵點特征的提取，最后將粗糙的三維人臉幾何形狀與得到的特征關(guān)鍵點進(jìn)行優(yōu)化對齊，實現(xiàn)幾何結(jié)構(gòu)的進(jìn)一步細(xì)化。該方法可用于三維卡通人臉建模和虛擬現(xiàn)實等多個領(lǐng)域，為相關(guān)技術(shù)的發(fā)展提供了一種創(chuàng)新的解決方案。

18、簡單來說，所述基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法結(jié)合了圖卷積網(wǎng)絡(luò)在處理圖結(jié)構(gòu)數(shù)據(jù)方面的優(yōu)勢，通過隱式迭代和協(xié)同優(yōu)化機制，實現(xiàn)從二維卡通人臉圖像到三維模型的高效轉(zhuǎn)換。該方法涵蓋了圖像風(fēng)格化、模型擬合、隱式生成和細(xì)節(jié)增強等關(guān)鍵步驟和技術(shù)。通過該方法能夠?qū)崿F(xiàn)高質(zhì)量的從真實人臉圖片到三維卡通人臉重建。該方法的創(chuàng)新之處在于高質(zhì)量的具有人臉特征的三維特征點檢測和細(xì)節(jié)增強，并且具備高效實時性能。本方法適用于動畫制作、游戲設(shè)計、虛擬現(xiàn)實等領(lǐng)域，特別是需要進(jìn)行二維到三維轉(zhuǎn)換的場景，如卡通角色建模、虛擬形象生成等，并且克服了傳統(tǒng)方法的不足，具有重要的應(yīng)用前景和商業(yè)價值。

技術(shù)特征：

1.一種基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，獲取單目攝像頭拍攝的用戶正面圖像，并使用預(yù)訓(xùn)練好的風(fēng)格遷移網(wǎng)絡(luò)模型stylegan對所述用戶正面圖像進(jìn)行轉(zhuǎn)換處理，得到卡通風(fēng)格的人物面部圖像，具體為：

3.根據(jù)權(quán)利要求2所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，對所述卡通風(fēng)格的人物面部圖像和預(yù)設(shè)的三維可形變模型進(jìn)行擬合處理，生成粗糙的卡通三維人臉幾何形狀，并將所述粗糙的卡通三維人臉幾何形狀作為初始的重建結(jié)果，具體為：

4.根據(jù)權(quán)利要求3所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，采用基于像素對齊函數(shù)的三維隱式表示方式對所述卡通風(fēng)格的人物面部圖像進(jìn)行重建處理，從所述卡通風(fēng)格的人物面部圖像中重建潛在的3d卡通人臉形狀，隱式生成卡通人臉初始網(wǎng)格結(jié)構(gòu)，具體為：

5.根據(jù)權(quán)利要求4所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，基于預(yù)定義的標(biāo)準(zhǔn)拓?fù)浣Y(jié)構(gòu)模板，使用補全算法將所述卡通人臉初始網(wǎng)格結(jié)構(gòu)的拓樸結(jié)構(gòu)補全，得到配準(zhǔn)后的隱式卡通人臉網(wǎng)格，具體為：

6.根據(jù)權(quán)利要求5所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，使用協(xié)同迭代圖卷積神經(jīng)網(wǎng)絡(luò)模型cigcn對所述配準(zhǔn)后的隱式卡通人臉網(wǎng)格的局部和全局的幾何信息進(jìn)行結(jié)合處理，得到三維特征錨點，具體為：

7.根據(jù)權(quán)利要求6所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，根據(jù)從2d人臉圖形中提取到的特征ff、fl和fr與從3d網(wǎng)格中提取到圖卷積局部特征進(jìn)行相互強化迭代處理，并在每次迭代后更新3d網(wǎng)格頂點的幾何坐標(biāo)，使用圖注意力網(wǎng)絡(luò)模型gat通過自注意力機制計算網(wǎng)格頂點特征之間的權(quán)重，以使得每個頂點根據(jù)其鄰接節(jié)點的重要性進(jìn)行更新，具體為：

8.根據(jù)權(quán)利要求7所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，還包括：

9.根據(jù)權(quán)利要求8所述的基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法，其特征在于，根據(jù)所述三維特征錨點對所述粗糙的卡通三維人臉幾何形狀進(jìn)行細(xì)節(jié)的擬合優(yōu)化處理，得到高質(zhì)量重建結(jié)果，具體為：

10.一種基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了基于隱式迭代協(xié)同圖卷積網(wǎng)絡(luò)的三維卡通人臉重建方法、裝置，該方法通過補全算法將拓?fù)浣Y(jié)構(gòu)補全；本發(fā)明提出一種新的迭代協(xié)同圖卷積特征點提取方法，通過圖卷積網(wǎng)絡(luò)能協(xié)同，有效地結(jié)合局部和全局的幾何信息，使得到對補全后的幾何結(jié)構(gòu)進(jìn)行關(guān)鍵點特征的提取，最后將粗糙的三維人臉幾何形狀與得到的特征關(guān)鍵點進(jìn)行優(yōu)化對齊，實現(xiàn)幾何結(jié)構(gòu)的進(jìn)一步細(xì)化。該方法可用于三維卡通人臉建模和虛擬現(xiàn)實等多個領(lǐng)域，為相關(guān)技術(shù)的發(fā)展提供了一種創(chuàng)新的解決方案。

技術(shù)研發(fā)人員：柳欣,丁強,黎啟源,彭淑娟,徐素文,黃忠湖
受保護(hù)的技術(shù)使用者：廈門圖感科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2