本發(fā)明屬于面部圖像處理和增強(qiáng)相結(jié)合的，具體涉及一種基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)方法和裝置。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，語音驅(qū)動(dòng)面部生成(talking?face?generation,tfg)技術(shù)已成為人機(jī)交互領(lǐng)域的一個(gè)重要研究方向。tfg技術(shù)旨在通過分析音頻信號(hào)并結(jié)合面部特征，生成與語音同步的面部動(dòng)畫，廣泛應(yīng)用于虛擬助手、視頻會(huì)議、游戲和電影制作等場(chǎng)景。該技術(shù)通過模擬人的面部表情和口型變化，可以顯著提高計(jì)算機(jī)生成角色的真實(shí)感和親和力。

2、傳統(tǒng)的數(shù)字人制作方法首先需要進(jìn)行復(fù)雜的3d建模，然后通過動(dòng)作捕捉或關(guān)鍵幀動(dòng)畫來驅(qū)動(dòng)數(shù)字人的運(yùn)動(dòng)。這種方法不僅耗時(shí)長(zhǎng)、成本高，而且難以適應(yīng)快速變化的市場(chǎng)需求，特別是在需要大量個(gè)性化內(nèi)容的生產(chǎn)環(huán)境中。此外，傳統(tǒng)方法在處理口型同步和面部表情的自然性方面也存在局限，往往難以達(dá)到令人滿意的效果。

3、近年來，隨著生成對(duì)抗網(wǎng)絡(luò)(generative?adversarial?networks,gans)和自回歸模型等深度學(xué)習(xí)技術(shù)的發(fā)展，基于生成模型的tfg方法開始興起。這些方法能夠自動(dòng)從大量的面部視頻和對(duì)應(yīng)的音頻數(shù)據(jù)中學(xué)習(xí)面部運(yùn)動(dòng)的規(guī)律，進(jìn)而生成逼真的面部動(dòng)畫。然而，現(xiàn)有tfg方法在生成高質(zhì)量視覺內(nèi)容方面仍面臨挑戰(zhàn)，尤其是在牙齒區(qū)域的清晰度和細(xì)節(jié)表現(xiàn)上。

4、牙齒作為面部的重要組成部分，其清晰度對(duì)于提升面部生成的真實(shí)感至關(guān)重要。但在現(xiàn)有的tfg研究中，牙齒區(qū)域的生成效果往往不盡人意，存在模糊、失真或者與真實(shí)牙齒特征不符的問題。這主要是由于牙齒區(qū)域的高頻率細(xì)節(jié)信息在面部圖像中難以被捕獲，加之在面部運(yùn)動(dòng)過程中牙齒區(qū)域的動(dòng)態(tài)變化復(fù)雜，導(dǎo)致現(xiàn)有模型難以準(zhǔn)確預(yù)測(cè)和生成高質(zhì)量的牙齒細(xì)節(jié)。

5、此外，現(xiàn)有tfg方法在處理口型與語音同步方面也存在不足。面部動(dòng)畫的自然性和逼真性不僅取決于面部表情的準(zhǔn)確性，還依賴于口型與語音的精確匹配。但在實(shí)際應(yīng)用中，由于音頻信號(hào)的處理和面部特征的提取存在誤差，以及模型對(duì)復(fù)雜語音信息的學(xué)習(xí)能力有限，導(dǎo)致生成的口型往往與輸入的語音存在不同步的現(xiàn)象。

6、為了解決上述問題，研究人員嘗試了多種改進(jìn)策略，如引入多尺度特征融合、采用注意力機(jī)制、優(yōu)化模型結(jié)構(gòu)等。這些方法在一定程度上提高了面部生成的質(zhì)量，但在牙齒清晰度和口型同步方面仍有較大的提升空間。因此，開發(fā)一種能夠生成高清晰度牙齒并保持口型同步的tfg方法，對(duì)于推動(dòng)虛擬數(shù)字人技術(shù)的發(fā)展具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述，本發(fā)明的目的是提供一種基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)方法和裝置，有效提升tfg方法在牙齒區(qū)域的生成質(zhì)量，并保證口型與語音的高精度同步，以滿足虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、影視制作等應(yīng)用對(duì)高質(zhì)量面部生成的需求。

2、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例提供的一種基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)方法，包括以下步驟：

3、對(duì)獲取的面部圖像進(jìn)行面部關(guān)鍵點(diǎn)提取，基于面部關(guān)鍵點(diǎn)確定牙齒輪廓和牙齒遮罩，將牙齒輪廓和牙齒遮罩圖像疊加得到牙齒待修復(fù)圖像，從面部圖像中分割出嘴部區(qū)域作為參考圖像，對(duì)嘴部區(qū)域參考圖像進(jìn)行圖像增強(qiáng)以及精細(xì)化處理后，將牙齒待修復(fù)圖像和嘴部區(qū)域參考圖像進(jìn)行歸一化處理；

4、基于gan網(wǎng)絡(luò)構(gòu)建高清牙齒修復(fù)模型，其中g(shù)an網(wǎng)絡(luò)包含的生成器采用編碼結(jié)構(gòu)和解碼結(jié)構(gòu)，編碼結(jié)構(gòu)采用2個(gè)分支分別對(duì)歸一化處理后的牙齒待修復(fù)圖像和嘴部區(qū)域參考圖像進(jìn)行特征提取并編碼，解碼結(jié)構(gòu)對(duì)兩個(gè)分支的編碼結(jié)果進(jìn)行解碼來進(jìn)行牙齒修復(fù)得到修復(fù)后牙齒圖像，gan網(wǎng)絡(luò)包含的判別器用于判別修復(fù)牙齒圖像的真?zhèn)?，?jīng)過二階段訓(xùn)練后的生成器作為高清牙齒修復(fù)模型；

5、利用高清牙齒修復(fù)模型進(jìn)行高清牙齒修復(fù)。

6、優(yōu)選地，采用mobilenetv3網(wǎng)絡(luò)進(jìn)行面部關(guān)鍵點(diǎn)提取，提取的面部關(guān)鍵點(diǎn)包括嘴部輪廓點(diǎn)以及牙齒區(qū)域的相關(guān)特征點(diǎn)，基于牙齒輪廓點(diǎn)確定牙齒輪廓和牙齒遮罩，從面部圖像中分割出嘴部區(qū)域參考圖像mreference。

7、優(yōu)選地，在確定牙齒輪廓時(shí)，首先通過輪廓生成函數(shù)c基于面部關(guān)鍵點(diǎn)集合pfacial生成牙齒輪廓圖像mtooth_contour：

8、mtooth_contour＝c(pfacial)

9、通過遮罩生成函數(shù)m對(duì)面部關(guān)鍵點(diǎn)集合pfacial進(jìn)行遮罩處理，得到初始牙齒遮罩圖像mmask：

10、mmask＝m(pfacial)

11、將初始牙齒遮罩圖像與嘴部區(qū)域圖像參考圖像進(jìn)行異或運(yùn)算，使得嘴部區(qū)域參考圖像的牙齒區(qū)域形成遮罩，得到最終的牙齒遮罩圖像

12、mtooth_mask＝u(mmask,mreference)

13、其中，u表示圖像異或運(yùn)算。

14、將牙齒輪廓圖像和牙齒遮罩圖像疊加得到牙齒待修復(fù)圖像mtooth。

15、優(yōu)選地，對(duì)嘴部區(qū)域參考圖像進(jìn)行圖像增強(qiáng)和精細(xì)化處理，對(duì)牙齒待修復(fù)圖像和嘴部區(qū)域參考圖像進(jìn)行歸一化處理，圖像增強(qiáng)時(shí)進(jìn)行對(duì)比度增強(qiáng)、銳化處理，精細(xì)化處理時(shí)進(jìn)行邊緣銳化和平滑處理，歸一化時(shí)將圖像的像素值歸一化到[0,1]或[-1,1]之間。

16、優(yōu)選地，編碼結(jié)構(gòu)采用的2個(gè)分支結(jié)構(gòu)相同，每個(gè)分支結(jié)構(gòu)包括特征提取模塊和細(xì)粒度特征融合模塊，兩個(gè)模型用于進(jìn)行特征提取并進(jìn)行細(xì)粒度特征融合實(shí)現(xiàn)編碼過程，細(xì)粒度特征融合模塊具體包括通道融合、hourglass網(wǎng)絡(luò)、特征融合、以及特征細(xì)化，其中通道融合是指通過卷積操作逐步降低特征圖的通道數(shù)，同時(shí)增加特征的深度以提取更精細(xì)的特征，hourglass網(wǎng)絡(luò)用于提取多尺度特征，特征融合是指將通道融合對(duì)輸出結(jié)果與提取的多尺度特征進(jìn)行特征融合，特征細(xì)化是指通過卷積和激活操作來增強(qiáng)特征融合結(jié)果的細(xì)節(jié)作為編碼結(jié)果。

17、優(yōu)選地，每個(gè)細(xì)粒度特征融合模塊包括依次連接的卷積層、最大池化層、三個(gè)通道融合、一個(gè)hourglass網(wǎng)絡(luò)、一個(gè)通道融合、以及特征細(xì)化，

18、其中hourglass網(wǎng)絡(luò)采用2個(gè)分路，一個(gè)分路通過通道融合進(jìn)行通道縮進(jìn)提取精細(xì)特征，另一分路依次經(jīng)過2對(duì)最大池化和通道融合的組合、以及上采樣提取多尺度特征，并將精細(xì)特征和多尺度特征通過特征融合得到特征融合結(jié)果；

19、特征細(xì)化采用至少一個(gè)深度可分離卷積或至少一個(gè)深度可分離卷積之間構(gòu)建的殘差連接。

20、優(yōu)選地，對(duì)gan網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)采用的損失函數(shù)ltotal包括生成器的對(duì)抗損失生成器的重構(gòu)損失生成器的感知損失lperc、判別器的判別損失ld、以及判別器的r1損失lr1，

21、

22、其中，λ1、λ2、λ3、以及λ4表示各損失權(quán)重，λ為超參數(shù)，用于控制r1損失的強(qiáng)度，是從介于牙齒參考圖像和修復(fù)后牙齒圖像之間的分布中采樣得到，是判別器對(duì)的判別結(jié)果，是對(duì)的梯度，||·||2表示l2范數(shù)，用于計(jì)算梯度向量的大小，e表示期望值，通過采樣來計(jì)算。

23、為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明實(shí)施例提供了一種基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)裝置，包括：圖像處理模塊、模型構(gòu)建模塊、牙齒修復(fù)模塊，

24、所述圖像處理模塊用于對(duì)獲取的面部圖像進(jìn)行面部關(guān)鍵點(diǎn)提取，基于面部關(guān)鍵點(diǎn)確定牙齒輪廓和牙齒遮罩，將牙齒輪廓和牙齒遮罩圖像疊加得到牙齒待修復(fù)圖像，從面部圖像中分割出嘴部區(qū)域作為參考圖像，對(duì)嘴部區(qū)域參考圖像進(jìn)行圖像增強(qiáng)以及精細(xì)化處理后，將牙齒待修復(fù)圖像和嘴部區(qū)域參考圖像進(jìn)行歸一化處理；

25、所述模型構(gòu)建模塊用于基于gan網(wǎng)絡(luò)構(gòu)建高清牙齒修復(fù)模型，其中g(shù)an網(wǎng)絡(luò)包含的生成器采用編碼結(jié)構(gòu)和解碼結(jié)構(gòu)，編碼結(jié)構(gòu)采用2個(gè)分支分別對(duì)歸一化處理后的牙齒待修復(fù)圖像和嘴部區(qū)域參考圖像進(jìn)行特征提取并編碼，解碼結(jié)構(gòu)對(duì)兩個(gè)分支的編碼結(jié)果進(jìn)行解碼來進(jìn)行牙齒修復(fù)得到修復(fù)后牙齒圖像，gan網(wǎng)絡(luò)包含的判別器用于判別修復(fù)牙齒圖像的真?zhèn)?，?jīng)過二階段訓(xùn)練后的生成器作為高清牙齒修復(fù)模型；

26、所述牙齒修復(fù)模塊用于利用高清牙齒修復(fù)模型進(jìn)行高清牙齒修復(fù)。

27、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例還提供了一種計(jì)算設(shè)備，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)上述基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)方法。

28、為實(shí)現(xiàn)上述發(fā)明目的，實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述基于gan網(wǎng)絡(luò)的高清牙齒修復(fù)方法。

29、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果至少包括：

30、更精準(zhǔn)高效的人臉關(guān)鍵點(diǎn)檢測(cè)方式：通過mobilenetv3網(wǎng)絡(luò)架構(gòu)的關(guān)鍵點(diǎn)檢測(cè)方式，能夠以高精度檢測(cè)面部的關(guān)鍵點(diǎn)，在普通消費(fèi)級(jí)硬件上實(shí)現(xiàn)實(shí)時(shí)面部跟蹤，適用于需要快速響應(yīng)的應(yīng)用場(chǎng)景。適應(yīng)不同的光照條件和面部表情，即使在復(fù)雜環(huán)境中也能保持較高的跟蹤準(zhǔn)確性。

31、高清細(xì)節(jié)生成：特別針對(duì)牙齒區(qū)域的細(xì)節(jié)進(jìn)行高清修復(fù)，通過在gan網(wǎng)絡(luò)的生成器中通過先進(jìn)的細(xì)粒度特征融合(fgff)模塊和優(yōu)化的損失函數(shù)，顯著提升了牙齒的視覺清晰度和真實(shí)感。

32、同步性和連貫性：本發(fā)明在增強(qiáng)牙齒清晰度的同時(shí)，保持了口型與語音的同步性，確保了動(dòng)畫的自然流暢，改善了用戶體驗(yàn)。

33、泛化能力：通過二階段微調(diào)策略，本發(fā)明能夠適應(yīng)不同的面部特征和表情，增強(qiáng)了模型的泛化能力，使其能夠在多種場(chǎng)景下穩(wěn)定工作。

34、計(jì)算效率：本發(fā)明在設(shè)計(jì)時(shí)注重計(jì)算效率，通過優(yōu)化的網(wǎng)絡(luò)結(jié)構(gòu)和并行處理技術(shù)，實(shí)現(xiàn)了快速的圖像生成速度，滿足了實(shí)時(shí)應(yīng)用的需求。

35、個(gè)性化定制：本發(fā)明允許進(jìn)行個(gè)性化定制，通過特定任務(wù)的微調(diào)，可以針對(duì)特定人物或場(chǎng)景進(jìn)行優(yōu)化，滿足用戶的特定需求。

36、魯棒性：通過特定的數(shù)據(jù)預(yù)處理和增強(qiáng)技術(shù)，本發(fā)明對(duì)輸入數(shù)據(jù)的噪聲和變異具有較高的魯棒性，能夠在不同質(zhì)量的數(shù)據(jù)上穩(wěn)定生成高質(zhì)量的結(jié)果。