本發(fā)明涉及動(dòng)畫制作，具體是一種根據(jù)用戶的面部表情對(duì)數(shù)字角色進(jìn)行動(dòng)畫制作的方法。

背景技術(shù)：

1、捕捉和處理人臉的幾何結(jié)構(gòu)、外觀和動(dòng)作是現(xiàn)代計(jì)算機(jī)動(dòng)畫的核心部分。數(shù)字角色通常通過(guò)3d掃描與外觀獲取的結(jié)合來(lái)創(chuàng)建，并通過(guò)動(dòng)作捕捉來(lái)實(shí)現(xiàn)動(dòng)畫。然而，這些現(xiàn)有的方法存在一些缺點(diǎn)，如需要復(fù)雜的采集系統(tǒng)和大量的手動(dòng)后期處理。因此，使用現(xiàn)有方法來(lái)創(chuàng)建和動(dòng)畫化數(shù)字角色需要很長(zhǎng)的周期和相當(dāng)高的生產(chǎn)成本。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出一種根據(jù)用戶的面部表情對(duì)數(shù)字角色進(jìn)行動(dòng)畫制作的方法，解決了用現(xiàn)有方法來(lái)創(chuàng)建和動(dòng)畫化數(shù)字角色需要很長(zhǎng)的周期和相當(dāng)高的生產(chǎn)成本的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種根據(jù)用戶的面部表情對(duì)數(shù)字角色進(jìn)行動(dòng)畫制作的方法，所述方法包括以下步驟：

4、s01、3d攝像頭的數(shù)據(jù)采集：使用3d攝像頭采集用戶面部的rgb圖和深度圖，并獲取所述3d攝像頭內(nèi)參矩陣k；

5、s02、點(diǎn)云生成：將深度圖和內(nèi)參矩陣k轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)；

6、s03、計(jì)算數(shù)字角色的動(dòng)畫參數(shù)：使用用戶特定表情模型和動(dòng)畫先驗(yàn)來(lái)確定可用于數(shù)字角色的動(dòng)畫參數(shù)，其中動(dòng)畫先驗(yàn)是表示數(shù)字角色預(yù)定義動(dòng)畫的動(dòng)畫參數(shù)序列；

7、s04、動(dòng)畫參數(shù)傳遞：使用動(dòng)畫參數(shù)來(lái)驅(qū)動(dòng)數(shù)字角色，使得數(shù)字角色模仿用戶的面部動(dòng)作；

8、s05、得到數(shù)字角色動(dòng)畫。

9、作為本發(fā)明進(jìn)一步的技術(shù)方案，在步驟s03中，在計(jì)算數(shù)字角色的動(dòng)畫參數(shù)之前，需要構(gòu)造用戶特定表情模型和構(gòu)造動(dòng)畫先驗(yàn)?zāi)Ｐ?，所述?gòu)造用戶特定表情模型的步驟包括：

10、s031、3d攝像頭的數(shù)據(jù)采集，此步驟與s01一致：

11、s032、點(diǎn)云生成，此步驟與s02一致；

12、s033、點(diǎn)云融合：該步驟會(huì)將采集得到的點(diǎn)云序列進(jìn)行融合，得到用戶完整的面部點(diǎn)云數(shù)據(jù)；

13、s034、計(jì)算用戶特定表情模型：用戶完整的面部點(diǎn)云數(shù)據(jù)用于修改通用表情模型以得到用戶特定的表情模型；通用表情模型是為大多數(shù)人定義的表情模型，用戶特定的表情模型是為用戶專門定義的表情模型。

14、作為本發(fā)明進(jìn)一步的技術(shù)方案，所述s033的點(diǎn)云融合的步驟包括：

15、在融合的過(guò)程中，采用面元的方式對(duì)點(diǎn)云進(jìn)行顯式的表達(dá)；面元具備以下的屬性：

16、1)位置：表示面元在空間中的位置；

17、2)法線向量：描述面元的方向；

18、3)半徑：面元的半徑，根據(jù)3d攝像頭的焦距f，進(jìn)行自適應(yīng)的調(diào)整，公式：

19、4)可見(jiàn)性置信度：用于估計(jì)面元的可靠性，取值范圍為[0,64]，如果面元的位置能被從不同方向的多次觀察所確認(rèn)，則被認(rèn)為是正確的，其可見(jiàn)性置信度較高；

20、當(dāng)創(chuàng)建一個(gè)新的面元時(shí)，以估計(jì)的面元法線作為第一個(gè)基向量，在面元平面內(nèi)的任意向量作為第二個(gè)基向量，生成一個(gè)球坐標(biāo)系；

21、用極角和方位角來(lái)表征視圖方向，面元已被觀察到的視圖方向記錄在一個(gè)二維二進(jìn)制直方圖中；

22、對(duì)于該設(shè)置，如果一個(gè)面元在至少6個(gè)不同視圖方向觀察到，則具有高可見(jiàn)性置信度；

23、面元的操作:

24、1)增加:

25、時(shí)機(jī)：在所有面元更新后，當(dāng)掃描儀深度圖中未被模型面元覆蓋的部分，且輸入數(shù)據(jù)有效且置信度高時(shí)，會(huì)增加面元；

26、具體操作：新的面元僅在輸入數(shù)據(jù)有效且置信度高的地方引入，每次增加面元和更新后，會(huì)相應(yīng)地更新面元可見(jiàn)性置信度直方圖；

27、3)刪除：

28、刪除條件：不置信且與當(dāng)前掃描沖突的模型面元會(huì)被刪除；

29、原理：在掃描過(guò)程中，許多正確的面元以及一些可能的異常值會(huì)被添加，正確的面元會(huì)從許多視圖方向被重新觀察到，從而達(dá)到高置信度值，相比之下，異常值不太可能再次被看到，如果出現(xiàn)沖突，它們將被刪除；

30、額外策略：為了保持模型輕量級(jí)，還應(yīng)用了一種侵蝕策略，即每一個(gè)在過(guò)去30幀內(nèi)未被更新且尚未達(dá)到最小置信度值3的面元將被刪除。

31、作為本發(fā)明進(jìn)一步的技術(shù)方案，步驟s034包括：計(jì)算融合形狀參數(shù)：在修改過(guò)程中，將通用表情模型表示為融合形狀，并確定一組近似的融合形狀權(quán)重，所述權(quán)重指定了融合形狀的線性組合，代表每個(gè)預(yù)定面部表情的模型參數(shù)，由于用戶執(zhí)行的面部表情是預(yù)先定義的，所述近似的融合形狀權(quán)重可以一次性確定并對(duì)用戶保持恒定；

32、基于此，再使用基于給定的用戶完整的面部點(diǎn)云數(shù)據(jù)來(lái)進(jìn)行梯度空間優(yōu)化，從而構(gòu)建一組用戶特定表情模型。

33、作為本發(fā)明進(jìn)一步的技術(shù)方案，構(gòu)造動(dòng)畫先驗(yàn)?zāi)Ｐ偷牧鞒倘缦拢?/p>

34、每個(gè)動(dòng)畫先驗(yàn)是代表通用模型的預(yù)定義動(dòng)畫的動(dòng)畫參數(shù)的集合，動(dòng)畫先驗(yàn)可以數(shù)學(xué)定義，以便包括在優(yōu)化計(jì)算中；

35、動(dòng)畫師完成的動(dòng)畫序列；

36、計(jì)算時(shí)域特征的動(dòng)畫先驗(yàn)?zāi)Ｐ?，使用具有?quán)重π_k的k個(gè)高斯分布的降維高斯混合模型來(lái)嘗試捕捉表達(dá)式空間的局部線性流形，通過(guò)在動(dòng)畫序列a的潛在空間中使用主成分分析，通過(guò)保留總方差的99％，從而使em算法的學(xué)習(xí)階段更加穩(wěn)定。

37、作為本發(fā)明進(jìn)一步的技術(shù)方案，步驟s03中，計(jì)算數(shù)字角色的動(dòng)畫參數(shù)的步驟包括：

38、剛性配準(zhǔn)后使用時(shí)域?yàn)V波器進(jìn)行過(guò)濾，所述濾波器基于滑動(dòng)窗口，動(dòng)態(tài)調(diào)整平滑系數(shù)，類似于指數(shù)加權(quán)移動(dòng)平均方法，以減少高頻噪聲同時(shí)避免產(chǎn)生干擾性的時(shí)間滯后，對(duì)平移向量和旋轉(zhuǎn)的四元數(shù)表示進(jìn)行獨(dú)立濾波；

39、對(duì)于當(dāng)前時(shí)間幀i的平移或四元數(shù)向量ti，通過(guò)公式

40、計(jì)算平滑后的向量

41、其中k是滑動(dòng)窗口的大小，ti-j表示的是在i到j(luò)幀的向量，權(quán)重wj表示為：

42、

43、其中h是根據(jù)靜態(tài)姿勢(shì)的噪聲水平經(jīng)驗(yàn)性確定的常數(shù)；

44、使用動(dòng)畫先驗(yàn)和用戶特定表情模型的表情參數(shù)進(jìn)行計(jì)算，因?yàn)橛脩籼囟ū砬槟Ｐ痛砹?d深度圖和2d圖像中所示用戶面部的面部表情；

45、第一步包括一個(gè)map估計(jì)，令di＝(gi，ii)為當(dāng)前幀的輸入數(shù)據(jù)，包括深度圖gi和彩色圖像ii，試圖從di中推斷出給定先前重建的n個(gè)融合形狀向量序列x＝{x1,x2,...,xn}的情況下，當(dāng)前幀最可能的融合形狀權(quán)重xi∈rn，這個(gè)推理問(wèn)題被表述為一個(gè)最大后驗(yàn)map估計(jì)：

46、x*＝argmaxxp(x|d,xn)，其中p(·|·)表示條件概率，應(yīng)用貝葉斯法則，得到以下結(jié)果x*＝argmaxxp(d|x,xn)p(x,zn)

47、d與xn是相互獨(dú)立，那么得到x*≈argmaxxp(d|x)p(x,xn)；

48、后面的p(x,xn)是先驗(yàn)?zāi)Ｐ?；為了防止不現(xiàn)實(shí)的面部姿勢(shì)，使用從現(xiàn)有混合形狀動(dòng)畫計(jì)算的動(dòng)態(tài)表達(dá)先驗(yàn)來(lái)正則化混合形狀權(quán)重；

49、先驗(yàn)?zāi)Ｐ褪褂胢ppca模型進(jìn)行表示，概率主成分分析ppca定義了觀察數(shù)據(jù)的概率密度函數(shù)，假設(shè)是潛在變量的線性函數(shù)，同時(shí)包含均值向量和高斯分布的噪聲變量；

50、具體表示：先驗(yàn)分布p(x,xn)被定義為個(gè)k高斯分布的加權(quán)組合，即

51、其中πk是權(quán)重；

52、學(xué)習(xí)參數(shù)：使用期望最大化em算法基于給定的混合形狀動(dòng)畫序列學(xué)習(xí)先驗(yàn)分布中的未知參數(shù)，包括均值μk、協(xié)方差矩陣噪聲參數(shù)σk和相對(duì)權(quán)重πk，在動(dòng)畫序列的潛在空間中進(jìn)行估計(jì)，并通過(guò)保留99％的總方差來(lái)降低訓(xùn)練數(shù)據(jù)的維度；

53、算法運(yùn)行：由于em算法會(huì)收斂到局部最小值，所以運(yùn)行算法50次并隨機(jī)初始化，在實(shí)際應(yīng)用中，使用20個(gè)高斯分布來(lái)建模先驗(yàn)分布，并使用潛在空間維度的三分之一作為ppca的維度。

54、作為本發(fā)明進(jìn)一步的技術(shù)方案，假設(shè)條件：通過(guò)假設(shè)條件獨(dú)立性，將似然分布建模為p(d|x)＝p(g|x)p(i|x)，其中兩個(gè)因素分別捕獲混合形狀模型與獲取的深度圖和紋理圖像的對(duì)齊；

55、基于點(diǎn)云位置的計(jì)算：對(duì)于p(g|x)，它類似于非剛性icp，假設(shè)每個(gè)頂點(diǎn)的點(diǎn)平面距離服從高斯分布，具體表示為：

56、

57、其中是v模板網(wǎng)格中的頂點(diǎn)數(shù)量，b∈rv×m是混合形狀矩陣，vi＝(bx)i是重建網(wǎng)格的第i個(gè)頂點(diǎn)，ni是vi處的表面法線，是深度圖g中對(duì)應(yīng)的最近點(diǎn)；

58、基于紋理的計(jì)算：對(duì)于p(i|x)，由于在構(gòu)建面部表情模型時(shí)獲取了用戶的面部紋理，所以可以通過(guò)制定使用每個(gè)頂點(diǎn)的高斯分布的似然函數(shù)來(lái)集成基于模型的光流約束，表示為：

59、

60、其中pi是vi投影到圖像i中的點(diǎn)，▽ii是i在pi處的梯度，是渲染紋理圖像中對(duì)應(yīng)的點(diǎn)；

61、通過(guò)以上對(duì)點(diǎn)云和紋理兩個(gè)方面的計(jì)算，likelihooddistribution能夠在跟蹤過(guò)程中考慮到深度圖和紋理圖像的信息，從而更準(zhǔn)確地估計(jì)混合形狀權(quán)重，以實(shí)現(xiàn)對(duì)面部表情的有效跟蹤。

62、作為本發(fā)明進(jìn)一步的技術(shù)方案，還包括最終的優(yōu)化過(guò)程：

63、目標(biāo)函數(shù)：為了解決由x*≈argmaxxp(d|x)p(x,xn)定義的map問(wèn)題，需要最小化負(fù)對(duì)數(shù)，即：

64、x*＝argmaxx-lnp(g|x)-lnp(i|x)-lnp(x,xn)；

65、簡(jiǎn)化形式：丟棄常數(shù)后，寫為：

66、x*＝argmaxxegeo+eim+eprior，其中

67、eprior＝-lnp(x,xn)

68、參數(shù)設(shè)置：σgeo和σim用于模型數(shù)據(jù)的噪聲水平，控制幾何和圖像似然項(xiàng)相對(duì)于先驗(yàn)項(xiàng)的強(qiáng)調(diào)程度，通過(guò)實(shí)時(shí)反饋，實(shí)驗(yàn)確定合適的值以實(shí)現(xiàn)穩(wěn)定的跟蹤性能，在所有結(jié)果中使用σgeo＝1和σim＝0.45；

69、約束處理：使用基于lbfgs求解器的梯度投影算法來(lái)確?；旌闲螤顧?quán)重在0和1之間，由于使用前一個(gè)解進(jìn)行有效的熱啟動(dòng)，算法在不到6次迭代中收斂，然后更新和中最近點(diǎn)的對(duì)應(yīng)關(guān)系，并重新計(jì)算map估計(jì)，發(fā)現(xiàn)這個(gè)外循環(huán)的3次迭代就足以收斂；

70、通過(guò)以上優(yōu)化過(guò)程，能夠有效地估計(jì)出混合形狀權(quán)重，從而實(shí)現(xiàn)對(duì)面部表情的準(zhǔn)確跟蹤。

71、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

72、社會(huì)效果：本發(fā)明提供了一種更便捷、自然的方式來(lái)實(shí)現(xiàn)面部動(dòng)畫，用戶無(wú)需佩戴特殊設(shè)備或進(jìn)行復(fù)雜的準(zhǔn)備工作，能夠更輕松地參與到數(shù)字角色的動(dòng)畫制作中，這有助于促進(jìn)數(shù)字娛樂(lè)產(chǎn)業(yè)的發(fā)展，為用戶帶來(lái)更好的體驗(yàn)。

73、經(jīng)濟(jì)效果：相比于現(xiàn)有方法需要復(fù)雜的采集系統(tǒng)和大量的人工后期處理，本發(fā)明使用低成本的實(shí)時(shí)深度傳感器，降低了設(shè)備成本和生產(chǎn)成本，同時(shí)減少了人工后期處理的時(shí)間和成本，提高了生產(chǎn)效率，具有較好的經(jīng)濟(jì)效益。

74、技術(shù)效果：

75、提高跟蹤的魯棒性：通過(guò)將用戶的剛性運(yùn)動(dòng)與非剛性運(yùn)動(dòng)解耦并獨(dú)立跟蹤，簡(jiǎn)化了優(yōu)化的公式，提高了跟蹤的準(zhǔn)確性和穩(wěn)定性。

76、確保動(dòng)畫的真實(shí)性：使用動(dòng)態(tài)表情先驗(yàn)來(lái)正則化表情參數(shù)，確保重建的動(dòng)畫位于現(xiàn)實(shí)人類面部表情的空間中，使數(shù)字角色能夠更真實(shí)地模仿用戶的面部表現(xiàn)。

77、便于集成到現(xiàn)有系統(tǒng)中：面部表情表示為融合形狀網(wǎng)格的加權(quán)和，融合形狀模型提供了面部表情空間的緊湊表示，降低了優(yōu)化問(wèn)題的維度，并且輸出的表情參數(shù)可以直接導(dǎo)入商業(yè)動(dòng)畫工具，便于集成到現(xiàn)有的動(dòng)畫系統(tǒng)/工具/生產(chǎn)工作流程中。