本發(fā)明涉及圖形渲染，具體涉及一種局部—全局特征增強和風格融合的人物渲染方法。

背景技術(shù)：

1、隨著軟硬件技術(shù)的更新，實時渲染技術(shù)在人們生活中變得越來越重要，從最初的工程制圖、游戲娛樂到現(xiàn)在的醫(yī)療甚至軍事訓練，都能看得到實時渲染技術(shù)所帶來的好處。而這些方面的應(yīng)用對于實時渲染的圖像品質(zhì)要求也越來越高，但由于材質(zhì)、光照等等原因，不同的模型在不同的系統(tǒng)下呈現(xiàn)的效果也是大相徑庭的，因此美術(shù)需要在每個場景中調(diào)整模型的細節(jié)參數(shù)以達到一個良好的視覺效果，這往往會導(dǎo)致場景中的物體觀感不一，產(chǎn)生割裂感，這是因為以往的光照模型都是經(jīng)驗?zāi)Ｐ停瑹o法很好地還原物體。

2、基于物理的渲染(physically?based?rendering，pbr)致力于還原真實世界中的光照，材質(zhì)的數(shù)據(jù)也是基于物理測量得出的，且使用了輻射度量學所推導(dǎo)出來的渲染方程，使得這計算機中能夠盡可能地貼近現(xiàn)實場景?；谖锢淼匿秩灸軌蜃屆佬g(shù)使用相同參數(shù)的在不同光照條件下依然保持良好的視覺效果，從而能夠快速地實現(xiàn)大量材質(zhì)的真實感渲染。

3、非真實感渲染(non-photorealistic?rendering，npr)，也稱為風格化渲染，旨在刻意模擬或強調(diào)藝術(shù)化的效果，而不是追求真實世界的外觀。與傳統(tǒng)的真實感渲染技術(shù)不同，npr更關(guān)注表現(xiàn)藝術(shù)風格、手繪風格或抽象化效果。但它通常在細節(jié)表現(xiàn)方面不夠理想，光照模型也不夠真實。

技術(shù)實現(xiàn)思路

1、隨著深度學習技術(shù)的發(fā)展，它擅長處理復(fù)雜的場景和多樣化的數(shù)據(jù)，在處理高維數(shù)據(jù)時具有很強的能力，可以提高點云重建的精度。

2、因此可以將三者的優(yōu)勢結(jié)合起來，在強化人物區(qū)域特征的基礎(chǔ)上，將基于物理的渲染和風格化渲染結(jié)合起來，就能做到既保存了模型和材質(zhì)的細節(jié)，又能夠有風格化的畫面表現(xiàn)。這對于一些無法用真實渲染描述的物體來說，無疑是能夠加強其畫面表現(xiàn)力的。

3、為了克服單一渲染方法的局限性，提供一種局部—全局特征增強和風格融合的人物渲染方法，主要是數(shù)據(jù)加載和初始化，包括將人物模型數(shù)據(jù)從應(yīng)用傳入頂點著色器、再從頂點著色器傳入片元著色器、將頂點坐標從模型空間轉(zhuǎn)換到裁剪空間、片元著色器得到世界坐標下的光源位置和攝像機位置等四個步驟。隨后數(shù)據(jù)點云化，將模型的幾何信息轉(zhuǎn)化為點云數(shù)據(jù)并歸一化至相同分布。然后，利用改進的反射強度輔助pca方法評估點云中每個點的法向量并基于加強全局—局部的點云幾何特征提取網(wǎng)絡(luò)模型重建人物三維點。在此基礎(chǔ)上，反向還原點云信息，線性反歸一化點云數(shù)據(jù)至原始模型坐標范圍。最后，對全局人物模型特征信息渲染處理，包括基于物理和風格化融合完成人物的輪廓描邊、凹凸貼圖、高光項、漫反射項、自發(fā)光項渲染改進，最終得到特征強化后的相應(yīng)風格渲染效果，以解決背景技術(shù)中提出的問題。

4、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：本發(fā)明提供一種局部—全局特征增強和風格融合的人物渲染方法，包括如下步驟：

5、s1：數(shù)據(jù)加載和初始化：主要包括將人物模型數(shù)據(jù)從應(yīng)用傳入頂點著色器、再從頂點著色器傳入片元著色器、將頂點坐標從模型空間轉(zhuǎn)換到裁剪空間、片元著色器得到世界坐標下的光源位置和攝像機位置等四個步驟；

6、s2：數(shù)據(jù)點云化：將模型的幾何信息轉(zhuǎn)化為點云數(shù)據(jù)并歸一化至相同分布；

7、s3：利用改進的反射強度輔助pca方法評估點云中每個點的法向量；

8、s4：基于加強全局—局部的點云幾何特征提取網(wǎng)絡(luò)模型重建人物三維點；

9、s5：反向還原點云信息：線性反歸一化點云數(shù)據(jù)至原始模型坐標范圍；

10、s6：渲染處理：基于物理和風格化融合完成人物的輪廓描邊、凹凸貼圖、高光項、漫反射項、自發(fā)光項渲染改進，最終得到特征強化后的相應(yīng)風格渲染效果。

11、進一步地，所述步驟s1中數(shù)據(jù)初始化的具體操作為：

12、s11：將人物模型數(shù)據(jù)從應(yīng)用傳入頂點著色器，將應(yīng)用中傳入shader的數(shù)據(jù)組織為結(jié)構(gòu)體appdata，它包含了vertex、norma?l、tangent和uv四個變量，分別代表模型空間中的頂點位置、頂點的法線、頂點的切線方向和模型中的第一組紋理坐標的語義；

13、s12：按照s11的方式將頂點著色器處理完的數(shù)據(jù)再傳入片元著色；

14、s13：為了將頂點坐標從模型空間轉(zhuǎn)換到裁剪空間中，設(shè)計模型坐標—世界坐標—觀察坐標—裁剪坐標的變換函數(shù)，該函數(shù)代表矩陣乘法，公式如下：

15、result＝mvp*pos；

16、其中，result是裁剪空間坐標，mvp是模型—視圖—投影矩陣，pos是頂點的對象空間坐標；

17、s14：在片元著色器中，為得到世界坐標下的光源位置和攝像機位置，設(shè)計函數(shù)得到光源位置和攝像機位置的初步數(shù)據(jù)，將其歸一化便是該片元的光源方向和觀察方向，其兩者的公式如下：

18、viewdir＝normalize(cameraposition-worldpos)；

19、lightdir＝normalize(lightposition-worldpos)；

20、其中，viewdir是頂點在世界空間中的視圖方向向量，cameraposition是相機在世界空間中的位置；lightdir是從頂點位置指向光源的方向向量，lightposition是光源在世界空間中的位置，worldpos是頂點的世界空間坐標，normalize函數(shù)將兩者歸一化。

21、進一步地，所述步驟s2的具體操作為：

22、s21：給定具有n個頂點的人物模型xraw，每個點由(x，y，z)坐標組成，模型的第i個頂點轉(zhuǎn)化為點云中的第i個點：(xi，yi，zi)；

23、s22：對于點云中第i個點進行歸一化，以x坐標為例：

24、

25、其中，xmin和xmax分別是點云中所有點在x軸上的最小和最大值。

26、進一步地，所述步驟s41中局部加強模塊的具體操作為：

27、s411：人物點云(x，y，z，nx，ny，nz，i)輸入數(shù)據(jù)分解為兩類法向量ni＝(nxi，nyi，nzi)和位置信息pi＝(pxi，pyi，pzi)；

28、s412：位置特征將進一步地編碼為點云位置信息具體操作為：

29、

30、其中，表示拼接操作，局部特征用于相對位置編碼，是pk至的相對位置，作為一個影響因素；

31、s413：法向量特征將進一步地編碼為點云法向量具體操作為：

32、

33、其中，表示拼接操作，局部法向量特征被編碼用于減少冗余點云法向量，表示相對于nk的方向變化，表示方向的相似度，改步驟與s412共享mlp；

34、s414：n個人物點云(x，y，z，nx，ny，nz，i)經(jīng)過共享mlp分類處理后將獲得局部特征f∈(n，k，2d)，再經(jīng)過代理注意力機制的處理以獲得局部特征f′∈(n，k，2d)。

35、進一步地，所述步驟s42的具體操作為：

36、

37、p′＝maxpool[mlp(p)]；

38、進一步地，所述步驟s414的代理注意力機制具體操作為：

39、s4141：對于輸入的數(shù)據(jù)特征f經(jīng)過線性變換得到q、k和v，具體操作為：

40、q＝fwq，k＝fwk，v＝fwv；

41、其中，wq/w/v表示投影矩陣；

42、s4142：點云特征q經(jīng)過pooling操作得到代理特征a，那么強化后的點云特征f′便可得到，具體操作為：

43、f′＝σ(qat+b2)σ(akt+b1)v；

44、其中，b1和b2表示代理偏差，σ(·)表示softmax操作。

45、進一步地，所述步驟s5的具體操作為：

46、s51：給定具有n1個采樣點云，每個點由(x，y，z)坐標組成，點云中的第i個點將其轉(zhuǎn)化為模型的第i個頂點(xi，yi，zi)；

47、s52：對于點云中第i個點反向還原點云信息，以x坐標為例：

48、xrestored，i＝xi×(xmax-xmin)；；

49、其中，xmin和xmax分別是采樣點云中所有點在x軸上的最小和最大值。

50、進一步地，所述步驟s7的具體操作為：

51、s71：將法線變換到ndc空間中，這個空間是齊次裁剪空間通過齊次除法后得出的歸一化設(shè)備坐標，xyz軸的范圍都是-1到1，該變換公式如下：

52、ndc＝normalize((mvp*float4(normal，0.0)).xyz)；

53、這里解釋為，將法線向量normal附加一個0作為齊次坐標的w分量，形成一個四維向量(normal.x，normal.y，normal.z，0.0)，將這個四維向量與模型—視圖—投影矩陣mvp相乘，得到一個新的四維向量，取這個新向量的前三個分量并將其歸一化；

54、s72：法線從切線空間轉(zhuǎn)換到世界空間，該轉(zhuǎn)換公式如下：

55、p世界＝m·p切線；

56、其中，p世界是變換后的點在世界空間中的坐標，p切線是原始點在切線空間中的坐標，矩陣m是從切線空間到世界空間的變換矩陣，可以將其定義為如下：

57、

58、其中，向量t,b,n分別為在世界空間中的法線向量、切線向量和副切線向量；

59、法線紋理的rgb值進行解碼，將其轉(zhuǎn)換為世界空間中的法線向量：

60、由于法線的分量范圍是-1到1，而法線貼圖的rgb范圍則是0到1，需要將rgb值重新映射為法線，公式如下：

61、

62、其中，normal為重新映射后法線向量的各個分量(x，y，z)，pixel為法線紋理的rgb值(r，g，b)，便可得出在世界空間下的法線坐標；

63、s73：高光項的brdf數(shù)學公式表示為：

64、brdf＝d(h)*g(v，l)*f(v，h)；

65、其中，d(h)代表法線分布函數(shù)，g(v，l)代表陰影遮蔽函數(shù)，f(v，h)代表菲涅爾項，h是半程向量，v是觀察方向，i是光源方向；

66、s74：線性插值函數(shù)lerp(lbright，ldark，t)設(shè)計如下：

67、

68、這里，lbright是明面的半蘭伯特項結(jié)果，ldark是暗面的半蘭伯特項結(jié)果，t是插值因子，介于0和1之間，表示明暗的權(quán)重。通過調(diào)整插值因子t的值，可以在明暗交界處得到不同程度的過渡效果。

69、本發(fā)明具有如下優(yōu)點：

70、1、將人物模型數(shù)據(jù)轉(zhuǎn)為靈活的點云數(shù)據(jù)，可以捕捉人物的幾何結(jié)構(gòu)、形狀和細節(jié)。這種表示允許更輕松地進行形狀分析、特征提取和模型學習。

71、2、在保留原來人物特征的基礎(chǔ)上，利用改進的反射強度輔助pca方法加強每個點的法加強，并通過基于加強全局—局部的點云幾何特征提取網(wǎng)絡(luò)模型重建人物三維點，捕獲鮮明人物細節(jié)特征。

72、3、與單一的基于物理的渲染方法相比，本發(fā)明在還原現(xiàn)實世界的畫面的同時，還具備了特性的風格化畫面。

73、4、與單一的基于非真實感渲染方法相比，本發(fā)明在具備特性的風格化畫面的同時，還致力于還原真實世界中的光照。