三維人臉建模方法和裝置制造方法
【專利摘要】為實現(xiàn)高效地三維人臉建模，發(fā)明人提供了一種三維人臉建模方法，包括步驟：獲取原始人像和標準模型；根據(jù)標準模型獲取骨骼點信息；在所述原始人像上標記特征點并記錄其坐標信息；對所述原始人像做第一變換；對所述標準模型做第二變換；將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；將經(jīng)第一變換的原始人像映射至所述紋理圖像。同時發(fā)明人還提供了一種實現(xiàn)上述方法的相應的三維人臉建模裝置。上述技術方案操作方式簡單，擬合效果好，還原程度高；同時簡化了實現(xiàn)和計算的過程，實現(xiàn)速度更快，效率更高，還簡化了數(shù)據(jù)采集的過程，提高了系統(tǒng)的實用性和適應性，在一些對人臉深度信息要求不高的場景具有巨大的優(yōu)勢。
【專利說明】 三維人臉建模方法和裝置

【技術領域】
[0001]本發(fā)明涉及計算機圖像學與數(shù)字圖像處理領域，更具體地涉及一種三維人臉建模方法和裝置。

【背景技術】
[0002]隨著計算機圖形學與圖像處理技術的長足發(fā)展，作為二學科交叉領域的三維人臉建模技術在游戲動漫、醫(yī)學和整容、影視廣告、視頻會議和可視電話等相關行業(yè)得到了廣泛的應用，并逐漸成為研究的熱點問題。
[0003]當前關于三維人臉建模的主要技術包括如下幾種:
[0004]基于三維掃描儀等的三維人臉建模:主要指利用三維數(shù)字掃描儀對人臉進行掃描來獲取人臉的三維信息，根據(jù)獲取的三維數(shù)據(jù)在計算機中進行人臉模型的三維重建，該方法能夠獲得精確的人臉模型。然而，采用三維掃描儀等硬件設備進行三維人臉建模的方法通用性和靈活性較差，操作較為復雜，且其硬件設備的成本也較高，一般只適用于某些特殊的場合。
[0005]基于圖像的人臉建模方法:主要指通過單視點或多視點人臉圖像或視頻序列，獲得人臉特征點的三維信息，利用該信息來重構人臉的三維幾何模型?；趫D像的人臉建模方法主要分為基于單幅人臉圖像的建模和基于多幅人臉圖像的建模。
[0006]基于單幅人臉圖像的建模:一般是指通過采集單張人臉的圖像進行數(shù)據(jù)的分析以及人臉的擬合與三維重建，其基本方法都是通過微側的人臉圖像或圖像上的明暗信息來進行人臉模型上深度信息的判斷，從而完成三維人臉的建模工作。然而，采用單幅人臉圖像進行建模的方法需要在人臉的形狀和相貌之間做出取舍，難以精確地擬合出與真實人臉相符的模型。由于人臉的左右兩邊并不完全對稱，因此當利用微側的人臉進行深度信息的采集時，必然導致重建后人臉相貌的失真；而利用人臉正面圖像的陰影與高光進行深度信息計算時，由于計算復雜、運算時間長、計算結果的可靠性差等不足，往往難以獲得較好的效果。
[0007]基于多幅人臉圖像的建模:指通過多幅多角度的人臉圖像，如正面、左側面、右側面等圖像來獲取更多人臉的三維數(shù)據(jù)來進行人臉的三維建模。基于多幅人臉圖像的建模能夠更直觀、完整地獲得人臉的正面紋理信息、深度信息等，從而有利于建立起更加精確的三維人臉模型。然而，采用多幅人臉圖像進行建模的方法固然能夠較為完整地獲得人臉的正面紋理、人臉深度等信息，但其在一定程度上增加了人工操作的步驟，降低了操作的靈活性。且在一些手持設備上，使用者難以較為方便地提供滿足要求的側面圖像，這對人臉建模的精確度也造成了很大的影響。


【發(fā)明內容】

[0008]為此，需要提供一種能夠規(guī)避人臉深度信息計算、操作過程簡便、快速、自動化、建模結果真實可靠的三維人臉建模方法和裝置。
[0009]為實現(xiàn)上述目的，發(fā)明人提供了一種三維人臉建模方法，包括步驟:
[0010]獲取原始人像和標準模型；
[0011]根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點；
[0012]在所述原始人像上標記特征點并記錄其坐標信息；
[0013]對所述原始人像做第一變換，所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換；
[0014]對所述標準模型做第二變換，所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點；
[0015]將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；
[0016]將經(jīng)第一變換的原始人像映射至所述紋理圖像。
[0017]進一步地，所述的三維人臉建模方法中，所述“將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；將經(jīng)第一變換的原始人像映射至所述紋理圖像”具體包括:
[0018]將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖；
[0019]將經(jīng)第一變換的原始人像映射至所述UV貼圖。
[0020]進一步地，所述的三維人臉建模方法中，在步驟“將經(jīng)第一變換的原始人像映射至所述UV貼圖”之前還包括一對所述UV貼圖進行的膚色匹配處理，所述膚色匹配處理具體包括:
[0021]選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值；
[0022]利用所述膚色采樣值對所述UV貼圖做變色處理。
[0023]進一步地，所述的三維人臉建模方法中，步驟“利用所述膚色采樣值對所述UV貼圖做變色處理”具體包括:
[0024]利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
[0025]進一步地，所述的三維人臉建模方法中，所述“將經(jīng)第一變換的原始人像映射至所述UV貼圖”具體包括:
[0026]以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
[0027]進一步地，所述的三維人臉建模方法中，所述預設標準位置為特征點中的左右瞳孔；
[0028]對原始人像的所述第一變換包括旋轉、縮放或平移；
[0029]所述旋轉具體包括:旋轉所述原始人像,使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致；
[0030]所述縮放具體包括:縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致；
[0031]所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
[0032]進一步地，所述的三維人臉建模方法中，所述第二變換具體包括如下步驟:
[0033]通過正射投影變換將標準模型的骨骼點投影至屏幕平面；
[0034]將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼占.^ \\\ ?
[0035]對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。
[0036]進一步地，所述的三維人臉建模方法中，所述正射投影變換具體包括:
[0037]利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系；
[0038]利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系；
[0039]利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
[0040]進一步地，所述的三維人臉建模方法中，所述標準模型為與所述原始人像人種匹配的標準模型。
[0041]進一步地，所述的三維人臉建模方法中，所述原始人像滿足一預設的分辨率條件或一預設的明暗差值條件。
[0042]發(fā)明人還提供了一種三維人臉建模裝置，包括輸入單元、骨骼點確定單元、特征點標記單元、變換單元、紋理貼圖單元和映射單元；
[0043]所述輸入單元用于獲取原始人像和標準模型；
[0044]骨骼點確定單元用于根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點；
[0045]特征點標記單元用于在所述原始人像上標記特征點并記錄其坐標信息；
[0046]變換單元用于對所述原始人像做第一變換，所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換；
[0047]變換單元還用于對所述標準模型做第二變換，所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點；
[0048]紋理貼圖單元用于將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；
[0049]映射單元用于將經(jīng)第一變換的原始人像映射至所述紋理圖像。
[0050]進一步地，所述的三維人臉建模裝置中，紋理貼圖單元用于將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖；
[0051]映射單元用于將經(jīng)第一變換的原始人像映射至所述UV貼圖。
[0052]進一步地，所述的三維人臉建模裝置中，還包括膚色匹配單元，所述膚色匹配單元用于選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值；并利用所述膚色采樣值對所述UV貼圖做變色處理。
[0053]進一步地，所述的三維人臉建模裝置中，膚色匹配單元利用所述膚色采樣值對所述UV貼圖做變色處理具體包括:
[0054]利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
[0055]進一步地，所述的三維人臉建模裝置中，映射單元將經(jīng)第一變換的原始人像映射至所述UV貼圖具體包括:
[0056]以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
[0057]進一步地，所述的三維人臉建模裝置中，所述預設標準位置為特征點中的左右瞳孔；
[0058]變換單元對原始人像的所述第一變換包括旋轉、縮放或平移；
[0059]所述旋轉具體包括:旋轉所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致；
[0060]所述縮放具體包括:縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致；
[0061]所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
[0062]進一步地，所述的三維人臉建模裝置中，變換單元所做第二變換具體包括如下步驟:
[0063]通過正射投影變換將標準模型的骨骼點投影至屏幕平面；
[0064]將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼占.
[0065]對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。
[0066]進一步地，所述的三維人臉建模裝置中，變換單元所做正射投影變換具體包括:
[0067]利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系；
[0068]利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系；
[0069]利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
[0070]進一步地，所述的三維人臉建模裝置中，所述標準模型為與所述原始人像人種匹配的標準模型。
[0071]進一步地，所述的三維人臉建模裝置中，所述原始人像滿足一預設的分辨率條件或一預設的明暗差值條件。
[0072]區(qū)別于現(xiàn)有技術，上述技術方案采用骨骼對齊的方式實現(xiàn)自動化的三維人臉的建模，其操作方式簡單，擬合的效果好，還原程度更高；相比較于傳統(tǒng)基于單幅圖像進行三維建模的方法，簡化了實現(xiàn)和計算的過程，實現(xiàn)速度更快，效率更高，能夠滿足對實時性有一定要求的系統(tǒng)設計。而相比較于基于多幅圖像進行三維建模的方法，本發(fā)明技術方案又簡化了數(shù)據(jù)采集的過程，提高了系統(tǒng)的實用性和適應性，在一些對人臉深度信息要求不高的場景具有巨大的優(yōu)勢。

【專利附圖】

【附圖說明】
[0073]圖1為本發(fā)明一實施方式所述三維人臉建模方法的流程圖；
[0074]圖2為本發(fā)明一實施方式所述三維人臉建模裝置的結構示意圖。
[0075]附圖標記說明:
[0076]1-輸入單元
[0077]2-骨骼點確定單元
[0078]3-特征點標記單元
[0079]4-變換單元
[0080]5-膚色拼配單元
[0081]6-映射單元
[0082]7-紋理貼圖單元

【具體實施方式】
[0083]為詳細說明技術方案的技術內容、構造特征、所實現(xiàn)目的及效果，以下結合具體實施例并配合附圖詳予說明。
[0084]請參閱圖1，為本發(fā)明一實施方式所述三維人臉建模方法的流程圖。所述方法包括如下步驟:
[0085]S1、獲取原始人像和標準模型；
[0086]進一步地，所述標準模型為與所述原始人像人種匹配的標準模型；所述原始人像為滿足一預設的分辨率條件和一預設的明暗差值條件的二維正面照片。
[0087]由于本發(fā)明技術方案的核心在于通過可形變網(wǎng)格模型擬合來進行三維人臉的建模，而不同的形變模型在人臉擬合的相似度上存在很大的差異，因此本實施方式中，根據(jù)不同人種的特征信息進行分析，建立起不同的標準模型，例如，對于亞洲人(黃種人)而言，通過收集大量亞洲人的人臉，對其頭型、輪廓形狀、五官等信息進行綜合分析并提取特征建立亞洲人頭部標準模型。其他人種的標準模型同理。然后，根據(jù)原始人像的人種確定標準模型的種類，用于后續(xù)的擬合。
[0088]此外，為了保證建模的精確可靠，對原始人像的輸入也需要滿足一定條件。首先，為了盡可能完整地保留人臉的相貌信息，所述原始人像應為滿足一預設分辨率條件的正面人臉圖像。其次，在人臉圖像的采集過程中應注意光線的控制，暗光下采集的人臉圖像無法準確獲得膚色信息，且可能導致人臉標定出現(xiàn)誤差，降低建模后人臉模型的相似度。因而，所述原始人像應滿足一預設的分辨率條件以及一預設的左右臉明暗差值條件。
[0089]S2、根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點；
[0090]S3、在所述原始人像上標記特征點并記錄其坐標信息；
[0091]步驟S2與步驟S3中出現(xiàn)的特征點這一概念，主要指的是人臉定位和識別技術中，用于標定出人臉臉型、眉毛、眼睛、鼻子、嘴巴等對相貌有突出特征意義的點，稱為特征點?；诓煌娜四槝硕夹g研究結果，有不同的特征點模型可供選用，本實施方式采用的是按照人臉常識劃分出7個有意義的特征(人臉外部輪廓、左右眉、左右眼、鼻子、嘴)的83個特征點系統(tǒng)。在其他實施方式中，還可以采用現(xiàn)有技術中的其他的特征點標定方法。
[0092]而骨骼關鍵點這一概念，則是指特征點中那些在網(wǎng)格形變中將會對人臉輪廓和五官產(chǎn)生較大影響的點，獲取骨骼關鍵點的方法通常是對人臉網(wǎng)格模型進行形變實驗，分析各特征點對網(wǎng)格形變的影響，符合預設形變量條件的被確定為骨骼關鍵點。
[0093]S4、對所述原始人像做第一變換；
[0094]所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換；
[0095]本實施方式中，所述預設標準位置為特征點中的左右瞳孔；
[0096]對原始人像的所述第一變換包括旋轉、縮放或平移；
[0097]所述旋轉具體包括:旋轉所述原始人像,使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致；具體地，根據(jù)原始人像的特征點標定信息，取左右瞳孔特征點位置，計算其與水平方向的夾角，然后以瞳孔位置連線中點為旋轉中心，將人像旋轉相應的角度，使其水平方向一致。
[0098]所述縮放具體包括:根據(jù)標準人像的瞳孔距離，縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致；
[0099]所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
[0100]此外在必要時還包括裁剪步驟，即根據(jù)人像特征點位置裁剪出特定大小的人臉區(qū)域，將其放入與標準人像相同大小的圖像中。
[0101]實際上，本步所做的變換是一種對輸入的原始人像的預處理工作，主要通過對所述原始人像進行旋轉、縮放、平移或裁剪處理，使其一預設位置(本實施方式中為瞳孔位置)與標準模型展開所得的標準人像的預設位置(瞳孔)對齊。上述旋轉、縮放、平移的步驟均可以矩陣處理的形式表示，因此對人像中標定的特征點也可以與之相同的矩陣進行相應的坐標變換，以獲取在新圖像中的坐標位置。
[0102]S5、對所述標準模型做第二變換；
[0103]所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點；
[0104]進一步地，所述第二變換又具體包括如下分步驟:
[0105]S51、通過正射投影變換將標準模型的骨骼點投影至屏幕平面；
[0106]S52、將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點；
[0107]由于此前經(jīng)過預處理的原始人像已根據(jù)標準人像進行了瞳孔對齊處理，因此只需將標準模型上的骨骼點在屏幕上的投影點分別平移到標準化的人像的骨骼點位置即可。
[0108]S53、對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。實際上本步即為S51中矩陣計算(Model*View*Project1n)的逆變換計算(Model*View*Project1n)^,以此進行逆變換以獲得對齊后的骨骼點在模型空間中的三維坐標位置，得到的結果即為骨骼對齊后的模型。
[0109]進一步地，步驟S52中所述的正射投影變換具體包括:
[0110]利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系；
[0111]利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系；
[0112]利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
[0113]S6、將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖；
[0114]S7、對所述UV貼圖做膚色匹配處理；
[0115]所述膚色匹配處理具體包括如下分步驟:
[0116]S71、選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值；由于通常的人像受采集環(huán)境因素影響存在不同程度的陰影和高光，這在一定程度上會影響真實膚色的表現(xiàn)，而為了使建模后模型的顏色更接近人臉的真實膚色，需要對皮膚顏色進行采樣。例如，利用人臉標定的結果，選取鼻部兩側與面部特征點之間的區(qū)域進行采樣，計算兩個區(qū)域顏色的均值作為膚色的采樣值。
[0117]S72、利用所述膚色采樣值對所述UV貼圖做變色處理。
[0118]更具體地，所述變色處理又包括:利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
[0119]S8、將經(jīng)第一變換的原始人像映射至所述UV貼圖。
[0120]本步驟又具體包括:以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
[0121]實際上，UV貼圖是被定義的一個二維紋理坐標系統(tǒng)，用于確定如何將一個紋理圖像放置于三維模型的表面。在其他實施方式中，亦可采用其他可實現(xiàn)相同目的的坐標系統(tǒng)來實現(xiàn)標準模型向表面紋理圖像的變換。
[0122]本實施方式所述方法采用骨骼對齊的方式，利用人臉特征點的坐標來驅動標準模型上的骨骼關鍵點進行對齊操作，可以有效地擬合出真實的人臉形狀。根據(jù)不同人種頭部、臉部特征的不同建立差異化的人體頭部標準模型，能夠盡可能地減少擬合產(chǎn)生的誤差，提高人臉輪廓和面部特征的還原程度。在進行骨骼對齊時，本實施方式提出了以瞳孔為對齊基準將標準化后的人臉圖像與標準貼圖進行瞳孔的預對齊處理，后續(xù)工作只需將骨骼點進行平移即可完成對齊工作，有效地簡化了模型擬合的計算。此外，利用用戶輸入的人臉圖像進行膚色采樣處理和計算，將貼圖的顏色根據(jù)膚色的采樣值進行泊松融合，在保留源圖像細節(jié)的基礎上使人臉模型上的膚色能夠與采樣的顏色值相匹配，使模型在整體上能夠較好地還原人臉的顏色。同時，本實施方式基于對人臉網(wǎng)格模型進行的分析，提取其中對人臉輪廓和五官特征影響較大的特征點作為骨骼關鍵點，根據(jù)這些關鍵點來擬合人臉的輪廓和五官特征。綜上所述，本實施方式提供的三維人臉建模方法能夠實現(xiàn)具有高通用性與靈活性、操作簡便、成本低廉、擬合效果精確真實、快速、自動化的三維人臉建模功能。
[0123]請參閱圖2，為本發(fā)明一實施方式所述三維人臉建模裝置的結構示意圖；所述裝置包括輸入單元1、骨骼點確定單元2、特征點標記單元3、變換單元4、紋理貼圖單元5和映射單元6 ；
[0124]所述輸入單元I用于獲取原始人像和標準模型；所述標準模型為與所述原始人像人種匹配的標準模型；所述原始人像滿足一預設的分辨率條件或一預設的明暗差值條件。
[0125]由于本發(fā)明技術方案的核心在于通過可形變網(wǎng)格模型擬合來進行三維人臉的建模，而不同的形變模型在人臉擬合的相似度上存在很大的差異，因此本實施方式中，輸入單元I所獲取的原始人像和標準模型需要滿足一定的條件。首先，標準模型是根據(jù)不同人種的特征信息進行分析而建立得到的，例如，對于亞洲人(黃種人)而言，通過收集大量亞洲人的人臉，對其頭型、輪廓形狀、五官等信息進行綜合分析并提取特征建立亞洲人頭部標準模型。其他人種的標準模型同理。然后，根據(jù)原始人像的人種確定標準模型的種類，用于后續(xù)的擬合。
[0126]此外，為了保證建模的精確可靠，原始人像也需要滿足一定條件。首先，為了盡可能完整地保留人臉的相貌信息，所述原始人像應為滿足一預設分辨率條件的正面人臉圖像。其次，在人臉圖像的采集過程中應注意光線的控制，暗光下采集的人臉圖像無法準確獲得膚色信息，且可能導致人臉標定出現(xiàn)誤差，降低建模后人臉模型的相似度。因而，所述原始人像應滿足一預設的分辨率條件以及一預設的左右臉明暗差值條件。
[0127]骨骼點確定單元2用于根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點。
[0128]特征點標記單元3用于在所述原始人像上標記特征點并記錄其坐標信息。
[0129]骨骼點確定單元2與特征點標記單元3所實現(xiàn)的信息處理中包括特征點這一概念，主要指的是人臉定位和識別技術中，用于標定出人臉臉型、眉毛、眼睛、鼻子、嘴巴等對相貌有突出特征意義的點，稱為特征點。基于不同的人臉標定技術研究結果，有不同的特征點模型可供選用，本實施方式采用的是按照人臉常識劃分出7個有意義的特征(人臉外部輪廓、左右眉、左右眼、鼻子、嘴)的83個特征點系統(tǒng)。在其他實施方式中，還可以采用現(xiàn)有技術中的其他的特征點標定方法。而骨骼關鍵點這一概念，則是指特征點中那些在網(wǎng)格形變中將會對人臉輪廓和五官產(chǎn)生較大影響的點，獲取骨骼關鍵點的方法通常是對人臉網(wǎng)格模型進行形變實驗，分析各特征點對網(wǎng)格形變的影響，符合預設形變量條件的被確定為骨豁關鍵點。
[0130]變換單元4用于對所述原始人像做第一變換，所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換；
[0131]本實施方式中，所述預設標準位置為特征點中的左右瞳孔；
[0132]變換單元4對原始人像的所述第一變換包括旋轉、縮放或平移；
[0133]所述旋轉具體包括:旋轉所述原始人像,使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致；
[0134]所述縮放具體包括:縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致；
[0135]所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
[0136]實際上，變換單元4所做的第一變換是一種對輸入的原始人像的預處理工作，主要通過對所述原始人像進行旋轉、縮放、平移或裁剪處理，使其一預設位置(本實施方式中為瞳孔位置)與標準模型展開所得的標準人像的預設位置(瞳孔)對齊。上述旋轉、縮放、平移的步驟均可以矩陣處理的形式表示，因此對人像中標定的特征點也可以與之相同的矩陣進行相應的坐標變換，以獲取在新圖像中的坐標位置。
[0137]變換單元4還用于對所述標準模型做第二變換，所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點；
[0138]進一步地,變換單元4所做第二變換具體包括如下步驟:
[0139]通過正射投影變換將標準模型的骨骼點投影至屏幕平面；
[0140]將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼占.
[0141]對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。
[0142]進一步地,變換單元4所做正射投影變換具體包括:
[0143]利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系；利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系；利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
[0144]紋理貼圖單元5用于將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；
[0145]映射單元6用于將經(jīng)第一變換的原始人像映射至所述紋理圖像。
[0146]進一步地，紋理貼圖單元5用于將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖；
[0147]映射單元6用于將經(jīng)第一變換的原始人像映射至所述UV貼圖。
[0148]進一步地，映射單元6將經(jīng)第一變換的原始人像映射至所述UV貼圖具體包括:
[0149]以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
[0150]此外，優(yōu)選地，所述的三維人臉建模裝置中，還包括膚色匹配單元7，所述膚色匹配單元7用于選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值；并利用所述膚色采樣值對所述UV貼圖做變色處理。
[0151]進一步地，膚色匹配單元7利用所述膚色采樣值對所述UV貼圖做變色處理具體包括:
[0152]利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
[0153]由于通常的人像受采集環(huán)境因素影響存在不同程度的陰影和高光，這在一定程度上會影響真實膚色的表現(xiàn)，而為了使建模后模型的顏色更接近人臉的真實膚色，需要對皮膚顏色進行采樣。例如，利用人臉標定的結果，選取鼻部兩側與面部特征點之間的區(qū)域進行采樣，計算兩個區(qū)域顏色的均值作為膚色的采樣值，再利用膚色采樣值進一步進行變色處理。
[0154]另外，實際上UV貼圖是被定義的一個二維紋理坐標系統(tǒng)，用于確定如何將一個紋理圖像放置于三維模型的表面。在其他實施方式中，亦可采用其他可實現(xiàn)相同目的的坐標系統(tǒng)或方法來實現(xiàn)標準模型向表面紋理圖像的變換。
[0155]本實施方式采用骨骼對齊的方式，利用人臉特征點的坐標來驅動標準模型上的骨骼關鍵點進行對齊操作，可以有效地擬合出真實的人臉形狀。根據(jù)不同人種頭部、臉部特征的不同建立差異化的人體頭部標準模型，能夠盡可能地減少擬合產(chǎn)生的誤差，提高人臉輪廓和面部特征的還原程度。在進行骨骼對齊時，本實施方式提出了以瞳孔為對齊基準將標準化后的人臉圖像與標準貼圖進行瞳孔的預對齊處理，后續(xù)工作只需將骨骼點進行平移即可完成對齊工作，有效地簡化了模型擬合的計算。此外，利用用戶輸入的人臉圖像進行膚色采樣處理和計算，將貼圖的顏色根據(jù)膚色的采樣值進行泊松融合，在保留源圖像細節(jié)的基礎上使人臉模型上的膚色能夠與采樣的顏色值相匹配，使模型在整體上能夠較好地還原人臉的顏色。同時，本實施方式基于對人臉網(wǎng)格模型進行的分析，提取其中對人臉輪廓和五官特征影響較大的特征點作為骨骼關鍵點，根據(jù)這些關鍵點來擬合人臉的輪廓和五官特征。綜上所述，本實施方式提供的三維人臉建模裝置能夠實現(xiàn)具有高通用性與靈活性、操作簡便、成本低廉、擬合效果精確真實、快速、自動化的三維人臉建模功能。
[0156]需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下，由語句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的要素。此夕卜，在本文中，“大于”、“小于”、“超過”等理解為不包括本數(shù)；“以上”、“以下”、“以內”等理解為包括本數(shù)。
[0157]本領域內的技術人員應明白，上述各實施例可提供為方法、裝置、或計算機程序產(chǎn)品。這些實施例可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。上述各實施例涉及的方法中的全部或部分步驟可以通過程序來指令相關的硬件來完成，所述的程序可以存儲于計算機設備可讀取的存儲介質中，用于執(zhí)行上述各實施例方法所述的全部或部分步驟。所述計算機設備，包括但不限于:個人計算機、服務器、通用計算機、專用計算機、網(wǎng)絡設備、嵌入式設備、可編程設備、智能移動終端、智能家居設備、穿戴式智能設備、車載智能設備等；所述的存儲介質，包括但不限于:RAM、ROM、磁碟、磁帶、光盤、閃存、U盤、移動硬盤、存儲卡、記憶棒、網(wǎng)絡服務器存儲、網(wǎng)絡云存儲等。
[0158]上述各實施例是參照根據(jù)實施例所述的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合?？商峁┻@些計算機程序指令到計算機設備的處理器以產(chǎn)生一個機器，使得通過計算機設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0159]這些計算機程序指令也可存儲在能引導計算機設備以特定方式工作的計算機設備可讀存儲器中，使得存儲在該計算機設備可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0160]這些計算機程序指令也可裝載到計算機設備上，使得在計算機設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0161]盡管已經(jīng)對上述各實施例進行了描述，但本領域內的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改，所以以上所述僅為本發(fā)明的實施例，并非因此限制本發(fā)明的專利保護范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的【技術領域】，均同理包括在本發(fā)明的專利保護范圍之內。
【權利要求】
1.一種三維人臉建模方法，包括步驟: 獲取原始人像和標準模型； 根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點； 在所述原始人像上標記特征點并記錄其坐標信息； 對所述原始人像做第一變換，所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換； 對所述標準模型做第二變換，所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點； 將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像； 將經(jīng)第一變換的原始人像映射至所述紋理圖像。
2.如權利要求1所述的三維人臉建模方法中，所述“將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像；將經(jīng)第一變換的原始人像映射至所述紋理圖像”具體包括: 將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖； 將經(jīng)第一變換的原始人像映射至所述UV貼圖。
3.如權利要求2所述的三維人臉建模方法中，在步驟“將經(jīng)第一變換的原始人像映射至所述UV貼圖”之前還包括一對所述UV貼圖進行的膚色匹配處理，所述膚色匹配處理具體包括: 選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值； 利用所述膚色采樣值對所述UV貼圖做變色處理。
4.如權利要求3所述的三維人臉建模方法中，步驟“利用所述膚色采樣值對所述UV貼圖做變色處理”具體包括: 利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
5.如權利要求2或3所述的三維人臉建模方法中，所述“將經(jīng)第一變換的原始人像映射至所述UV貼圖”具體包括: 以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
6.如權利要求1或2所述的三維人臉建模方法中，所述預設標準位置為特征點中的左右瞳孔； 對原始人像的所述第一變換包括旋轉、縮放或平移； 所述旋轉具體包括:旋轉所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致； 所述縮放具體包括:縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致； 所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
7.如權利要求1或2所述的三維人臉建模方法中，所述第二變換具體包括如下步驟: 通過正射投影變換將標準模型的骨骼點投影至屏幕平面； 將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點； 對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。
8.如權利要求7所述的三維人臉建模方法中，所述正射投影變換具體包括: 利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系； 利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系； 利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
9.如權利要求1或2所述的三維人臉建模方法中，所述標準模型為與所述原始人像人種匹配的標準模型。
10.如權利要求1或2所述的三維人臉建模方法中，所述原始人像滿足一預設的分辨率條件或一預設的明暗差值條件。
11.一種三維人臉建模裝置，包括輸入單元、骨骼點確定單元、特征點標記單元、變換單元、紋理貼圖單元和映射單元； 所述輸入單元用于獲取原始人像和標準模型； 骨骼點確定單元用于根據(jù)標準模型獲取骨骼點信息，所述骨骼點為在標準模型網(wǎng)格形變時形變量位于一預設區(qū)間的特征點； 特征點標記單元用于在所述原始人像上標記特征點并記錄其坐標信息； 變換單元用于對所述原始人像做第一變換，所述第一變換使所述原始人像上的預設標準位置與所述標準模型上的預設標準位置對齊，并對人像的骨骼點做同樣的坐標變換； 變換單元還用于對所述標準模型做第二變換，所述第二變換包括將標準模型上的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點； 紋理貼圖單元用于將經(jīng)第二變換的標準模型以預設方法表面展開為紋理圖像； 映射單元用于將經(jīng)第一變換的原始人像映射至所述紋理圖像。
12.如權利要求11所述的三維人臉建模裝置中，紋理貼圖單元用于將經(jīng)第二變換的標準模型以預設方法表面展開為UV貼圖； 映射單元用于將經(jīng)第一變換的原始人像映射至所述UV貼圖。
13.如權利要求12所述的三維人臉建模裝置中，還包括膚色匹配單元，所述膚色匹配單元用于選取原始人像上一個或多個預設區(qū)域，根據(jù)預設算法獲取膚色采樣值；并利用所述膚色采樣值對所述UV貼圖做變色處理。
14.如權利要求13所述的三維人臉建模裝置中，膚色匹配單元利用所述膚色采樣值對所述UV貼圖做變色處理具體包括: 利用所述膚色采樣值建立與UV貼圖相同大小的膚色采樣圖，并以所述UV貼圖為源圖片、所述膚色采樣圖為目標圖片進行泊松融合。
15.如權利要求12或13所述的三維人臉建模裝置中，映射單元將經(jīng)第一變換的原始人像映射至所述UV貼圖具體包括: 以預設尺寸的羽化蒙版為遮罩，將經(jīng)第一變換的原始人像通過羽化縫合方式映射至經(jīng)膚色匹配處理的UV貼圖上。
16.如權利要求11或12所述的三維人臉建模裝置中，所述預設標準位置為特征點中的左右瞳孔； 變換單元對原始人像的所述第一變換包括旋轉、縮放或平移； 所述旋轉具體包括:旋轉所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔水平位置一致； 所述縮放具體包括:縮放所述原始人像，使其左右瞳孔距離與標準模型對應的標準人像中的左右瞳孔距離一致； 所述平移具體包括:平移所述原始人像，使其左右瞳孔與標準模型對應的標準人像中的左右瞳孔對齊。
17.如權利要求11或12所述的三維人臉建模裝置中，變換單元所做第二變換具體包括如下步驟: 通過正射投影變換將標準模型的骨骼點投影至屏幕平面； 將標準模型的骨骼點的平面投影點平移至經(jīng)第一變換的原始人像的對應骨骼點； 對平移后的標準模型骨骼點平面投影點正射投影變換的逆變換。
18.如權利要求17所述的三維人臉建模裝置中，變換單元所做正射投影變換具體包括: 利用模型矩陣Model將標準模型的骨骼點從自定義坐標系轉換為世界坐標系； 利用觀察矩陣View將標準模型的骨骼點從世界坐標系轉換為視覺坐標系； 利用投影矩陣Project1n的正交投影將視覺坐標系去除Z軸坐標，使其落于屏幕平面。
19.如權利要求11或12所述的三維人臉建模裝置中，所述標準模型為與所述原始人像人種匹配的標準模型。
20.如權利要求11或12所述的三維人臉建模裝置中，所述原始人像滿足一預設的分辨率條件或一預設的明暗差值條件。
【文檔編號】G06T17/00GK104376594SQ201410687577
【公開日】2015年2月25日 申請日期:2014年11月25日 優(yōu)先權日:2014年11月25日
【發(fā)明者】吳擁民, 葉仲雯, 許凱杰, 何漢鑫, 蘇珠明, 李春數(shù), 陳吉, 劉德建, 陳宏展 申請人:福建天晴數(shù)碼有限公司