專利名稱：一種基于兩幅圖像的三維頭部建模方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)等技術(shù)領(lǐng)域，特別涉及一種基于正側(cè)面兩幅圖像的三維頭部形狀和紋理建模的技術(shù)。
背景技術(shù)：
利用數(shù)碼相機(jī)在不同角度進(jìn)行拍攝，可以獲取大量的二維人臉圖像。如果能夠從這些圖像中恢復(fù)出三維的人臉模型，在虛擬視頻會(huì)議、在線角色游戲和3D電影等領(lǐng)域都將獲得廣泛的應(yīng)用。但由于圖像三維結(jié)構(gòu)的丟失，從輸入圖像中完整地重建出三維臉部模型和結(jié)構(gòu)細(xì)節(jié)存在著很多的技術(shù)難題。在計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺領(lǐng)域，這是一個(gè)研究了很多年的問題，根據(jù)技術(shù)手段和所需圖像樣本數(shù)量的不同，已有的方法大致可以分為以下的兩類第一類是利用計(jì)算機(jī)視覺的重建技術(shù)，無需或僅需少量手動(dòng)交互的方法。當(dāng)大量人臉樣本存在時(shí)，通過統(tǒng)計(jì)學(xué)習(xí)一個(gè)可變的二維人臉模型，可以由模板匹配實(shí)現(xiàn)從單一圖像中恢復(fù)出三維人臉模型的技術(shù)。在該方法中，可變模型的初始位置需手工給定，而模型匹配的過程則通過目標(biāo)函數(shù)梯度相關(guān)方向的搜索自動(dòng)完成。該方法的缺點(diǎn)是從二維匹配做三維結(jié)構(gòu)恢復(fù)時(shí)，需要一個(gè)可變的三維模型作為先驗(yàn)，這只能使用昂貴的三維激光掃描設(shè)備才能準(zhǔn)確獲得，因而應(yīng)用受限。通過立體視覺匹配的技術(shù)，也可以從一段視頻序列中恢復(fù)出三維頭部模型來。這一方法，無需先驗(yàn)?zāi)Ｐ蛯W(xué)習(xí)和手動(dòng)交互，但是，對(duì)圖像序列跟蹤誤差和視覺匹配誤差很敏感。在缺乏監(jiān)督信息的條件下，由于匹配過程是一個(gè)全局非凸的迭代過程，當(dāng)視頻跟蹤存在誤差或給定的模型初始值存在小的誤差時(shí)，最終結(jié)果可能與期望的重建效果相差甚遠(yuǎn)。這類方法，雖然沒有交互的需求，但普遍存在著要求大量圖像樣本的缺點(diǎn)。此外，計(jì)算過程對(duì)初始值和圖像噪聲普遍較為敏感，進(jìn)一步限制了這類方法在實(shí)際中的應(yīng)用。第二類是基于計(jì)算機(jī)圖形學(xué)的交互式建模方法。這類方法基于一個(gè)表面參數(shù)化的三維頭部模型，通過表面網(wǎng)格變形達(dá)到建模的目的。其中，基于物理定律的網(wǎng)格形變是比較主流的技術(shù)。該方法假設(shè)模型網(wǎng)格是一個(gè)連續(xù)平滑的表面，滿足局部二階平滑、牛頓動(dòng)力方程、系統(tǒng)能量守恒等物理定律。當(dāng)用戶交互調(diào)整某部分時(shí)，表面便在這些定律的約束下通過計(jì)算變換到新的形狀。由于這些物理能量項(xiàng)之間存在著復(fù)雜的相互制約的關(guān)系，往往需要多次手工調(diào)整才能保證新形狀的真實(shí)性。另外，由于一些局部細(xì)節(jié)的調(diào)整需要一些美學(xué)專業(yè)的基礎(chǔ)，對(duì)于普通的用戶來說，需要多次重復(fù)交互試驗(yàn)才能取得較好的效果，因而時(shí)間消耗更長(zhǎng)。融合基于視覺與基于運(yùn)動(dòng)捕捉數(shù)據(jù)重定向的建模方法可以大大減輕交互的任務(wù)， 且能夠強(qiáng)調(diào)臉部細(xì)節(jié)的重建，但由于涉及運(yùn)動(dòng)捕捉設(shè)備，該方法的使用成本很高，難以普及。對(duì)于這類方法，僅需兩幅不同角度的圖像即可完成建模過程，但存在較多的交互要求， 往往給用戶帶來諸多麻煩。綜上所述，現(xiàn)有的三維頭部建模技術(shù)遠(yuǎn)未成熟，還無法從給定的少量圖像中，無需或僅需少量手動(dòng)交互，即可恢復(fù)出三維臉部模型及其細(xì)節(jié)。如何在無需先驗(yàn)訓(xùn)練樣本的情況下，從不多于兩幅圖像中完整地重建出任意用戶的頭部形狀和細(xì)節(jié)仍是一個(gè)頗具挑戰(zhàn)性的難題。

發(fā)明內(nèi)容
本發(fā)明的目的旨在盡可能減少用戶交互量和所需圖像數(shù)量的前提條件下，基于兩幅圖像恢復(fù)出用戶三維人臉的真實(shí)感表面，為此提供一種三維頭部建模的新方法。為達(dá)成所述目的，本發(fā)明提供一種基于兩幅圖像的三維頭部建模方法的步驟包括步驟Sl 調(diào)整三維模型的三維位置與姿態(tài)角度，使其與給定的兩幅圖像的用戶臉部姿態(tài)近似對(duì)應(yīng)一致；步驟S2 交互調(diào)整包含11個(gè)控制點(diǎn)的臉部輪廓區(qū)域的位置，使其與給定圖像的用戶臉部形狀對(duì)應(yīng)一致；步驟S3 在輪廓控制點(diǎn)調(diào)整的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算所有非控制點(diǎn)的形變，保持表面連續(xù)平滑；步驟S4:交互調(diào)整眼眉(6個(gè))、眼睛(8個(gè))、鼻子0個(gè))與嘴部(6個(gè))控制點(diǎn)的位置，使其與給定圖像的用戶五官區(qū)域?qū)?yīng)一致；步驟S5 在五官控制點(diǎn)調(diào)整的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算所有非控制點(diǎn)的形變，保持表面連續(xù)平滑；步驟S6 計(jì)算形變后模型的包絡(luò)圓柱紋理坐標(biāo)，進(jìn)而通過獲取輸入人臉圖像中的顏色值，合成紋理圖像并貼至模型表面，生成具有真實(shí)感的頭部模型。本發(fā)明的所述方法針對(duì)三維頭部建模問題，可實(shí)現(xiàn)基于正側(cè)面兩幅圖像的三維人臉模型的完整重建。優(yōu)點(diǎn)體現(xiàn)在1)該方法只需兩幅輸入人臉圖像，且僅需要對(duì)少量控制點(diǎn)的交互操作，完全符合實(shí)際的應(yīng)用需求；幻該方法利用移動(dòng)最小二乘法計(jì)算模型表面的形變，具有方法簡(jiǎn)單實(shí)用、易于編程等特點(diǎn)，支持頂點(diǎn)密集模型的實(shí)時(shí)形變操作；3)該方法通過對(duì)控制點(diǎn)分組，實(shí)現(xiàn)了分層的移動(dòng)最小二乘計(jì)算，并進(jìn)一步通過確定恰當(dāng)?shù)钠交撕瘮?shù)及尺度大小，實(shí)現(xiàn)了一次交互即可完成建模的過程，大大降低了手動(dòng)交互量。本發(fā)明突破了現(xiàn)有技術(shù)交互過多、需要大量訓(xùn)練樣本、計(jì)算噪聲敏感和成本代價(jià)高等難題，實(shí)現(xiàn)了基于正側(cè)面兩幅圖像的三維頭部形狀和結(jié)構(gòu)的建模。該方法可應(yīng)用于基于數(shù)碼相機(jī)、手持?jǐn)z像機(jī)、網(wǎng)絡(luò)攝像頭等多種設(shè)備拍攝的人臉圖像的三維重建，在虛擬現(xiàn)實(shí)會(huì)議、在線角色游戲和 3D影視等領(lǐng)域具有廣泛的應(yīng)用前景。


圖1是本發(fā)明提出的基于兩幅圖像的三維頭部建模方法的總體流程圖。圖2是移動(dòng)最小二乘法的可視化示意圖。圖3是臉部語義特征控制點(diǎn)的定義、分組和分層示意圖。圖4是基于二維仿射變換和三維剛性變換的移動(dòng)最小二乘法的結(jié)果對(duì)比圖。圖5是不同平滑核函數(shù)在不同尺度下的影響區(qū)域圖。圖6是紋理坐標(biāo)的計(jì)算示意圖。圖7是三維建模結(jié)果的局部細(xì)節(jié)對(duì)比圖。
圖8是基于真實(shí)采集圖像的三維頭部建模結(jié)果。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。如圖1所示，本發(fā)明提供了一種基于兩幅圖像的三維頭部建模方法，具體包括以下步驟如圖1所示，本發(fā)明的輸入數(shù)據(jù)為正側(cè)面兩幅人臉圖像和一個(gè)通用的三維頭部模型。正側(cè)面人臉圖像可由用戶自行利用網(wǎng)絡(luò)攝像頭拍攝，或收集日常的數(shù)碼相片獲得。而通用的三維頭部模型是由2 個(gè)三維頂點(diǎn)構(gòu)成，后續(xù)的形變過程均自該模型開始。步驟Sl 調(diào)整三維頭部模型的三維位置與姿態(tài)角度，使其與給定的兩幅人臉圖像的用戶臉部位置、姿態(tài)近似對(duì)應(yīng)一致。為了消除姿態(tài)對(duì)頭部建模的影響，我們?cè)试S用戶交互式調(diào)整三維頭部模型的三維姿態(tài)，使其與給定的人臉圖像近似配準(zhǔn)。調(diào)整過程需要先將三維頭部模型中心移到正面臉部圖像的中心位置，然后改變模型的大小使外輪廓與正面臉部圖像中的外輪廓對(duì)齊，最終， 調(diào)整模型的姿態(tài)角度使其與側(cè)面臉部圖像的姿態(tài)角度近似一致。步驟S2 調(diào)整三維頭部模型中臉部輪廓區(qū)域控制點(diǎn)的位置，使其與給定圖像的用戶臉部形狀對(duì)應(yīng)一致。所述臉部輪廓區(qū)域包含11個(gè)控制點(diǎn)，圖3給出了三維頭部模型臉部輪廓區(qū)域所包含的11個(gè)控制點(diǎn)的位置定義，其中，8個(gè)控制點(diǎn)用來定義臉部的外輪廓，剩余3個(gè)控制點(diǎn)用于定義臉部的中心線。該步驟中，我們同樣允許用戶對(duì)三維頭部模型中臉部輪廓區(qū)域的位置進(jìn)行交互式調(diào)整，在交互式調(diào)整的過程中，用戶僅需調(diào)整外輪廓左側(cè)的5個(gè)和中心線上的3個(gè)控制點(diǎn)，臉部外輪廓右側(cè)的3個(gè)控制點(diǎn)會(huì)根據(jù)對(duì)稱性自動(dòng)調(diào)整到相應(yīng)的位置。步驟S3 在調(diào)整臉部輪廓區(qū)域控制點(diǎn)的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算三維頭部模型中所有非控制點(diǎn)的形變，以保持三維頭部模型表面的連續(xù)平滑。移動(dòng)最小二乘法是處理離散數(shù)據(jù)插值的有效工具，移動(dòng)最小二乘法將模型建模看成是在給定控制數(shù)據(jù)點(diǎn)集及形變的條件下，插值計(jì)算剩余數(shù)據(jù)點(diǎn)位置的問題。本發(fā)明利用移動(dòng)最小二乘法計(jì)算三維模型中所有非控制點(diǎn)的局部形變。圖2是移動(dòng)最小二乘法的算法可視化示意圖。如圖2所示，ν表示模型的頂點(diǎn)坐標(biāo)，Pi表示其中的控制頂點(diǎn)坐標(biāo)，Cli為其形變后的坐標(biāo)。從給定的模型頂點(diǎn)中，首先選取一個(gè)小規(guī)模的控制點(diǎn)子集，進(jìn)行手工調(diào)整。設(shè)P表示該控制點(diǎn)子集，而q表示它們調(diào)整后的新位置。對(duì)于給定的模型上的任一其它頂點(diǎn)V，我們通過最小化下面的函數(shù)來求解描述該點(diǎn)的最優(yōu)的局部線性變換函數(shù)Lv(X)
權(quán)利要求
1.一種基于兩幅人臉圖像的三維頭部建模方法，其特征在于，包括以下步驟步驟Sl 調(diào)整三維頭部模型的三維位置與姿態(tài)角度，使其與給定的兩幅人臉圖像的用戶臉部位置、姿態(tài)對(duì)應(yīng)一致；步驟S2 調(diào)整三維頭部模型中臉部輪廓區(qū)域控制點(diǎn)的位置，使其與給定圖像的用戶臉部形狀對(duì)應(yīng)一致；步驟S3 在調(diào)整臉部輪廓區(qū)域控制點(diǎn)的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算三維頭部模型中所有非控制點(diǎn)的局部形變；步驟S4:交互調(diào)整眼眉、眼睛、鼻子與嘴部區(qū)域控制點(diǎn)的位置，使這四個(gè)區(qū)域與給定圖像的用戶五官區(qū)域?qū)?yīng)一致；步驟S5 在調(diào)整五官控制點(diǎn)的同時(shí)，利用移動(dòng)最小二乘法實(shí)時(shí)計(jì)算所有非控制點(diǎn)的形變；步驟S6 計(jì)算形變后模型的包絡(luò)圓柱紋理坐標(biāo)，進(jìn)而通過獲取輸入人臉圖像中的顏色值，合成紋理圖像并貼至模型表面，生成具有真實(shí)感的頭部模型。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2中的臉部輪廓區(qū)域包含11個(gè)控制點(diǎn)，其中，8個(gè)控制點(diǎn)用來定義臉部的外輪廓，3個(gè)控制點(diǎn)用于定義臉部的中心線。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3中使用的移動(dòng)最小二乘法的目標(biāo)函數(shù)為
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4中眼眉、雙眼、鼻子與嘴部區(qū)域控制點(diǎn)數(shù)分別為6個(gè)、8個(gè)、4個(gè)和6個(gè)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，臉部區(qū)域控制點(diǎn)組成的集合P分為五組子集合P = P1 U P2 U P3 U P4 U P5，其中，P1為臉部輪廓區(qū)域控制點(diǎn)集，P2為臉部眼眉區(qū)域控制點(diǎn)集，P3為臉部雙眼區(qū)域控制點(diǎn)集，P4為臉部鼻子區(qū)域控制點(diǎn)集，P5為臉部嘴部區(qū)域控制點(diǎn)集；這五組控制點(diǎn)集之間沒有交集，即滿足
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在調(diào)整控制點(diǎn)的過程中，五組控制點(diǎn)集分為兩層=L1= {PJ ^P L2= {P2，P3，P4，P5}，且設(shè)定1^驅(qū)動(dòng)的形變計(jì)算影響L2的結(jié)果，但1^2驅(qū)動(dòng)的形變對(duì)L1卻無影響。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述移動(dòng)最小二乘法所使用的局部線性變換函數(shù)為三維歐氏剛性變換。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述移動(dòng)最小二乘法所使用的加權(quán)核函數(shù)為尺度控制參數(shù)h = 0. 2時(shí)的高斯函數(shù)和h = 0. 5時(shí)的Wendland函數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，通過比較不同加權(quán)核函數(shù)在不同尺度下對(duì)每一組控制點(diǎn)的影響域圖來選擇所述加權(quán)核函數(shù)。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S6具體包括以下步驟步驟S61 計(jì)算形變后模型頂點(diǎn)在其包絡(luò)圓柱表面的位置，將圓柱表面展開作為紋理圖像，即得模型頂點(diǎn)所對(duì)應(yīng)的紋理坐標(biāo)；步驟S62 對(duì)于非頂點(diǎn)對(duì)應(yīng)的紋理像素，首先通過計(jì)算相對(duì)坐標(biāo)找到它所屬的紋理圖像上的三角形，進(jìn)而向該三角形對(duì)應(yīng)的三維三角面片做反向投影，獲得該像素對(duì)應(yīng)的三維位置；步驟S63 根據(jù)模型點(diǎn)在輸入人臉圖像中的投影位置，獲取紋理坐標(biāo)點(diǎn)的對(duì)應(yīng)顏色值， 從而合成彩色的紋理圖像；步驟S64 通過紋理貼圖將生成的彩色紋理圖像映射到形變后的三維模型表面，從而生成具有真實(shí)感的三維頭部模型。
全文摘要
本發(fā)明公開了一種由兩幅圖像恢復(fù)出用戶三維臉部表面模型的建模方法，該方法包括交互式調(diào)整預(yù)定義的控制點(diǎn)位置匹配臉部特征，得到初始對(duì)應(yīng)點(diǎn)集；將控制點(diǎn)按語義分層，并利用基于頂點(diǎn)三維剛性變化的移動(dòng)最小二乘算法，從給定的初始點(diǎn)集來插值計(jì)算所有非控制頂點(diǎn)的形變，得到連續(xù)平滑的真實(shí)感三維模型表面；計(jì)算形變后模型的包絡(luò)圓柱紋理坐標(biāo)，從輸入人臉圖像中提取顏色值，合成紋理圖像并貼至模型表面；產(chǎn)生紋理真實(shí)的三維頭部模型。本發(fā)明解決了現(xiàn)有三維建模技術(shù)需要多幅輸入圖像或需要過多復(fù)雜手動(dòng)交互操作的難題，可實(shí)現(xiàn)基于正側(cè)兩幅普通分辨率圖像的三維頭部真實(shí)模型的建立。
文檔編號(hào)G06T17/00GK102426712SQ20111034367
公開日2012年4月25日 申請(qǐng)日期2011年11月3日 優(yōu)先權(quán)日2011年11月3日
發(fā)明者潘春洪, 王海波 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所