一種自動多視角人臉自拍圖像的三維人臉重建方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及計算機視覺領域，特別涉及一種自動多視角人臉自拍圖像的三維人臉 重建方法及系統(tǒng)。
【背景技術】
[0002] 人臉重建是三維重建的重要研究方向之一，在影視、游戲、三維人臉識別等領域有 著廣泛的應用前景，受到計算機圖形學、計算機視覺、機器視覺、計算機輔助設計等領域研 究者的重視。從數(shù)據(jù)采集的角度出發(fā)，三維人臉重建主要分為主動測距設備和被動成像設 備。主動測距設備如激光掃描儀，能夠掃描得到靜態(tài)物體精確的三維信息，然而其價格昂 貴、掃描時間長、掃描范圍有限，很難用于實時性要求較高的應用；相對的，深度攝像機能夠 實時采集動態(tài)物體，然而其對應生成的深度圖分辨率低、精度低、噪聲大。被動成像設備使 用最普遍的是攝像機，由于設備簡單價格低廉，且目前已存在大量二維人臉圖像，因此從多 視角二維人臉圖像中恢復三維人臉結(jié)構的方法得到廣泛關注。由于人臉圖像紋理稀疏，因 此需要解決特征點匹配過程中存在的二義性問題。
[0003] 文獻【Y.Lin,G.Medioni,andJ.Choi.Accurate3dfacereconstructionfrom weaklycalibratedwidebaselineimageswithprofilecontours.InComputer VisionandPatternRecognition(CVPR), 2010IEEEConferenceon,pages1490 - 1497. IEEE，2010.】提出一種弱標定條件下，基于寬基線的多視角人臉重建方法。該方法輸入五個 不同姿態(tài)（〇度正臉、正負45度、正負90度側(cè)臉）下的人臉圖像，。通過尋找任意三個相鄰 視角下穩(wěn)定的匹配點估計攝像機相對位置關系，再結(jié)合多視角顏色一致性、平滑性以及側(cè) 面人臉輪廓信息分別在圓柱坐標系下水平、垂直方向建立基于體素的目標函數(shù)并求解。但 是，實際應用中，自動獲取的側(cè)面輪廓往往無法滿足重建精度的要求；另一方面，從實驗結(jié) 果看到，該方法重建的人臉模型在某些視角下存在較大形變。由于人臉圖像紋理特征稀疏， 該類基于特征點匹配的方法在找不到對應點時便會失效。
[0004] 文獻【H.HanandA.K.Jain. 3dfacetexturemodelingfromuncalibrated frontalandprofileimages.InBiometrics:Theory,ApplicationsandSystems (BTAS)，2〇12IEEEFifthInternationalConferenceon,pages223 _23〇.IEEE, 2〇l2.】 提出了一種基于兩幅圖像（如〇度正臉和90度側(cè)臉）的三維人臉重建方法。該算法主要 基于三維形變模型（3DMM)，并結(jié)合人臉標記點：首先利用正面人臉標記點估算形變和紋理 參數(shù)；再進一步利用側(cè)面標記點進行模型修正。該算法同樣依賴于手動標記的側(cè)面人臉標 記點；同時，重建出來的人臉模型在某些視角（如45度）下存在一定程度的形變。另外，該 類基于3DMM的人臉重建方法需要結(jié)合一個對齊好的三維人臉數(shù)據(jù)庫，重建結(jié)果由人臉數(shù) 據(jù)庫線性疊加得到，因此該類方法依賴于對齊好的先驗數(shù)據(jù)庫，且缺乏描述三維人臉細節(jié) 的能力。
[0005] 現(xiàn)有的基于多視角圖像的人臉重建方法的不足主要為：1)由于人臉圖像紋理特 征稀疏的特殊性，基于傳統(tǒng)特征點匹配的方法在實際應用中不適用，很難用傳統(tǒng)的基于特 征點匹配的方法來獲得稠密的三維數(shù)據(jù)；2)需要繁瑣的人工交互；3)依賴于外部三維人臉 數(shù)據(jù)庫，且重建結(jié)果的精確度依賴于數(shù)據(jù)庫的豐富程度。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術中所存在的上述不足，提供一種自動多視角人臉 自拍圖像的三維人臉重建方法及系統(tǒng)，其可重建出稠密、精細的三維人臉模型，同時該重建 方法不依賴于外部數(shù)據(jù)庫，可實現(xiàn)全自動人臉重建，不要求用戶進行人工交互。
[0007] 為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術方案是：一種自動多視角人臉自拍圖 像的三維人臉重建方法，包括如下步驟：
[0008] 步驟一、對同一個人的多個視角的人臉圖像自動定位標記點；
[0009] 步驟二、根據(jù)定位出的標記點與參考人臉模型上的標記點建立目標函數(shù)求解攝像 機參數(shù)Pi;其中所述目標函數(shù)為
【主權項】
1. 一種自動多視角人臉自拍圖像的三維人臉重建方法，其特征在于，包括如下步驟： 步驟一、對同一個人的多個視角的人臉圖像進行自動標記點定位； 步驟二、根據(jù)定位出的標記點與參考人臉模型上的標記點建立目標函數(shù)求解攝像機參 數(shù)P;其中所述目標函數(shù)為_
xi為第i個人臉圖像Ii上定位的標 記點mi= {xl,x2,…，xn},Xi為參考人臉模型上的標記點Mi= {XI，X2,…，Xn},mi與Mi --對應，參數(shù)Pi表示三維點到圖像Ii的投影變換矩陣，n為標記點個數(shù)； 步驟三，建立重建目標函數(shù)E=Edata+EMlOT+Es_th，對目標函數(shù)優(yōu)化，使用多標簽圖像分 割算法求解該目標函數(shù)得到三維人臉模型。
2. 根據(jù)權利要求1所述的自動多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，重建目標函數(shù)定義為E=Edata+EralOT+Es_h; 其中，數(shù)據(jù)項為
i是二維圖像空間上的每個像素，\表示待估計模型 上像素i對應的深度，Di表示參考模型上像素i對應的深度；多視角顏色一致項為
>其中，（kpk2)表示不同視角對，Pk即視角k對應的投 i 影矩陣，表示像素i對應的三維空間中的三維點； 深度平滑項為
其中，N⑴是像素i所在的鄰域集，Xi、Xj分 " 9 別表示像素i，j對應的深度。
3. 根據(jù)權利要求1或2所述的自動多視角人臉自拍圖像的三維人臉重建方法，其特征 在于，所述步驟一中采用基于回歸的方法或基于局部優(yōu)化的方法對每個視角的人臉圖像自 動定位標記點，所述標記點包括內(nèi)外眼角、鼻尖、嘴角、輪廓等。
4. 根據(jù)權利要求3所述的自動多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，優(yōu)化目標函數(shù)E應滿足以下條件：a)輸出的三維人臉模型與參考人臉模型近似；b)輸 出的三維人臉模型與多視角的人臉圖像之間滿足顏色一致性；c)輸出的三維人臉模型局 部鄰域內(nèi)滿足深度變化平滑性。
5. 根據(jù)權利要求3所述的自動多視角人臉自拍圖像的三維人臉重建方法，其特征在 于，所述參考人臉模型上的標記點提前進行標記。
6. -種自動多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在于，包括： 標記點定位模塊，用于對同一個人的多個視角的人臉圖像自動定位標記點； 攝像機參數(shù)估計模塊，用于根據(jù)定位出的標記點與參考人臉模型上的標記點建立目 標函數(shù)求解攝像機參數(shù)P;其中所述目標函數(shù)為
xi為第i個人 臉圖像Ii上定位的標記點mi= {xl,x2,…，xn},Xi為參考人臉模型上的標記點Mi= {XI，X2,…，Xn}，mi與Mi--對應，參數(shù)Pi表示三維點到對應圖像的投影變換矩陣，n為 標記點個數(shù)；； 優(yōu)化求解模塊，用于對重建目標函數(shù)E=Edata+EralOT+Es_th優(yōu)化，使用多標簽圖像分割 算法求解該目標函數(shù)得到三維人臉模型。
7. 根據(jù)權利要求5所述的自動多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，重建目標函數(shù)為E=Edata+EralOT+Es_h; 其中，數(shù)據(jù)項為
i是二維圖像空間上的每個像素，\表示待估計模型 上像素i對應的深度，Di表示參考模型上像素i對應的深度； 多視角顏色一致項為
其中，（kpk2)表示不同視角對，Pk即視角k對應的投 影矩陣，Z嚴表示像素i對應的三維空間中的三維點； 深度平滑項為
其中，N(i)是像素i所在的鄰域集，Xi、Xj分 別表示像素i，j對應的深度。
8. 根據(jù)權利要求6或7所述的自動多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征 在于，所述標記點定位模塊采用基于回歸的方法或基于局部優(yōu)化的方法對每個視角的人臉 圖像自動定位標記點，所述標記點包括內(nèi)外眼角、鼻尖、嘴角、輪廓等。
9. 根據(jù)權利要求8所述的自動多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，所述優(yōu)化求解模塊優(yōu)化目標函數(shù)E應滿足以下條件：a)輸出的三維人臉模型與參考人 臉模型近似；b)輸出的三維人臉模型與多視角的人臉圖像之間滿足顏色一致性；c)輸出的 三維人臉模型局部鄰域內(nèi)滿足深度變化平滑性。
10. 根據(jù)權利要求8所述的自動多視角人臉自拍圖像的三維人臉重建系統(tǒng)，其特征在 于，所述參考人臉模型上的標記點提前進行標記。
【專利摘要】本發(fā)明公開了一種自動多視角人臉自拍圖像的三維人臉重建方法，包括：對同一個人的多個視角的人臉圖像自動定位標記點；根據(jù)定位出的標記點與參考人臉模型上對應的標記點建立目標函數(shù)求解攝像機參數(shù)；設計重建目標函數(shù)，將三維人臉重建問題轉(zhuǎn)換為馬爾科夫隨機場下的多標簽圖像分割問題，并使用多標簽圖像分割算法求解。發(fā)明方法可重建出稠密精細的三維人臉模型，同時該方法不依賴于外部數(shù)據(jù)庫，可實現(xiàn)全自動人臉重建，不要求用戶進行人工交互。
【IPC分類】G06T7-00
【公開號】CN104574432
【申請?zhí)枴緾N201510080860
【發(fā)明人】李靚
【申請人】四川川大智勝軟件股份有限公司
【公開日】2015年4月29日
【申請日】2015年2月15日