本發(fā)明涉及雙目立體視覺技術(shù)領(lǐng)域，尤其涉及一種基于雙目立體視覺的人臉三維重建方法。

背景技術(shù)：

人臉的三維結(jié)構(gòu)信息廣泛的應(yīng)用在人臉圖像處理中，例如人臉識別、人臉跟蹤、人臉對齊等方面。在過去幾年，國內(nèi)外研究者提出了許多人臉三維重建的方法，一類方法是基于硬件設(shè)備進行三維人臉結(jié)構(gòu)的采集，如使用三維激光掃描儀、結(jié)構(gòu)光掃描儀等。這類方法能夠獲得精度較高的人臉三維結(jié)構(gòu)數(shù)據(jù)，但是需要使用價格昂貴的硬件設(shè)備，使得此方法具有造價高、不靈活、復(fù)雜度高等諸多限制，并不適合應(yīng)用于普通場合。另一類方法是基于視頻或者基于多角度照片的三維人臉重建方法，這類方法成本低，使用靈活，能夠應(yīng)用在日常生活中。

基于雙目立體視覺的人臉三維重建屬于第二類方法中的一種，如何使用雙目立體圖像來重建人臉的三維結(jié)構(gòu)仍然是一個有挑戰(zhàn)的問題，這種方法只使用一對圖像，它們來自雙目攝像頭的左攝像頭和右攝像頭，從而對人臉的三維信息進行恢復(fù)。目前存在很多雙目匹配的方法，包含全局立體匹配算法和局部立體匹配算法，如BM算法、SGM算法、Meshstereo算法等。但是人臉區(qū)域的低紋理問題是人臉三維重建主要需要解決的問題。因此，提出了專門針對人臉結(jié)構(gòu)的雙目立體匹配方法，如基于人臉先驗的塊匹配方法、基于種子點增長法等進行三維人臉結(jié)構(gòu)的恢復(fù)，這類方法采用高分辨率(1380是人臉區(qū)域的的攝像頭采集設(shè)備，獲得較高準確的結(jié)果，或者采取普通分辨率(640采集設(shè)備，的攝像頭，但是獲得的人臉精度比較差。由于人臉是曲面結(jié)構(gòu)，而基于視差平面的立體匹配算法針對曲面結(jié)構(gòu)的能夠進行很好的恢復(fù)。結(jié)合人臉初始結(jié)構(gòu)視差，通過立體匹配算法獲取人臉的三維結(jié)構(gòu)。

技術(shù)實現(xiàn)要素：

鑒于上述技術(shù)問題，本發(fā)明提供了一種基于雙目立體視覺的人臉三維重建方法。

根據(jù)本發(fā)明的一個方面，提供了一種基于雙目立體視覺的人臉三維重建方法

該雙目立體視覺的人臉三維重建方法包括：

步驟A，構(gòu)建雙目立體視覺系統(tǒng)，其中，所述雙目立體視覺系統(tǒng)包括左攝像裝置和右攝像裝置；

步驟B，利用所述雙目立體視覺系統(tǒng)采集人臉圖像，由左攝像裝置得到左圖像，由右攝像裝置得到右圖像；對左圖像和右圖像進行立體校正；檢測左圖像和右圖像中的人臉區(qū)域；

步驟C，對于左圖像和右圖像中的人臉區(qū)域，進行人臉關(guān)鍵點的定位和匹配；

步驟D，利用匹配的人臉關(guān)鍵點進行臉部稠密視差初始化，得到初始化視差；

步驟E，通過立體匹配算法平滑初始化視差；以及

步驟F，結(jié)合平滑后的初始化視差進行人臉三維重建。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，左攝像裝置和右攝像裝置為相同型號的相機或攝像頭：

步驟A包括：

子步驟A1，對左攝像裝置和右攝像裝置進行標定，得到兩者的內(nèi)參數(shù)，畸變參數(shù)和對應(yīng)三維點的外參數(shù)；基于左右攝像裝置對應(yīng)三維點的外參數(shù)，得到雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T；

子步驟A2，基于左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣；

其中，左校正矩陣用于對左圖像進行立體校正，右校正矩陣用于對右圖像進行立體校正，經(jīng)過左校正矩陣處理后的左圖像中的點與經(jīng)過右校正矩陣處理后的右圖像中的匹配點在同一條掃描線上；

步驟B中對左圖像和右圖像進行立體校正包括：利用左校正矩陣對左圖像進行立體校正，利用右校正矩陣對右圖像進行立體校正。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子步驟A1包括：

子分步驟A1a，獲取10～20組包含不同角度和方向的平面棋盤圖像；

子分步驟A1b，對獲取的平面棋盤圖像進行棋盤監(jiān)測，定位出所述三維點所對應(yīng)的棋盤格中的角點；根據(jù)張正友標定方法和Brown算法，獲取左攝像裝置和右攝像裝置的內(nèi)參數(shù)、畸變參數(shù)和棋盤角點對應(yīng)的外參數(shù)；

其中，所述棋盤角點對應(yīng)的外參數(shù)包括：左攝像裝置的旋轉(zhuǎn)矩陣R_l和左攝像裝置的平移矩陣T_l；右攝像裝置的旋轉(zhuǎn)矩陣R_r和右攝像裝置的平移矩陣T_r；

子分步驟A1c，將角點Q輸入到左右攝像裝置的攝像裝置坐標系，對應(yīng)左圖和右圖的坐標點Q_l和Q_r，存在如下式關(guān)系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中，Q為角點Q在世界坐標系的三維坐標，左圖為左攝像裝置得到的圖像，右圖為右攝像裝置得到的圖像，推出下面關(guān)系：

R＝R_r(R_l)

廠＝T_r-RT_l

根據(jù)給定棋盤格的角點的對個聯(lián)合視圖，以及每個角點所對應(yīng)的外參數(shù)矩陣，求解出旋轉(zhuǎn)矩陣R和平移矩陣T；由于圖像噪聲和舍入誤差，每一對棋盤都會使得R和T的結(jié)果出現(xiàn)細小不同，選用R和T參數(shù)的中值作為真實結(jié)果的初始值，運用Levenberg-Marquardt迭代算法查找棋盤角點在兩個攝像裝置視圖上的最小投影誤差，返回旋轉(zhuǎn)矩陣R和平移矩陣T的結(jié)果。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子步驟A2中，利用Bouguet算法，左攝像裝置的內(nèi)參數(shù)和畸變參數(shù)、右攝像裝置的內(nèi)參數(shù)和畸變參數(shù)，以及求取的雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R和平移矩陣T，得到左校正矩陣和右校正矩陣。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟B中運用Haar-Adaboost分類器檢測左圖像和右圖像上的人臉區(qū)域。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟C包括：

子步驟C1，定位左圖像和右圖像中人臉區(qū)域的人臉關(guān)鍵點；

子步驟C2，匹配左圖像和右圖像中相關(guān)的人臉關(guān)鍵點，獲得人臉先驗的稀疏拓撲信息-左圖人臉形狀SL和右邊人臉形狀SR，其中左圖人臉形狀SL包含左臉關(guān)鍵點坐標{(lx_i，ly_i)，i∈[1，n]}，右邊人臉形狀SR包含右臉關(guān)鍵點坐標{(rx_i，ry_i)，i∈[1，n]}，n代表關(guān)鍵點的總數(shù)。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子步驟C1中，結(jié)合回歸樹集合ERT算法定位左圖像和右圖像的人臉關(guān)鍵點。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟D包括：

子步驟D1，計算左圖像和右圖像中匹配的人臉關(guān)鍵點的視差；

子步驟D2，利用左圖像和右圖像中匹配的人臉關(guān)鍵點的視差，計算左圖像和右圖像中除匹配的人臉關(guān)鍵點之外的其他點的視差，實現(xiàn)人臉視差的稠密化，得到初始化視差。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子步驟D1中，依據(jù)下式計算左圖像和右圖像中匹配的人臉關(guān)鍵點的視差：

其中，lx_i代表第i個人臉關(guān)鍵點在左圖像的所在的列，rx_i代表在右圖像中與其匹配的人臉關(guān)鍵點所在的列，視差D(p_i)代表相對應(yīng)的人臉關(guān)鍵點的列坐標差的絕對值，i＝1，2，3，......，n，n為匹配的關(guān)鍵點的個數(shù)。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子步驟D2包括：

子分步驟D2a，利用臉部定位出的關(guān)鍵點對臉部進行Delaunay三角剖分，將臉部劃分成n個三角形；

子分步驟D2b，對于每一個三角形，通過三角形的三個頂點視差獲得三角形內(nèi)點的視差，實現(xiàn)人臉視差的稠密化，得到初始化視差。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，子分步驟D2b中，通過三角形的三個頂點視差獲得三角形內(nèi)點的視差包括：

三角形的三個頂點為p1，p2，p3，對于三角形內(nèi)的點p，都存在一個u和v，使得p點與點p1，p2，p3存在關(guān)系如公式：

p_x＝(1-u-v)·p1_x+u·p2_x+v·p3_x

p_y＝(1-u-v)·p1_y+u·p2_y+v·p3_x

通過將p點的坐標(p_x，p_y)，p1點的坐標(p1_x，p1_y)，p2點的坐標(p2_x，p2_y)，p3點的坐標(p3_x，p3_y)代入公式解出u和v參數(shù)；

由公式進行插值運算得到點p的視差D(p)：

D(p)＝(1-u-V)·D(p1)+u·D(p2)+V·D(p3)。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟E包括：

子步驟E1，利用代價計算得到左右兩圖對應(yīng)點的相似度，得到左右兩圖對應(yīng)點的匹配代價；

子步驟E2，利用代價聚合計算，通過左右兩圖對應(yīng)點匹配代價，得到所述對應(yīng)點周圍點的聚合代價；

子步驟E3，選用最小聚合匹配代價的平面作為最優(yōu)平面，反求出像素點視差。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟E1匹配代價的計算方法為：

G點為中心點，G點的亮度值I(G)，N(G)代表以G為中心，半徑為d的方形鄰域內(nèi)，鄰域N(G)內(nèi)的像素點的亮度值I(G′)為鄰域N(G)內(nèi)的像素點的亮度值，若鄰域內(nèi)的點的G′的亮度值小于G，則點G′的位置上的值記為1，反之則為0，即為ε(G，G′)；

將鄰域內(nèi)的點的值串聯(lián)起來，完成變換，值為Rτ(G)，其公式如下：

對每一個點進行這樣的變換后，左右兩幅圖點與點的相似性則為計算對應(yīng)點的變換值的哈明距離H，距離越小，表示相似度越高，從而求出像素J，K之間的匹配代價為：

ρ(J，K)＝H(R(J)，R(K))；

所述子步驟E2中，所述代價聚合計算公式為：

其中K為一像素點，J為W_K下一點，W_K代表像素K的方形窗口，d_K＝a_fK_x+b_fK_y+c_f代表像素K點的視差，W(J，K)為權(quán)重函數(shù)；

所述權(quán)重函數(shù)W(J，K)考慮到方形窗口內(nèi)的邊緣問題，利用兩點的顏色相似度來定義權(quán)值函數(shù)，如果顏色相近則賦予高權(quán)重，反之，則賦予低權(quán)重，表示如公式所示：

其中，γ是定義的參數(shù)，||I_J-I_K||表示J和K的RGB顏色空間的L1范數(shù)。

子步驟3中，視差計算包括最優(yōu)平面計算，其計算公式為：

其中，F(xiàn)代表所有的視差平面，f_J作為J點的最優(yōu)平面，通過最優(yōu)平面的參數(shù)反求出像素的視差。

優(yōu)選的，本發(fā)明雙目立體視覺的人臉三維重建方法中，步驟F包括：

選取任意二維點S，其坐標為(x，y)，相關(guān)聯(lián)的視差d，將此點投影到三維中，三維坐標為(X/W，Y/W，Z/W)，得到矩陣：

其中，O為投影矩陣，

O中c_x表示主點左圖像的x坐標，c_y表示主點左圖像的y坐標，T_x表示兩個攝像裝置之間的基線長度，f代表攝像裝置的焦距，c_x′表示主點右圖像的x坐標；

通過上述公式求得像素點所對應(yīng)的三維坐標，從而得到人臉三維結(jié)構(gòu)。

從上述技術(shù)方案可以看出，本發(fā)明基于雙目立體視覺的人臉三維重建方法至少具有以下有益效果其中之一：

(1)本發(fā)明針對人臉的曲面結(jié)構(gòu)，采用視差平面的立體匹配算法，恢復(fù)更加平滑的人臉三維結(jié)構(gòu)；

(2)本發(fā)明采用人臉先驗結(jié)構(gòu)，以此為基礎(chǔ)初始化視差平面，提高了人臉三維重建結(jié)果的準確度；

(3)本發(fā)明采用普通攝像頭作為圖像的采集設(shè)備，能夠節(jié)約設(shè)備的成本。

附圖說明

圖1為本發(fā)明實施例基于雙目立體視覺的人臉三維重建方法的流程圖。

圖2為本發(fā)明實施例基于雙目立體視覺的人臉三維重建方法的子步驟A1的流程圖。

圖3為本發(fā)明實施例基于雙目立體視覺的人臉三維重建方法的子步驟D2的流程圖。

圖4為立體匹配視覺的幾何模型。

具體實施方式

本發(fā)明提供了一種基于雙目立體視覺的人臉三維重建方法。該人臉三維重建方法只使用一對圖像，它們來自雙目攝像頭的左攝像頭和右攝像頭，從而對人臉的三維信息進行恢復(fù)。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。

參照圖1至圖4對本發(fā)明的實施例進行說明。

下面結(jié)合附圖和具體實施方式來發(fā)明做出進一步描述。

如圖1所示，首先，利用兩臺攝像機搭建平行的雙目立體視覺系統(tǒng)，分別標定兩臺攝像機內(nèi)外參數(shù)，并校正雙目相機，使得相機的匹配點位于同一行，然后同時各拍攝人臉的一幅圖像，使用Viola-Jones人臉檢測方法，結(jié)合回歸樹集合(Ensemble ofRegression Trees，ERT)算法對左右圖像進行人臉關(guān)鍵點定位，接著匹配左右關(guān)鍵點，恢復(fù)人臉稀疏的視差估計，運用線性插值算法初步估計臉部稠密的視差，結(jié)合基于視差平面的Patchmatch立體匹配算法對得到的視差進行平滑處理，重建臉部稠密的視差。根據(jù)標定的參數(shù)和對應(yīng)點的視差，恢復(fù)出稠密的人臉三維點云信息。

下面對具體的實施過程分塊進行描述：

步驟A：構(gòu)建雙目立體視覺系統(tǒng)，其中，所述雙目立體視覺系統(tǒng)包括左攝像裝置和右攝像裝置；

利用兩個同等型號的攝像頭，平行放置，搭建雙目立體視覺系統(tǒng)。并對兩個攝像機進行參數(shù)標定及校正。

為了通過立體匹配算法重建出人臉的三維結(jié)構(gòu)，首先必須獲取攝像機的內(nèi)參數(shù)和兩個相機的相對基線參數(shù)，才能根據(jù)三角測量原理從像素點的視差恢復(fù)對應(yīng)的三維坐標。這就需要首先對相機進行標定。

子步驟A1：

對左攝像裝置和右攝像裝置進行標定，得到兩者的內(nèi)參數(shù)，畸變參數(shù)和對應(yīng)三維點的外參數(shù)；基于每個三維點對應(yīng)的左右攝像裝置的外參數(shù)矩陣，得到雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T和左右攝像裝置的相對基線參數(shù)。

本發(fā)明基于平面棋盤格標記物的攝像機標定方法。兩個攝像機獲取左右兩個輸入的棋盤圖像。根據(jù)張正友標定方法，獲取10到20組包含不同角度和方向的平面棋盤圖像。接著進行攝像機標定，首先對輸入對象進行棋盤檢測，然后定位出三維點對于棋盤格中的角點。

根據(jù)張正友的標定算法和Brown算法，分別獲取左右攝像機的內(nèi)參數(shù)、畸變參數(shù)和每個棋盤格上的每個角點的對應(yīng)的外參數(shù)，完成左右攝像機的標定和矯正。

這樣得出了空間一點與圖像中此點所對應(yīng)的關(guān)系。對于之前記錄的棋盤格上的某一角點Q，以及利用計算出的相對應(yīng)的外參數(shù)矩陣，包括對左相機的旋轉(zhuǎn)矩陣R_l和平移矩陣T_l，以及對右相機的旋轉(zhuǎn)矩陣R_r和平移矩陣T_r。

將Q點輸入到左右攝像機的攝像機坐標系，對應(yīng)左圖和右圖的坐標點Q_l和Q_r，存在如下式關(guān)系：

Q_l＝R_lQ+T_l

Q_r＝R_rQ+T_r

Q_l＝R^T(Q_r-T)

其中雙目相機相對的旋轉(zhuǎn)矩陣R和平移矩陣T，推出下面的簡單關(guān)系：

R＝R_r(R_l)

T＝T_r-RT_l

根據(jù)給定棋盤格的角點的對個聯(lián)合視圖，以及每個角點所對應(yīng)的外參數(shù)矩陣，可以求解出旋轉(zhuǎn)矩陣R和平移矩陣T。由于圖像噪聲和舍入誤差，每一對棋盤都會使得R和T的結(jié)果出現(xiàn)細小不同。選用R和T參數(shù)的中值作為真實結(jié)果的初始值，運用Levenberg-Marquardt迭代算法查找棋盤角點在兩個攝像機視圖上的最小投影誤差，并返回R和T的結(jié)果，從而得到雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R、平移矩陣T和左右攝像機的相對基線參數(shù)。

子步驟A2：

基于雙目立體視覺系統(tǒng)的旋轉(zhuǎn)矩陣R，平移矩陣T，左右相機的內(nèi)參數(shù)以及畸變參數(shù)矩陣，得到左校正矩陣和右校正矩陣。

由于攝像頭不能完全的有準確的共面行對準，所以對兩臺攝像機的圖像平面進行重投影，使得它們精確落在同一個平面上，而且圖像的行完全地對準到前向平行的結(jié)構(gòu)上。這樣的校正，可以簡化搜索范圍。經(jīng)過校正后的左右圖，使得左圖的點與右圖的相關(guān)的匹配點在同一條掃描線上。如果不進行極線校正，對于圖像上的某一點，需要計算此點的在對應(yīng)圖像上的極線，并在這條極線上搜索對應(yīng)的匹配點，這條線既不平行也不垂直，增大了計算的復(fù)雜度，也增加了搜索的范圍。此處選用Bouguet算法進行立體校正，利用上述得到的左右相機的內(nèi)參數(shù)矩陣，畸變參數(shù)矩陣以及雙目相機間的旋轉(zhuǎn)矩陣和平移矩陣，求解出左校正矩陣和右校正矩陣，使兩圖像中的每一幅重投影次數(shù)最小化，同時使得觀測面積最小化。

步驟B：

對于左圖像和右圖像中的人臉區(qū)域，進行人臉關(guān)鍵點的定位和匹配。

利用搭建的雙目立體視覺系統(tǒng)中的左右攝像頭采集人臉圖像，并使用人臉檢測算法與關(guān)鍵點定位算法對兩幅圖像進行人臉檢測與關(guān)鍵點定位。

子步驟B1：

運用Haar-Adaboost分類器檢測左右圖像上的人臉區(qū)域，結(jié)合回歸樹集合ERT算法定位出左圖像和右圖像的人臉關(guān)鍵點。

子步驟B2：

匹配左圖像和右圖像中相關(guān)的人臉關(guān)鍵點，獲得人臉先驗的稀疏拓撲信息-左圖人臉形狀SL和右邊人臉形狀SR，其中左圖人臉形狀SL包含左臉關(guān)鍵點坐標{(lx_i，ly_i)，i∈[1，n]}，右邊人臉形狀SR包含右臉關(guān)鍵點坐標{(rx_i，ry_i)，i∈[1，n]}，n代表關(guān)鍵點的總數(shù)。

步驟C：

利用匹配的人臉關(guān)鍵點進行臉部稠密視差初始化，得到初始化視差。

子步驟C1：

計算左圖像和右圖像中匹配的人臉關(guān)鍵點的視差：

由于左右圖像是經(jīng)過立體校正的，所以左右匹配的人臉關(guān)鍵點位于同一行。人臉關(guān)鍵點p_i的視差D(p_i)的計算如公式所示：

其中，lx_i代表人臉關(guān)鍵點在左圖像的所在的列，rx_i代表在右圖像中與其匹配的人臉關(guān)鍵點所在的列，視差D(p_i)代表相對應(yīng)的人臉關(guān)鍵點的列坐標差的絕對值。

但是對于人臉的結(jié)構(gòu)來說，這樣的視差太過稀疏，不能夠很好的描述人臉的結(jié)構(gòu)。

子步驟C2：

利用左圖像和右圖像中匹配的人臉關(guān)鍵點的視差，計算左圖像和右圖像中除匹配的人臉關(guān)鍵點之外的其他點的視差，實現(xiàn)人臉視差的稠密化，得到初始化視差。

子分步驟C2a：

利用臉部定位出的關(guān)鍵點對臉部進行Delaunay三角剖分，將臉部劃分成n個三角形。

子分步驟C2b：

對于每一個三角形，通過三角形的三個頂點視差獲得三角形內(nèi)點的視差

此處假設(shè)，位于同一三角形內(nèi)的點的視差與三角形三個頂點的視差成線性關(guān)系，從而通過一個三角形的三個頂點視差獲得三角形內(nèi)點的視差。如果三角形的三個頂點為p1，p2，p3。對于三角形內(nèi)的任意點p，都存在一個u和v，使得p點與點p1，p2，p3存在關(guān)系如公式

p＝(1-u-v)·p1+u·p2+v·p3

p點的坐標為(p_x，p_y)，p1點的坐標為(p1_x，p1_y)，p2點的坐標為(p2_x，p2_y)，p3點的坐標為(p3_x，p3_y)，它們滿足公式的關(guān)系，此時就能解出u和v參數(shù)。

p_x＝(1-u-v)·p1_x+u·p2_x+v·p3_x

p_y＝(1-u-v)·p1_y+u·p2_y+v·p3_y

從而由公式進行插值運算得到對p點的視差D(P)：

D(p)＝(1-u-v)·D(p1)+u·D(pp2)+v·D(p3)

得到了整個臉部稠密的初始視差。

步驟D：

通過立體匹配算法平滑初始化視差。

傳統(tǒng)的局部的立體算法以整數(shù)視差作為支持窗，并且假設(shè)同一支持窗內(nèi)的像素點具有相同的視差，但是這個假設(shè)對于曲面或者傾斜的表面不成立，這樣會導(dǎo)致前向平行的表面出現(xiàn)一定的偏差?；谝暡钇矫娴姆椒?，如Patchmatch方法，對于圖片上的像素(x₀，y₀)，對應(yīng)的視差為d，對應(yīng)的視差平面f，a_f，b_f，c_f表示平面f，單位向量表示平面的法向量。如圖2所示，立體匹配算法主要包含代價計算、代價聚合、視差計算和后處理四個步驟。

子步驟D1：

利用代價計算得到左右兩圖對應(yīng)點的相似度，得到左右兩圖對應(yīng)點的匹配代價。

匹配代價的計算直接影響算法精度和效率。經(jīng)過選擇，本專利采用census算法來計算對應(yīng)點的相似度，這個算法具有灰度不變性，使得像素灰度值的具體大小和編碼之間的相關(guān)性不強，只關(guān)注像素之間的大小關(guān)系，對噪聲具有一定的魯棒性。準則就是將鄰域內(nèi)的元素與中心元素作比較，具體的方法如下式所示：

以G點為中心點，將此點的亮度值I(G)與其鄰域N(G)內(nèi)的像素點的亮度值I(G”)進行比較。N(G)代表以G為中心，半徑為d的方形鄰域內(nèi)，若鄰域內(nèi)的點的G′的亮度值小于G，則點G′的位置上的值記為1，反之則為0，即為ε(G，G·)。將鄰域內(nèi)的點的值串聯(lián)起來，完成變換，值為R_τ(G)。對每一個點進行這樣的變換后，左右兩幅圖點與點的相似性則為計算對應(yīng)點的變換值的哈明距離片。距離越小，表示相似度越高。像素J，K之間的匹配代價ρ(J，K)＝H(R(J)，R(K))。

子步驟D2：

利用代價聚合計算，通過左右兩圖對應(yīng)點匹配代價，得到所述對應(yīng)點周圍點的聚合代價。

對于某一個像素點J在視差平面f下與其W_K范圍下點K的聚合視差代價m，如公式所示：

其中W_K代表像素K的方形窗口，d_K＝a_fK_x+b_fK_y+c_f代表像素K點的視差。平面參數(shù)a_f，b_f，c_f可通過公式轉(zhuǎn)換成平面單位法向量

權(quán)重函數(shù)W(J，K)考慮到方形窗口內(nèi)的邊緣問題，利用兩點的顏色相似度來定義權(quán)值函數(shù)，如果顏色相近則賦予高權(quán)重，反之，則賦予低權(quán)重，表示如公式所示：

其中，γ是定義的參數(shù)，||I_J-I_K||表示J和K的RGB顏色空間的L1范數(shù)。

子步驟D3：

選用最小聚合匹配代價的平面作為最優(yōu)平面，反求出像素點視差。

對于某個像素點J選用具有最小的聚合匹配代價m的平面f_J作為當前點的最優(yōu)平面，如公式所示：

F代表所有的視差平面，所對應(yīng)的解是無窮多的。通過下面的方式找到較優(yōu)的平面參數(shù)。首先初始化平面參數(shù)和視差參數(shù)，將求得的稠密人臉視差用來初始化參數(shù)d，將人臉結(jié)構(gòu)約束在視差中，其余參數(shù)隨機初始化。通過迭代進行空間傳播，視角傳播和平面細化三個步驟來優(yōu)化參數(shù)平面。

最后找到最優(yōu)的參數(shù)平面，反求出像素點所具有的視差。

步驟E：

結(jié)合平滑后的初始化視差進行人臉三維重建。

結(jié)合得到的相機內(nèi)參數(shù)，相機的相對基線參數(shù)，以及像素點所對應(yīng)的平滑后的初始視差。經(jīng)過校正后的雙目相機根據(jù)三角測量原則，如圖4所示，從下面公式，將任意一個二維點S，其坐標為(x，y)，和相關(guān)聯(lián)的視差d，將此點投影到三維中，三維坐標為(X/W，Y/W，Z/W)。

其中O為投影矩陣，

O中c_x表示主點左圖像的x坐標，c_y表示主點左圖像的y坐標，，T_x表示兩個攝像頭之間的基線長度，L代表相機的焦距，c_x′表示主點右圖像的x坐標，主點為主光線與圖像平面相交的點。

這樣通過以上的公式，可以得出像素點所對應(yīng)的三維坐標，以此可以得到人臉的三維結(jié)構(gòu)。

本發(fā)明針對人臉的曲面結(jié)構(gòu)，采用視差平面的立體匹配算法，恢復(fù)更加平滑的人臉三維結(jié)構(gòu)；采用人臉先驗結(jié)構(gòu)，以此為基礎(chǔ)初始化視差平面，提高了人臉三維重建結(jié)果的準確度。

至此，本發(fā)明實施例介紹完畢。

至此，已經(jīng)結(jié)合附圖對本實施例進行了詳細描述。依據(jù)以上描述，本領(lǐng)域技術(shù)人員應(yīng)當對本發(fā)明基于雙目立體視覺的人臉三維重建方法有了清楚的認識。

需要說明的是，在附圖或說明書正文中，未繪示或描述的實現(xiàn)方式，均為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式，并未進行詳細說明。此外，上述對各方法的定義并不僅限于實施例中提到的各種具體方式，本領(lǐng)域普通技術(shù)人員可對其進行簡單地更改或替換，

還需要說明的是，本文可提供包含特定值的參數(shù)的示范，但這些參數(shù)無需確切等于相應(yīng)的值，而是可在可接受的誤差容限或設(shè)計約束內(nèi)近似于相應(yīng)值。實施例中提到的方向用語，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向，并非用來限制本發(fā)明的保護范圍。此外，除非特別描述或必須依序發(fā)生的步驟，上述步驟的順序并無限制于以上所列，且可根據(jù)所需設(shè)計而變化或重新安排。并且上述實施例可基于設(shè)計及可靠度的考慮，彼此混合搭配使用或與其他實施例混合搭配使用，即不同實施例中的技術(shù)特征可以自由組合形成更多的實施例。

以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。