本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域，尤其是涉及一種基于灰度和深度信息的三維人臉重建方法。

背景技術(shù)：

3D人臉網(wǎng)格重建方法，可以用于罪犯監(jiān)控，在不需要罪犯指紋或者身份信息的情況下進(jìn)行人臉重構(gòu)，還可以用于三維打印，另外還可以用于三維人臉建模、動(dòng)畫(huà)制作等領(lǐng)域中，對(duì)各領(lǐng)域的影響重大。三維人臉識(shí)別相對(duì)于二維人臉識(shí)別，有著其對(duì)光照魯棒、受姿態(tài)以及表情等因素影響較小等優(yōu)點(diǎn)，因此在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提升之后，很多學(xué)者都將他們的研究投入到該領(lǐng)域中。

人臉灰度圖像容易受到光照變化的影響，而人臉深度圖像容易受到數(shù)據(jù)采集精度以及表情變化等影響，這些因素在一定程度上影響了人臉識(shí)別系統(tǒng)的穩(wěn)定性及準(zhǔn)確性。因此多模態(tài)融合系統(tǒng)越來(lái)越受到人們的關(guān)注。多模態(tài)系統(tǒng)通過(guò)進(jìn)行多模態(tài)數(shù)據(jù)的采集，可以利用每個(gè)模態(tài)數(shù)據(jù)的優(yōu)點(diǎn)，并通過(guò)融合策略來(lái)克服單模態(tài)系統(tǒng)的某些內(nèi)在弱點(diǎn)(如灰度圖像的光照，深度圖像的表情)，有效地提升了人臉識(shí)別系統(tǒng)的性能。

本發(fā)明通過(guò)融合灰度和深度信息獲得多模態(tài)系統(tǒng)通過(guò)進(jìn)行二維灰度信息和三維深度信息的采集，利用采集信息點(diǎn)通過(guò)匹配局部3D模型重建臉部形狀。通過(guò)融合策略來(lái)克服單模態(tài)系統(tǒng)的某些內(nèi)在弱點(diǎn)(如灰度圖像的光照，深度圖像的表情)，有效地提升了人臉識(shí)別系統(tǒng)的性能，使得人臉識(shí)別更加準(zhǔn)確快捷。采用3D級(jí)聯(lián)回歸，動(dòng)作變化中面中標(biāo)志保持一致，通過(guò)選擇致密的3D點(diǎn)集，臉部被完全標(biāo)記，避免標(biāo)志的位置發(fā)生變化，解決了動(dòng)作變化定位點(diǎn)不一致和自封閉的問(wèn)題；計(jì)算花費(fèi)大大減小。3D網(wǎng)格不含背景，通用性強(qiáng)，而且實(shí)時(shí)效果好。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)人臉灰度圖像容易受到光照變化的影響，而人臉深度圖像容易受到數(shù)據(jù)采集精度以及表情變化等影響的問(wèn)題，本發(fā)明的目的在于提供一種基于灰度和深度信息的三維人臉重建方法，通過(guò)融合灰度和深度信息獲得多模態(tài)系統(tǒng)，通過(guò)進(jìn)行二維灰度信息和三維深度信息的采集，利用采集信息點(diǎn)通過(guò)匹配局部3D模型重建臉部形狀。

為解決上述問(wèn)題，本發(fā)明提供一種基于灰度和深度信息的三維人臉重建方法，其主要內(nèi)容包括：

(一)對(duì)人臉灰度信息進(jìn)行識(shí)別；

(二)對(duì)人臉深度信息進(jìn)行識(shí)別；

(三)多模態(tài)人臉識(shí)別

(四)通過(guò)3D模型進(jìn)行匹配；

(五)對(duì)人臉進(jìn)行3D重建；

其中，所述的對(duì)人臉灰度信息進(jìn)行識(shí)別，包括如下步驟：

(1)特征區(qū)域定位，使用人眼檢測(cè)器獲取人眼區(qū)域，所述的人眼檢測(cè)器為層級(jí)分類器H，經(jīng)如下算法得到：

給定訓(xùn)練樣本集合S＝{(x₁,y₁),…,(x_m,y_m)}，弱空間分類器其中x_i∈χ為樣本向量，y_i＝±1為分類標(biāo)簽，m為樣本總數(shù)，初始化樣本概率分布

對(duì)t＝1,…,T中的每個(gè)弱分類器作如下操作：

對(duì)樣本空間χ進(jìn)行劃分，得到X₁,X₂,…,X_n；

其中ε為一小正常數(shù)；

計(jì)算歸一化因子，

在弱分類器空間中選擇一個(gè)，使得Z最小化

更新訓(xùn)練樣本概率分布

其中Z_t為歸一化因子，使得D_t+1為一個(gè)概率分布；

最終強(qiáng)分類器H為

(2)使用獲得的人眼區(qū)域位置進(jìn)行配準(zhǔn)，利用LBP算法處理人眼位置數(shù)據(jù)獲得LBP直方

圖特征，取值公式為

將該特征輸入灰度圖像分類器獲取灰度匹配分?jǐn)?shù)。

其中，所述的對(duì)人臉深度信息進(jìn)行識(shí)別，包括如下步驟：

(1)特征區(qū)域定位，判定人臉鼻尖區(qū)域位置；

(2)對(duì)于不同姿態(tài)的三維數(shù)據(jù)，得到配準(zhǔn)的參考區(qū)域后，按照ICP算法進(jìn)行數(shù)據(jù)的配準(zhǔn)，配準(zhǔn)完成后計(jì)算輸入數(shù)據(jù)與注冊(cè)庫(kù)中的三維人臉模型數(shù)據(jù)之間的歐式距離；

(3)按照深度信息進(jìn)行深度圖像的獲取，利用濾波器對(duì)于映射后的深度圖像中的噪音點(diǎn)進(jìn)行補(bǔ)償去噪，最后對(duì)表情魯棒區(qū)域進(jìn)行選擇，得到最終的三維人臉深度圖像；

(4)提取三維深度圖像的視覺(jué)詞典直方圖特征向量，當(dāng)測(cè)試人臉圖像輸入后，經(jīng)過(guò)Gabor濾波后，將任一濾波向量都與其所在位置相對(duì)應(yīng)的視覺(jué)分詞典中的所有基元詞匯比較，通過(guò)距離匹配的方式，把它映射到與之距離最為接近的基元上，提取出原始深度圖像的視覺(jué)詞典直方圖特征，利用該特征輸入深度圖像分類器獲取匹配分?jǐn)?shù)。

其中，所述的多模態(tài)人臉識(shí)別，包括多模態(tài)融合系統(tǒng)包括多個(gè)數(shù)據(jù)源：如二維灰度圖像，三維深度圖像；

(1)對(duì)于二維灰度圖像，首先進(jìn)行特征點(diǎn)檢測(cè)(人眼)，然后利用獲得的特征點(diǎn)位置進(jìn)行配準(zhǔn)，在灰度圖像配準(zhǔn)后，利用LBP算法對(duì)該數(shù)據(jù)獲取LBP直方圖特征；

(2)對(duì)于三維深度數(shù)據(jù)，首先進(jìn)行特征點(diǎn)檢測(cè)(鼻尖)并利用獲取的特征點(diǎn)進(jìn)行配準(zhǔn)，然后將配準(zhǔn)后的三維空間數(shù)據(jù)映射為人臉深度圖像，利用視覺(jué)詞典算法對(duì)該數(shù)據(jù)獲取視覺(jué)詞典直方圖特征；

進(jìn)一步地，該多模態(tài)系統(tǒng)利用特征層融合策略，因此在獲取各數(shù)據(jù)源特征后，將所有特征拼接在一起形成特征池，特征池中的每一個(gè)特征構(gòu)建一個(gè)弱分類器，然后利用Adaboost算法，在特征池中挑選出對(duì)于分類最為有效的特征，最后基于多模態(tài)特征層融合得到的特征，利用最近鄰分類器計(jì)算出匹配分?jǐn)?shù)，以此實(shí)現(xiàn)多模態(tài)人臉識(shí)別。

其中，所述的通過(guò)3D模型進(jìn)行匹配，包括如下步驟：

(1)迭代算法細(xì)化對(duì)應(yīng)關(guān)系

之前的二維灰度信息和三維深度信息的采集，從二維形狀重建三維形狀，需要使重構(gòu)誤差最小化

這里的P代表了矩陣在二維的投影，z是目標(biāo)的二維形狀，迭代方法在2D特征點(diǎn)上注冊(cè)3D模型，建立了剛性(p＝{s，α，β，γ，t})和非剛性(r和s)的轉(zhuǎn)換；

頂點(diǎn)數(shù)量的增加對(duì)重建錯(cuò)誤率的降低效果微弱，而且頂點(diǎn)數(shù)量增加影響回歸模型和匹配速度，頂點(diǎn)數(shù)量取較低值；迭代算法次數(shù)的增加對(duì)重建錯(cuò)誤率的降低效果顯著，對(duì)模型尺寸的影響不大，所以迭代算法次數(shù)取較大值；

(2)通過(guò)矩陣進(jìn)行矯正

假定在2D和3D特征點(diǎn)之間有語(yǔ)義對(duì)應(yīng)，采用矩陣的形式來(lái)選擇正確的3D對(duì)應(yīng)2D的特征點(diǎn)，這里的語(yǔ)義對(duì)應(yīng)在建模階段已經(jīng)建立，3D標(biāo)志的二維投影標(biāo)志通過(guò)級(jí)聯(lián)回歸獲得；

(3)約束可見(jiàn)標(biāo)志

通過(guò)約束可見(jiàn)標(biāo)志的過(guò)程，級(jí)聯(lián)回歸評(píng)估了標(biāo)志的清晰度

ξ＝{j|v_j＝1}表明標(biāo)志指標(biāo)的子集是可見(jiàn)的；

(4)二維測(cè)量

進(jìn)入時(shí)間同步的二維測(cè)量(z(1)，...，z(C))，所有的C測(cè)量代表相同的三維人臉，但是從不同的角度，通過(guò)對(duì)所有測(cè)量的重建的限制，將上式進(jìn)行擴(kuò)展：

上標(biāo)(k)代表k^th次測(cè)量，能見(jiàn)度設(shè)置為ξ(k)，因?yàn)槲覀冇^察的是相同的人臉但是是從不同角度，整體剛性(r)和部分非剛性(s)的測(cè)量方法都相同；

(5)確定剛性、非剛性參數(shù)

假定人臉的剛性結(jié)構(gòu)變化很小(參數(shù)r)，只有表情會(huì)有變化(參數(shù)s)，為了解決這種情況，在時(shí)間域中進(jìn)行解決

1)計(jì)算剛性變型參數(shù)：

т＝{z^(t)|t＝1,…,T}代表時(shí)間測(cè)量的設(shè)置，rт代表從т計(jì)算出的剛性變型參數(shù)，這一步里的非剛性參數(shù)設(shè)置為0；

2)在任意時(shí)間幀計(jì)算剛性變型參數(shù)t∈[1,…,T]，

其中，所述的對(duì)人臉進(jìn)行3D重建，包括在一個(gè)參數(shù)向量中

q:p(q)∝N(q；0,∧)

參數(shù)的優(yōu)先原則遵循一個(gè)平均值為0、方差為Λ的正態(tài)分布，使用主成份分析法確定3維基向量的d部分，則：

分別對(duì)剛性和非剛性這兩部分進(jìn)行建模，

其中3維基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述剛性變形，3維基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非剛性變形。

進(jìn)一步的，所述的特征區(qū)域定位，包括如下步驟：

(1)確定閾值，確定域平均負(fù)有效能量密度的閾值，定義為thr；

(2)利用深度信息選取待處理數(shù)據(jù)，利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；

(3)法向量的計(jì)算，計(jì)算由深度信息選取出的人臉數(shù)據(jù)的方向量信息；

(4)區(qū)域平均負(fù)有效能量密度的計(jì)算，按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中個(gè)連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域；

(5)判定是否找到鼻尖區(qū)域，當(dāng)前區(qū)域閾值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖區(qū)域，否則回到步驟(1)重新開(kāi)始循環(huán)。

進(jìn)一步地，所述的ICP算法，主要步驟如下：

(1)確定匹配數(shù)據(jù)集合對(duì)，從參考模板中的三維鼻尖數(shù)據(jù)選取參考點(diǎn)數(shù)據(jù)點(diǎn)集P；

(2)利用點(diǎn)對(duì)點(diǎn)之間的最近的距離來(lái)選擇輸入三維人臉中與參考數(shù)據(jù)相匹配的數(shù)據(jù)點(diǎn)集Q；

(3)計(jì)算剛性運(yùn)動(dòng)參數(shù)，計(jì)算旋轉(zhuǎn)矩陣R和平移向量t；當(dāng)X行列式值為1時(shí)，R＝X；t＝P-R*Q；

(4)根據(jù)剛性變換后的數(shù)據(jù)集RQ+t和參考數(shù)據(jù)集P之間的誤差判斷三維數(shù)據(jù)集是否配準(zhǔn)，配準(zhǔn)之后通過(guò)輸入數(shù)據(jù)與注冊(cè)庫(kù)中的三維人臉模型數(shù)據(jù)之間的歐式距離

其中P，Q分別是待匹配的特征點(diǎn)集合，集合中含有N個(gè)特征點(diǎn)。

進(jìn)一步地，所述的提取三維深度圖像的視覺(jué)詞典直方圖特征向量，包括如下步驟：

1)將三維人臉深度圖像分割成一些局部紋理區(qū)域；

2)對(duì)于每個(gè)GaBor濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺(jué)分詞典的詞匯中，并依此為基礎(chǔ)建立視覺(jué)詞典直方圖向量作為三維人臉的特診表達(dá)；

3)將灰度圖像的LBP直方圖特征和深度圖像的視覺(jué)詞典直方圖特征拼接起來(lái)構(gòu)成特征池，利用特征選取算法，如Adaboost，從已經(jīng)獲取的特征池中選取其中對(duì)于人臉識(shí)別最為有效地特征組合，實(shí)現(xiàn)特征層的數(shù)據(jù)融合；

4)獲取人臉特征后，將最近鄰分類器用來(lái)作為最后的人臉識(shí)別，其中L1距離被選作為距離度量。

進(jìn)一步地，所述的剛性部分，是從每個(gè)視頻中選擇中間幀，應(yīng)用主成份分析法確定基向量(θ)和平均值提供了一個(gè)整體的線性子空間，描述了人臉形狀的變化。

進(jìn)一步地，建立描述非剛性變形(ψ)的線性子空間目標(biāo)是建立一個(gè)模型，由自主訓(xùn)練并共享軟邊界的PCA模型集合組成，建立基于部分的模型，使頂點(diǎn)高度相關(guān)，形成密集的區(qū)域，由于這些區(qū)域?qū)⒏猛ㄟ^(guò)PCA壓縮，為了找到面部表情數(shù)據(jù)驅(qū)動(dòng)分割，使用了數(shù)據(jù)集中選出的6000幀，數(shù)據(jù)集D∈R6000×3072由6000幀和1024三維頂點(diǎn)組成；把D分為三個(gè)子集Dx，Dy，Dz∈R6000×1024每個(gè)包含頂點(diǎn)對(duì)應(yīng)的空間坐標(biāo)，描述頂點(diǎn)之間的相關(guān)測(cè)量，通過(guò)Dx，Dy，Dz計(jì)算相關(guān)矩陣歸一化，然后平均成一個(gè)相關(guān)矩陣C；相同區(qū)域的頂點(diǎn)也應(yīng)該在人臉表面互相接近，因此，我們利用計(jì)算了模型頂點(diǎn)間距離形成距離矩陣G歸一化到[0，1]范圍，這兩個(gè)矩陣整合成一個(gè)矩陣。

附圖說(shuō)明

圖1是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的二維人臉人眼檢測(cè)示意圖。

圖3是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的二維人臉LBP特征示意圖。

圖4是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的二維人臉灰度表象特征提取示意圖。

圖5是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉鼻尖定位示意圖。

圖6是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉空間映射示意圖。

圖7是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉深度表象特征提取示意圖。

圖8是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的多模態(tài)人臉識(shí)別的流程框圖。

圖9是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的多模態(tài)人臉識(shí)別的系統(tǒng)框圖。

圖10是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的通過(guò)3D模型進(jìn)行匹配流程圖。

圖11是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的迭代次數(shù)和定點(diǎn)數(shù)量對(duì)重建錯(cuò)誤率的關(guān)系曲線圖。

圖12是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的對(duì)人臉進(jìn)行3D重建流程圖。

圖13是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的人臉重構(gòu)圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的系統(tǒng)流程圖，包括對(duì)人臉灰度信息進(jìn)行識(shí)別；對(duì)人臉深度信息進(jìn)行識(shí)別；多模態(tài)人臉識(shí)別；通過(guò)3D模型進(jìn)行匹配；對(duì)人臉進(jìn)行3D重建。

圖2是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的二維人臉人眼檢測(cè)示意圖。如圖2所示，通過(guò)人眼檢測(cè)器獲取人眼區(qū)域，該人眼檢測(cè)器為層級(jí)分類器，每一層都是一個(gè)強(qiáng)分類器(如Adaboost)，每一層都會(huì)濾過(guò)一部分非人眼區(qū)域，最后獲得的圖像區(qū)域就是人眼區(qū)域。Adaboost算法可總結(jié)如下：

給定訓(xùn)練樣本集合S＝{(x₁,y₁),…,(x_m,y_m)}，弱空間分類器其中x_i∈χ為樣本向量，y_i＝±1為分類標(biāo)簽，m為樣本總數(shù)，初始化樣本概率分布

對(duì)t＝1,…,T中的每個(gè)弱分類器作如下操作：

對(duì)樣本空間χ進(jìn)行劃分，得到X₁,X₂,…,X_n；

其中ε為一小正常數(shù)；

計(jì)算歸一化因子，

在弱分類器空間中選擇一個(gè)，使得Z最小化

更新訓(xùn)練樣本概率分布

其中Z_t為歸一化因子，使得D_t+1為一個(gè)概率分布；

最終強(qiáng)分類器H為

圖3是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的二維人臉LBP特征示意圖。如圖3所示，使用獲得的人眼區(qū)域位置進(jìn)行配準(zhǔn)，利用LBP算法處理人眼位置數(shù)據(jù)獲得LBP直方圖特征，取值公式為

圖4是本發(fā)明二維人臉灰度表象特征提取示意圖。如圖4所示，輸入二維人臉數(shù)據(jù)，先通過(guò)人眼檢測(cè)提取關(guān)鍵點(diǎn)，然后根據(jù)人眼位置將該人臉圖像通過(guò)剛性變換調(diào)整為正向直立姿態(tài)。將通過(guò)配準(zhǔn)通過(guò)的灰度圖提取出LBP直方圖特征。將該特征輸入灰度圖像分類器獲取灰度匹配分?jǐn)?shù)。

圖5是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉鼻尖定位示意圖。如圖5所示，對(duì)于三維深度數(shù)據(jù)，首先進(jìn)行人臉鼻尖區(qū)域的檢測(cè)，具體通過(guò)如下步驟：

(1)確定閾值，確定域平均負(fù)有效能量密度的閾值，定義為thr；

(2)利用深度信息選取待處理數(shù)據(jù)，利用數(shù)據(jù)的深度信息，提取在一定深度范圍內(nèi)的人臉數(shù)據(jù)作為待處理數(shù)據(jù)；

(3)法向量的計(jì)算，計(jì)算由深度信息選取出的人臉數(shù)據(jù)的方向量信息；

(4)區(qū)域平均負(fù)有效能量密度的計(jì)算，按照區(qū)域平均負(fù)有效能量密度的定義，求出待處理數(shù)據(jù)中個(gè)連通域的平均負(fù)有效能量密度，選擇其中密度值最大的連通域；

(5)判定是否找到鼻尖區(qū)域，當(dāng)前區(qū)域閾值大于預(yù)定義的thr時(shí)，該區(qū)域即為鼻尖區(qū)域，否則回到步驟(1)重新開(kāi)始循環(huán)。

圖6是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉空間映射示意圖。如圖6所示，利用獲取的鼻尖區(qū)域進(jìn)行配準(zhǔn)，使用ICP算法進(jìn)行數(shù)據(jù)的配準(zhǔn)，步驟如下：

(1)確定匹配數(shù)據(jù)集合對(duì)，從參考模板中的三維鼻尖數(shù)據(jù)選取參考點(diǎn)數(shù)據(jù)點(diǎn)集P；

(2)利用點(diǎn)對(duì)點(diǎn)之間的最近的距離來(lái)選擇輸入三維人臉中與參考數(shù)據(jù)相匹配的數(shù)據(jù)點(diǎn)集Q；

(3)計(jì)算剛性運(yùn)動(dòng)參數(shù)，計(jì)算旋轉(zhuǎn)矩陣R和平移向量t；當(dāng)X行列式值為1時(shí)，R＝X；t＝P-R*Q；

(4)根據(jù)剛性變換后的數(shù)據(jù)集RQ+t和參考數(shù)據(jù)集P之間的誤差判斷三維數(shù)據(jù)集是否配準(zhǔn)，配準(zhǔn)之后通過(guò)輸入數(shù)據(jù)與注冊(cè)庫(kù)中的三維人臉模型數(shù)據(jù)之間的歐式距離

其中P，Q分別是待匹配的特征點(diǎn)集合，集合中含有N個(gè)特征點(diǎn)。

圖7是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的三維人臉深度表象特征提取示意圖。如圖7所示，當(dāng)測(cè)試人臉圖像輸入后，經(jīng)過(guò)Gabor濾波后，將任一濾波向量都與其所在位置相對(duì)應(yīng)的視覺(jué)分詞典中的所有基元詞匯比較，通過(guò)距離匹配的方式，把它映射到與之距離最為接近的基元上，提取出原始深度圖像的視覺(jué)詞典直方圖特征，流程如下：

1)將三維人臉深度圖像分割成一些局部紋理區(qū)域；

2)對(duì)于每個(gè)GaBor濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺(jué)分詞典的詞匯中，并依此為基礎(chǔ)建立視覺(jué)詞典直方圖向量作為三維人臉的特診表達(dá)；

3)將灰度圖像的LBP直方圖特征和深度圖像的視覺(jué)詞典直方圖特征拼接起來(lái)構(gòu)成特征池，利用特征選取算法，如Adaboost，從已經(jīng)獲取的特征池中選取其中對(duì)于人臉識(shí)別最為有效地特征組合，實(shí)現(xiàn)特征層的數(shù)據(jù)融合；

4)獲取人臉特征后，將最近鄰分類器用來(lái)作為最后的人臉識(shí)別，其中L1距離被選作為距離度量。

圖8是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的多模態(tài)人臉識(shí)別的流程框圖。圖9是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的多模態(tài)人臉識(shí)別的系統(tǒng)框圖。如圖8、9所示，多模態(tài)融合系統(tǒng)包括多個(gè)數(shù)據(jù)源：如二維灰度圖像，三維深度圖像；

(1)對(duì)于二維灰度圖像，首先進(jìn)行特征點(diǎn)檢測(cè)(人眼)，然后利用獲得的特征點(diǎn)位置進(jìn)行配準(zhǔn)，在灰度圖像配準(zhǔn)后，利用LBP算法對(duì)該數(shù)據(jù)獲取LBP直方圖特征；

(2)對(duì)于三維深度數(shù)據(jù)，首先進(jìn)行特征點(diǎn)檢測(cè)(鼻尖)并利用獲取的特征點(diǎn)進(jìn)行配準(zhǔn)，然后將配準(zhǔn)后的三維空間數(shù)據(jù)映射為人臉深度圖像，利用視覺(jué)詞典算法對(duì)該數(shù)據(jù)獲取視覺(jué)詞典直方圖特征；

該多模態(tài)系統(tǒng)利用特征層融合策略，因此在獲取各數(shù)據(jù)源特征后，將所有特征拼接在一起形成特征池，特征池中的每一個(gè)特征構(gòu)建一個(gè)弱分類器，然后利用Adaboost算法，在特征池中挑選出對(duì)于分類最為有效的特征，最后基于多模態(tài)特征層融合得到的特征，利用最近鄰分類器計(jì)算出匹配分?jǐn)?shù)，以此實(shí)現(xiàn)多模態(tài)人臉識(shí)別。

圖10是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的通過(guò)3D模型進(jìn)行匹配流程圖，主要步驟為：

(1)迭代算法細(xì)化對(duì)應(yīng)關(guān)系

之前的二維灰度信息和三維深度信息的采集，從二維形狀重建三維形狀，需要使重構(gòu)誤差最小化

這里的P代表了矩陣在二維的投影，z是目標(biāo)的二維形狀，迭代方法在2D特征點(diǎn)上注冊(cè)3D模型，建立了剛性(p＝{s，α，β，γ，t})和非剛性(r和s)的轉(zhuǎn)換；

(2)通過(guò)矩陣進(jìn)行矯正

假定在2D和3D特征點(diǎn)之間有語(yǔ)義對(duì)應(yīng)，采用矩陣的形式來(lái)選擇正確的3D對(duì)應(yīng)2D的特征點(diǎn)，這里的語(yǔ)義對(duì)應(yīng)在建模階段已經(jīng)建立，3D標(biāo)志的二維投影標(biāo)志通過(guò)級(jí)聯(lián)回歸獲得；

(3)約束可見(jiàn)標(biāo)志

通過(guò)約束可見(jiàn)標(biāo)志的過(guò)程，級(jí)聯(lián)回歸評(píng)估了標(biāo)志的清晰度

ξ＝{j|v_j＝1}表明標(biāo)志指標(biāo)的子集是可見(jiàn)的；

(4)二維測(cè)量

進(jìn)入時(shí)間同步的二維測(cè)量(z(1)，...，z(C))，所有的C測(cè)量代表相同的三維人臉，但是從不同的角度，通過(guò)對(duì)所有測(cè)量的重建的限制，將上式進(jìn)行擴(kuò)展：

上標(biāo)(k)代表k^th次測(cè)量，能見(jiàn)度設(shè)置為ξ(k)，因?yàn)槲覀冇^察的是相同的人臉但是是從不同角度，整體剛性(r)和部分非剛性(s)的測(cè)量方法都相同；

(5)確定剛性、非剛性參數(shù)

假定人臉的剛性結(jié)構(gòu)變化很小(參數(shù)r)，只有表情會(huì)有變化(參數(shù)s)，為了解決這種情況，在時(shí)間域中進(jìn)行解決

1)計(jì)算剛性變型參數(shù)：

т＝{z^(t)|t＝1,…,T}代表時(shí)間測(cè)量的設(shè)置，rт代表從т計(jì)算出的剛性變型參數(shù)，這一步里的非剛性參數(shù)設(shè)置為0；

2)在任意時(shí)間幀計(jì)算剛性變型參數(shù)t∈[1,…,T]，

圖11是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的迭代次數(shù)和定點(diǎn)數(shù)量對(duì)重建錯(cuò)誤率的關(guān)系曲線圖。可以看出，頂點(diǎn)數(shù)量的增加對(duì)重建錯(cuò)誤率的降低效果微弱，而且頂點(diǎn)數(shù)量增加影響回歸模型和匹配速度，頂點(diǎn)數(shù)量取較低值；迭代算法次數(shù)的增加對(duì)對(duì)重建錯(cuò)誤率的降低效果顯著，對(duì)模型尺寸的影響不大，所以迭代算法次數(shù)取較大值。使用單目照相機(jī)圖像時(shí)，對(duì)應(yīng)公式有多個(gè)解，避免產(chǎn)生3D幻覺(jué)，在這里同時(shí)使用多個(gè)圖像幀。

圖12是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的對(duì)人臉進(jìn)行3D重建流程圖。在一個(gè)參數(shù)向量中

q:p(q)∝N(q；0,∧)

參數(shù)的優(yōu)先原則遵循一個(gè)平均值為0、方差為Λ的正態(tài)分布，使用主成份分析法確定3維基向量的d部分，則：

分別對(duì)剛性和非剛性這兩部分進(jìn)行建模，

其中3維基向量的d部分(θ＝[θ₁；...；θ_M]∈R^3M×d)描述剛性變形，3維基向量的e部分(ψ＝[ψ₁；...；ψ_M]∈R3^M×d)描述了非剛性變形。

進(jìn)一步地，建立剛性部分，我們從每個(gè)視頻中選擇中間幀，應(yīng)用主成份分析法確定基向量(θ)和平均值提供了一個(gè)整體的線性子空間，描述了人臉形狀的變化；

進(jìn)一步地，建立描述非剛性變形(ψ)的線性子空間目標(biāo)是建立一個(gè)模型，由自主訓(xùn)練并共享軟邊界的PCA模型集合組成，建立基于部分的模型，使頂點(diǎn)高度相關(guān)，形成密集的區(qū)域，由于這些區(qū)域?qū)⒏猛ㄟ^(guò)PCA壓縮，為了找到面部表情數(shù)據(jù)驅(qū)動(dòng)分割，使用了數(shù)據(jù)集中選出的6000幀，數(shù)據(jù)集D∈R6000×3072由6000幀和1024三維頂點(diǎn)組成；把D分為三個(gè)子集Dx，Dy，Dz∈R6000×1024每個(gè)包含頂點(diǎn)對(duì)應(yīng)的空間坐標(biāo)，描述頂點(diǎn)之間的相關(guān)測(cè)量，通過(guò)Dx，Dy，Dz計(jì)算相關(guān)矩陣歸一化，然后平均成一個(gè)相關(guān)矩陣C；相同區(qū)域的頂點(diǎn)也應(yīng)該在人臉表面互相接近，因此，我們利用計(jì)算了模型頂點(diǎn)間距離形成距離矩陣G歸一化到[0，1]范圍，這兩個(gè)矩陣整合成一個(gè)矩陣。

圖13是本發(fā)明一種基于灰度和深度信息的三維人臉重建方法的人臉重構(gòu)圖。可以看出，采用多幀視頻圖像，獲得3D網(wǎng)格頂點(diǎn)，3D點(diǎn)集將臉部完全覆蓋，動(dòng)作變化定位點(diǎn)保持一致，并且成功完成人臉重建。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。