本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種3d虛擬模型的驅(qū)動(dòng)方法及裝置。
背景技術(shù)：
3d虛擬模型表情動(dòng)畫是當(dāng)前研究的熱點(diǎn)，其在虛擬現(xiàn)實(shí)，數(shù)字娛樂(lè)，通信和視頻會(huì)議、人際交互等領(lǐng)域有著非常廣泛的應(yīng)用。
隨著移動(dòng)終端的普及，以及網(wǎng)絡(luò)帶寬資費(fèi)的下降，視頻電話定或?qū)⒊蔀樯缃活I(lǐng)域的首選。由于陌生人之間交流在剛開始的時(shí)候不太愿意露臉，因此亟待一種交流工具來(lái)替代雙方的視頻圖像。3d虛擬表情映射將是較佳選擇，它不僅能夠用一個(gè)虛擬人物來(lái)代替陌生人之間表達(dá)感情，而且能夠大量的節(jié)省帶寬，只需要通過(guò)發(fā)送對(duì)應(yīng)參數(shù)就可以完成。
現(xiàn)有的一種基于單個(gè)視頻攝像機(jī)的實(shí)時(shí)人臉動(dòng)畫方法，對(duì)人臉標(biāo)注75個(gè)點(diǎn)，其中包括60個(gè)內(nèi)部點(diǎn)，以及標(biāo)注的眼、眉、鼻、嘴15個(gè)輪廓點(diǎn)，把人臉跟蹤回歸算法兩步變成一步，直接回歸人臉的姿態(tài)和表情系數(shù)。但是該方法需要用戶事先采集60張各種姿態(tài)下的人臉，并且標(biāo)注75個(gè)關(guān)鍵點(diǎn)作為訓(xùn)練數(shù)據(jù)，因此大大降低了用戶體驗(yàn)。
現(xiàn)有的一種基于單個(gè)模型的表情驅(qū)動(dòng)方法，通過(guò)應(yīng)用rbf訓(xùn)練骨架結(jié)構(gòu)建立源與目標(biāo)之間的運(yùn)動(dòng)對(duì)應(yīng)關(guān)系，然后通過(guò)訓(xùn)練得到的權(quán)值進(jìn)行實(shí)時(shí)驅(qū)動(dòng)，該方法雖然簡(jiǎn)單，但對(duì)于姿態(tài)的改變很容易造成模型的畸變。
綜上所述，現(xiàn)有技術(shù)3d虛擬模型的驅(qū)動(dòng)方法存在用戶體驗(yàn)性差、模型容易產(chǎn)生畸變等缺點(diǎn)，無(wú)法滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求。
技術(shù)實(shí)現(xiàn)要素：
為了滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求，本發(fā)明提供一種3d虛擬模型的驅(qū)動(dòng)方法及裝置。
本發(fā)明采用以下技術(shù)方案：
一種3d虛擬模型的驅(qū)動(dòng)方法，所述方法包括：對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)；根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)；根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型；將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型；根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)；根據(jù)所述擬合系數(shù),驅(qū)動(dòng)3d虛擬模型。
優(yōu)選地，所述對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)，包括：對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維；將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼狀態(tài)；當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
優(yōu)選地，所述根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，包括：根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)；根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。
優(yōu)選地，所述根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，包括：根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。
優(yōu)選地，所述根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型，包括：去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)；對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
優(yōu)選地，所述將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型，包括：分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離；以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。
優(yōu)選地，所述分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離，包括：分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的輪廓部分的豪斯多夫距離、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離；對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
優(yōu)選地，所述根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)，包括：根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。
優(yōu)選地，所述擬合系數(shù)包括眉毛部分的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
優(yōu)選地，所述根據(jù)所述擬合系數(shù)，驅(qū)動(dòng)3d虛擬模型，包括：根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息；
根據(jù)所述所有頂點(diǎn)的新位置信息顯示所述3d虛擬模型。
優(yōu)選地，所述根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息，包括：分別根據(jù)眉毛部分的擬合系數(shù)，眼睛 部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。
本發(fā)明還提供一種3d虛擬模型的驅(qū)動(dòng)裝置，所述裝置包括：特征點(diǎn)定位模塊，用于對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)；正面化模塊，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)；標(biāo)準(zhǔn)化模塊，根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型；匹配模塊，用于將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型；擬合系數(shù)獲得模塊，用于根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)；驅(qū)動(dòng)模塊，用于根據(jù)所述擬合系數(shù),驅(qū)動(dòng)3d虛擬模型。
優(yōu)選地，所述特征點(diǎn)定位模塊包括：降維子模塊，用于對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維；判別子模塊，用于將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼狀態(tài)；移動(dòng)子模塊，用于當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
優(yōu)選地，所述正面化模塊包括：三維坐標(biāo)獲得子模塊，用于根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)；優(yōu)化子模塊，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。
優(yōu)選地，所述優(yōu)化子模塊包括：優(yōu)化單元，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。
優(yōu)選地，所述標(biāo)準(zhǔn)化模塊包括：z軸去除子模塊，用于去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)；分析子模塊，用于對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
優(yōu)選地，所述匹配模塊包括：相似距離獲得子模塊，用于分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離；最相似的人臉模塊獲得子模塊，用于以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。
優(yōu)選地，所述相似距離獲得子模塊包括：相似距離獲得單元，用于分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的輪廓部分的豪斯多夫距離、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離；加權(quán)求和單元，用于對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
優(yōu)選地，所述擬合系數(shù)獲得模塊包括：二次規(guī)劃單元，用于根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。
優(yōu)選地，所述擬合系數(shù)包括眉毛部分的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
優(yōu)選地，所述驅(qū)動(dòng)模塊包括：新位置信息獲得子模塊，用于根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息；顯示子模塊，用于根據(jù)所述所有頂點(diǎn)的新位置信息顯示所述3d虛擬模型。
優(yōu)選地，所述新位置信息獲得子模塊包括：新位置信息獲得單元，用于分別根據(jù)眉毛部分的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。
第三方面，提供了一種電子設(shè)備，所述設(shè)備包括存儲(chǔ)器以及與所述存儲(chǔ)器連接的處理器，其中，所述存儲(chǔ)器用于存儲(chǔ)一組程序代碼，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)；根據(jù)所 述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)；根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型；將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型；根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)；根據(jù)所述擬合系數(shù),驅(qū)動(dòng)3d虛擬模型。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維；將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼狀態(tài)；當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)；根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)；對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離；以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人 臉模型的輪廓部分的豪斯多夫距離、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離；對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
優(yōu)選地所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。
優(yōu)選地，所述擬合系數(shù)包括眉毛部分的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息；
根據(jù)所述所有頂點(diǎn)的新位置信息顯示所述3d虛擬模型。
優(yōu)選地，所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別根據(jù)眉毛部分的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。
本發(fā)明的3d虛擬模型的驅(qū)動(dòng)方法及裝置的有益效果包括：
根據(jù)本發(fā)明的3d虛擬模型的驅(qū)動(dòng)方法，通過(guò)對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，獲得所述特征點(diǎn)的二維坐標(biāo)，再根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，再根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型，進(jìn)而將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型，再根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)，最后根據(jù)所述擬合系數(shù)驅(qū)動(dòng)3d虛擬模型，能夠更有效地減少視頻通話的帶寬，僅需傳遞極少的參 數(shù)即完成與對(duì)方的交流，因而更好地滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求，避免陌生人交友時(shí)不愿意露臉的尷尬。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例的一種3d虛擬模型的驅(qū)動(dòng)方法的流程示意圖；
圖2-1及圖2-2是本發(fā)明實(shí)施例的對(duì)人臉圖像進(jìn)行特征點(diǎn)定位的示意圖；
圖3是本發(fā)明實(shí)施例的表情基的示意圖；
圖4-1及圖4-2是本發(fā)明實(shí)施例的根據(jù)虛擬系數(shù)驅(qū)動(dòng)3d虛擬模型的示意圖；
圖5是本發(fā)明實(shí)施例提供的一種3d虛擬模型的驅(qū)動(dòng)裝置的結(jié)構(gòu)示意圖；
圖6是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。
實(shí)施例一
圖1示出了本發(fā)明實(shí)施例提供的一種3d虛擬模型的驅(qū)動(dòng)方法，所述方法包括：
s11、對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)。
具體地，可以采用基于形狀回歸的方法對(duì)人臉圖像中的人臉特征點(diǎn)進(jìn)行定位。人臉特征點(diǎn)定位是在人臉檢測(cè)的基礎(chǔ)上，進(jìn)一步定位人臉的眼睛、眉毛、鼻子和嘴巴輪廓等?？梢岳锰卣鼽c(diǎn)附近的信息以及各個(gè)特征點(diǎn)之間的相互關(guān)系來(lái)定位特征點(diǎn)，例如采用論文“facialanimationretargetingframework usingradialbasisfunctions”中的算法采集人臉66個(gè)特征點(diǎn)的二維坐標(biāo)，參見(jiàn)圖2-1。
對(duì)于特征點(diǎn)定位，當(dāng)帶上眼鏡，或者受到光照影響，人臉圖像中眼睛部位的特征點(diǎn)幾乎不運(yùn)動(dòng)，因此，我們對(duì)眼睛部分的特征點(diǎn)定位以及眼睛部分的特征點(diǎn)二維坐標(biāo)的獲取，可以單獨(dú)處理，具體步驟如下：
a1、對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維。所謂尺度不變特征變換，即sift，英文全稱為scale-invariantfeaturetransform。
b1、將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼狀態(tài)。
其中，可以通過(guò)以下步驟訓(xùn)練獲得所述判別器：
b11、選擇睜閉眼樣本各為若干個(gè)(例如1000個(gè))。需要說(shuō)明的是，為了增加樣本的多樣性，可以挑選每個(gè)類別的樣本中包括各種光照、姿態(tài)以及戴眼鏡和不戴眼鏡等樣本，這樣可以有效增強(qiáng)最終的泛化能力。
b12、對(duì)樣本進(jìn)行特征點(diǎn)定位，然后抽取眼角兩個(gè)特征點(diǎn)的尺度不變特征變換特征以得到128維的特征向量。上述兩個(gè)特征點(diǎn)的所述128維的特征向量結(jié)合成為256維的長(zhǎng)向量，進(jìn)而每個(gè)樣本均形成256維的尺度不變特征變換特征向量，對(duì)于每個(gè)類別的1000個(gè)樣本即產(chǎn)生256*1000的矩陣向量。
b13、對(duì)256*1000的矩陣向量進(jìn)行降維處理。通過(guò)降維處理消除了大量樣本信息中的冗余和重復(fù)的信息，減少數(shù)據(jù)存儲(chǔ)容量，并且改善數(shù)據(jù)的可理解性，減少噪聲的影響，提高學(xué)習(xí)的精度。具體地，可以將256維數(shù)據(jù)通過(guò)主成分分析(即pca)算法降低到100維數(shù)據(jù)。實(shí)驗(yàn)表明，這樣依然可以保留原有98％的能量信息。
b14、基于支持向量機(jī)構(gòu)造眼睛睜閉判別器。
利用步驟b13中經(jīng)過(guò)降維后的數(shù)據(jù)的特征向量作為支持向量機(jī)的訓(xùn)練集，標(biāo)注睜眼樣本為1，閉眼樣本為0，具體步驟如下：
首先，選取最佳參數(shù)?？梢赃x取rbf(radialbasisfunction，徑向基函數(shù))核函數(shù)，該rbf核函數(shù)可以為：
k(x-c)＝exp(-g||x-c||2)
其中，c為懲罰系數(shù)，g為函數(shù)的寬度參數(shù)，k(x-c)為訓(xùn)練結(jié)果，x為輸入值，該輸入值即多個(gè)用于描述人眼的特征向量，通過(guò)交叉驗(yàn)證的方式，確定rbf核函數(shù)中的最佳參數(shù)c和g；
根據(jù)rbf核函數(shù)，對(duì)整個(gè)訓(xùn)練集進(jìn)行訓(xùn)練。
進(jìn)一步地，為了訓(xùn)練一個(gè)最優(yōu)的判別器，還要選取一個(gè)最優(yōu)的懲罰系數(shù)。其次，利用最佳參數(shù)c和g對(duì)整個(gè)訓(xùn)練集進(jìn)行訓(xùn)練，當(dāng)完成訓(xùn)練之后，根據(jù)該rbf核函數(shù)，分別生成對(duì)應(yīng)的眼睛睜閉判別器。
通過(guò)步驟b11-b14訓(xùn)練所得的判別器在公開的人臉測(cè)試集lfw上隨機(jī)選取1498個(gè)樣本，并對(duì)樣本進(jìn)行標(biāo)注以進(jìn)行性能測(cè)試，最后獲得98.9％的正確識(shí)別率。
c1、當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
s12、根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。具體可以包括以下步驟：
a2、根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)。具體地，可以根據(jù)以下公式獲得所述特征點(diǎn)的三維坐標(biāo)：
其中，i＝1,2...,l，l為所述特征點(diǎn)的數(shù)量，s表示縮放尺度，r表示旋轉(zhuǎn)矩陣，t表示偏移量，
需要說(shuō)明的是，可以通過(guò)以下步驟訓(xùn)練獲得所述三維線性形狀增益模型：首先，在multi-pie數(shù)據(jù)集上采用“從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)”的3d重構(gòu)技術(shù)，對(duì)二維的特征點(diǎn)的數(shù)據(jù)集計(jì)算以求取對(duì)應(yīng)的三維坐標(biāo)點(diǎn)；然后，將人臉的特征點(diǎn)分 成三個(gè)部分：眼睛，眉毛，嘴巴/鼻子/輪廓，對(duì)于每個(gè)部分減去中性表情后分別進(jìn)行奇異值分解，得到ψeyes，ψeyebrows，ψmouth；最后再將每個(gè)部分進(jìn)行重構(gòu)以獲得三維線性形狀增益模型。
b2、根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。具體地，是根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。示例性地，可以根據(jù)以下預(yù)設(shè)公式正面化所述三維坐標(biāo)：
其中，xi，yi為所述特征點(diǎn)的二維坐標(biāo)，zi為相對(duì)深度值，ε為閾值，ρ為懲罰項(xiàng)，i＝1,2...,l，l為所述特征點(diǎn)的數(shù)量。
s13、根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
具體可以包括以下步驟：
a3、去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)。
b3、對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。普氏分析，即通過(guò)不斷迭代，尋找標(biāo)準(zhǔn)人臉模型，并利用最小二乘法尋找每個(gè)樣本人臉模型到所述標(biāo)準(zhǔn)人臉模型的仿射變化方式。通過(guò)對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析，得到經(jīng)過(guò)去除縮放、旋轉(zhuǎn)以及位移變化的數(shù)據(jù)，即標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
s14、將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型。可以采用一種改進(jìn)的豪斯多夫(英文名稱為hausdorff)距離來(lái)獲得最相似的人臉模型，其具體算法為：
假設(shè)人臉的特征點(diǎn)點(diǎn)集a＝{a1,a2,a3,...,a66}，樣本任一樣本點(diǎn)集為b＝{b1,b2,b3,...,b66}，值得注意的是，這些點(diǎn)集數(shù)據(jù)均經(jīng)過(guò)三維歸一化，以保證所有樣本的尺度統(tǒng)一性。進(jìn)一步地，可以通過(guò)以下公式計(jì)算出該兩個(gè)點(diǎn)集之間的豪 斯多夫距離：
h(a,b)＝max{h(a,b),h(b,a)}
其中，
通過(guò)上述公式計(jì)算獲得豪斯多夫距離以測(cè)量點(diǎn)集a和點(diǎn)集b的相似性，可以消除特征點(diǎn)的抖動(dòng)所帶來(lái)的誤差，更加精準(zhǔn)地尋找與用戶最相似的人臉。
步驟s14可以具體通過(guò)以下步驟實(shí)現(xiàn)：
a4、分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
對(duì)于臉型的匹配，人臉的不同部分所占的比重是不一樣的，因此需要對(duì)人臉采用加權(quán)相似度計(jì)算。具體步驟可以包括：
a41、分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的輪廓部分的豪斯多夫距離o、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離m，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離e。
a42、對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。示例性地，賦予輪廓的權(quán)重為a，賦予嘴巴的權(quán)重為b，賦予眼睛的權(quán)重為c，其中，a，b，c均為小于1的正數(shù)，并且a，b，c之和為1，示例性的，a可以是0.45，b可以是0.35，c可以是0.2。最終獲得的當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離為：
d＝a*o+b*m+c*e
b4、以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。
其中，所述人臉模型數(shù)據(jù)庫(kù)可以通過(guò)以下步驟建立：參見(jiàn)圖3，制作若干個(gè) (例如150個(gè))不同臉型的三維模型，每個(gè)人均有多種(例如52種)不同基本表情單元作為表情基。進(jìn)一步地，在150*52個(gè)三維模型上提取若干個(gè)(與步驟s11中定位的特征點(diǎn)數(shù)量一致，例如為66個(gè))與二維人臉對(duì)應(yīng)的三維坐標(biāo)點(diǎn)，參見(jiàn)圖2-2。由于上述建立的表情基具有相同的網(wǎng)絡(luò)拓?fù)浣Y(jié)果，因此可以選取其中一個(gè)中性表情基上的66個(gè)特征點(diǎn)的頂點(diǎn)索引坐標(biāo)，進(jìn)而擴(kuò)展到所有模型，建立和150*52個(gè)模型對(duì)應(yīng)的三維坐標(biāo)數(shù)據(jù)庫(kù)。分別對(duì)所述三維坐標(biāo)數(shù)據(jù)庫(kù)中的三維坐標(biāo)數(shù)據(jù)去除z軸的深度信息，獲得二維坐標(biāo)，然后對(duì)該150*52個(gè)二維坐標(biāo)數(shù)據(jù)進(jìn)行普氏分析。
s15、根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)。具體可以包括以下步驟：
根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。具體地，為了使得整體速度達(dá)到最優(yōu)，可以在用戶特征點(diǎn)檢測(cè)到以后并且保證用戶的三個(gè)偏轉(zhuǎn)角度(roll,pitch,yaw)在一定范圍內(nèi)時(shí)，才開始計(jì)算當(dāng)前用戶與150個(gè)數(shù)據(jù)樣本之間的相似度，并且記錄在預(yù)設(shè)幀數(shù)(例如200幀)以內(nèi)的最相似人臉的索引。以統(tǒng)計(jì)在200幀內(nèi)最相似人臉出現(xiàn)次數(shù)最多的索引作為最終的結(jié)果，然后取該最相似人臉對(duì)應(yīng)的52個(gè)表情基數(shù)據(jù)作為二次規(guī)劃的輸入數(shù)據(jù)。
進(jìn)一步地，可以根據(jù)以下公式獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)：
其中，αi即為所述擬合系數(shù)，
值得注意的是，所述擬合系數(shù)包括眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
s16、根據(jù)所述擬合系數(shù),驅(qū)動(dòng)3d虛擬模型。具體可以包括以下步驟：
分別根據(jù)眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。該擬合過(guò)程可以通過(guò)以下公式進(jìn)行：
其中，αi即為所述擬合系數(shù)，r'為姿態(tài)矩陣，g0為中性人臉模型中的三維頂點(diǎn)數(shù)據(jù)，gi為所述表情基數(shù)據(jù)，t為偏移矩陣。
根據(jù)本發(fā)明的3d虛擬模型的驅(qū)動(dòng)方法，通過(guò)對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，獲得所述特征點(diǎn)的二維坐標(biāo)，再根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，再根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型，進(jìn)而將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型，再根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)，最后根據(jù)所述擬合系數(shù)驅(qū)動(dòng)3d虛擬模型，能夠更有效地減少視頻通話的帶寬，僅需傳遞極少的參數(shù)即完成與對(duì)方的交流，因而更好地滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求，避免陌生人交友時(shí)不愿意露臉的尷尬。
實(shí)施例二
圖5示出了本發(fā)明實(shí)施例提供的一種3d虛擬模型的驅(qū)動(dòng)裝置，所述裝置包括：
特征點(diǎn)定位模塊41，用于對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)。具體地，所述特征點(diǎn)定位模塊41包括：降維子模塊，用于對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維；判別子模塊，用于將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼 狀態(tài)；移動(dòng)子模塊，用于當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
正面化模塊42，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。具體地，所述正面化模塊包括：三維坐標(biāo)獲得子模塊，用于根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)；優(yōu)化子模塊，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。進(jìn)一步地，所述優(yōu)化子模塊包括：優(yōu)化單元，用于根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。
標(biāo)準(zhǔn)化模塊43，根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型。具體地，所述標(biāo)準(zhǔn)化模塊包括：z軸去除子模塊，用于去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)；分析子模塊，用于對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
匹配模塊44，用于將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型。具體地，所述匹配模塊包括：相似距離獲得子模塊，用于分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離；最相似的人臉模塊獲得子模塊，用于以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。其中，所述相似距離獲得子模塊進(jìn)一步包括：相似距離獲得單元，用于分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的輪廓部分的豪斯多夫距離、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離；加權(quán)求和單元，用于對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
擬合系數(shù)獲得模塊45，用于根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì) 應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)。具體地，所述擬合系數(shù)獲得模塊包括：二次規(guī)劃單元，用于根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。其中，所述擬合系數(shù)包括眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
驅(qū)動(dòng)模塊46，用于根據(jù)所述擬合系數(shù)驅(qū)動(dòng)3d虛擬模型。具體地，所述驅(qū)動(dòng)模塊包括：新位置信息獲得子模塊，用于根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息；顯示子模塊，用于根據(jù)所述所有頂點(diǎn)的新位置信息顯示所述3d虛擬模型。其中，所述新位置信息獲得子模塊可以進(jìn)一步包括：新位置信息獲得單元，用于分別根據(jù)眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。
根據(jù)本發(fā)明的3d虛擬模型的驅(qū)動(dòng)裝置，通過(guò)對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，獲得所述特征點(diǎn)的二維坐標(biāo)，再根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，再根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型，進(jìn)而將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型，再根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)，最后根據(jù)所述擬合系數(shù)驅(qū)動(dòng)3d虛擬模型，能夠更有效地減少視頻通話的帶寬，僅需傳遞極少的參數(shù)即完成與對(duì)方的交流，因而更好地滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求，避免陌生人交友時(shí)不愿意露臉的尷尬。
實(shí)施例三
圖6示出了本發(fā)明實(shí)施例提供的一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器61以及與所述存儲(chǔ)器連接的處理器62，其中，所述存儲(chǔ)器61用于存儲(chǔ)一組程序代碼，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操 作：
對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，并獲得所述特征點(diǎn)的二維坐標(biāo)；根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)；根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型；將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型；根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)；根據(jù)所述擬合系數(shù),驅(qū)動(dòng)3d虛擬模型。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
對(duì)所述特征點(diǎn)中的眼睛部位特征點(diǎn)提取尺度不變特征變換特征向量，并對(duì)所述尺度不變特征變換特征向量進(jìn)行特征降維；將經(jīng)過(guò)特征降維的尺度不變特征變換特征向量輸入預(yù)先訓(xùn)練的判別器以判別所述眼睛是否為閉眼狀態(tài)；當(dāng)為閉眼狀態(tài)時(shí)，將所述眼睛部位上眼瞼的特征點(diǎn)坐標(biāo)移至下眼瞼的特征點(diǎn)位置。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)預(yù)先訓(xùn)練的三維線性形狀增益模型獲得所述特征點(diǎn)的三維坐標(biāo)；根據(jù)所述特征點(diǎn)的二維坐標(biāo)對(duì)所述三維坐標(biāo)進(jìn)行優(yōu)化以獲得所述特征點(diǎn)的正面化的三維坐標(biāo)。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述特征點(diǎn)的二維坐標(biāo)和預(yù)設(shè)公式正面化所述三維坐標(biāo)。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
去除所述三維坐標(biāo)中的z軸的深度值以獲得二維坐標(biāo)；對(duì)獲得的所述二維坐標(biāo)進(jìn)行普氏分析獲得所述標(biāo)準(zhǔn)化的當(dāng)前人臉模型。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別獲得當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離；以所述人臉模型數(shù)據(jù)庫(kù)中與所述當(dāng)前人臉模型相似距離最小的人臉模型為所述最相似的人臉模型。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別獲得當(dāng)前人臉模型中的輪廓部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的輪廓部分的豪斯多夫距離、當(dāng)前人臉模型中的嘴巴部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的嘴巴部分的豪斯多夫距離，以及當(dāng)前人臉模型中的眼睛部分與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的眼睛部分的豪斯多夫距離；對(duì)上述各個(gè)部分的豪斯多夫距離加權(quán)求和得到當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型的相似距離。
優(yōu)選地，所所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，通過(guò)二次規(guī)劃獲取所述擬合系數(shù)。
優(yōu)選地，所述擬合系數(shù)包括眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
根據(jù)所述擬合系數(shù)對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息；
根據(jù)所述所有頂點(diǎn)的新位置信息顯示所述3d虛擬模型。
優(yōu)選地，所述處理器62調(diào)用所述存儲(chǔ)器61所存儲(chǔ)的程序代碼用于執(zhí)行以下操作：
分別根據(jù)眉毛區(qū)域的擬合系數(shù)，眼睛部分的擬合系數(shù)和嘴巴部分的擬合系數(shù)，對(duì)3d虛擬模型進(jìn)行擬合，獲取所述3d虛擬模型的所有頂點(diǎn)的新位置信息。
根據(jù)本發(fā)明的電子設(shè)備，通過(guò)對(duì)當(dāng)前人臉圖像進(jìn)行特征點(diǎn)定位，獲得所述特征點(diǎn)的二維坐標(biāo)，再根據(jù)所述特征點(diǎn)的二維坐標(biāo)獲得所述特征點(diǎn)的正面化的三維坐標(biāo)，再根據(jù)所述三維坐標(biāo)獲得標(biāo)準(zhǔn)化的當(dāng)前人臉模型，進(jìn)而將所述當(dāng)前人臉模型與預(yù)先建立的人臉模型數(shù)據(jù)庫(kù)中的人臉模型進(jìn)行匹配，以從所述人臉模型數(shù)據(jù)庫(kù)中獲得與所述當(dāng)前人臉模型最相似的人臉模型，再根據(jù)所述三維坐標(biāo)和所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)，獲得所述當(dāng)前人臉與所述最相似的人臉模型對(duì)應(yīng)的表情基數(shù)據(jù)的擬合系數(shù)，最后根據(jù)所述擬合系數(shù)驅(qū)動(dòng)3d虛擬模型，能夠更有效地減少視頻通話的帶寬，僅需傳遞極少的參數(shù)即完成與對(duì)方的交流，因而更好地滿足在視頻通話過(guò)程中利用3d虛擬模型來(lái)代替用戶表達(dá)情緒的要求，避免陌生人交友時(shí)不愿意露臉的尷尬。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過(guò)硬件來(lái)完成，也可以通過(guò)程序來(lái)指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
需要說(shuō)明的是，本說(shuō)明書中的各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于裝置類實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
以上僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實(shí)施例揭示如上，然而并非用以限定本發(fā)明，本領(lǐng)域普通技術(shù)人員在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容做出些許更動(dòng)或修飾為等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。