專(zhuān)利名稱(chēng)：一種實(shí)現(xiàn)三維視頻特效的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻特效技術(shù)領(lǐng)域，特別是涉及一種實(shí)現(xiàn)三維視頻特效的方法 和裝置。
背景技術(shù)：
隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,視頻技術(shù)越來(lái)越多的應(yīng)用在人們的 日常生活和工作中，如視頻聊天、視頻游戲，網(wǎng)絡(luò)視頻教學(xué)等。人們對(duì)視頻技 術(shù)的要求也日益增高，越來(lái)越多的人希望視頻圖像能夠滿足他們多樣的個(gè)性化 需求，因此，視頻特效技術(shù)應(yīng)運(yùn)而生，它可以使視頻內(nèi)容變得更加豐富，效果 更加逼真。例如，當(dāng)人們用電腦攝像頭進(jìn)行視頻交流時(shí)，視頻特效技術(shù)可以呈
現(xiàn)出諸如特效字體顯示、特效動(dòng)畫(huà)等多樣的視頻畫(huà)面，以滿;tA們不同的個(gè)性 化需要。
通常，視頻特效技術(shù)都是在二維平面上來(lái)完成的，通過(guò)對(duì)視頻中信息的定 位和跟蹤，直接在二維圖像空間上，對(duì)二維圖像進(jìn)行濾波來(lái)實(shí)現(xiàn)如馬賽克、人 臉模糊、人臉替換等特效。在這些視頻特效中，各種視頻背景圖案的變換實(shí)質(zhì) 上是二維圖像的重疊，也就是實(shí)現(xiàn)一些比較簡(jiǎn)單的特效效果。
目前，三維一見(jiàn)頻特效的產(chǎn)品還;f艮少。 一些單純的三維特效雖然可以實(shí)現(xiàn)一 定的特效效果，但這種單純的三維特效是按照設(shè)定的程序運(yùn)行，因而不能和用 戶進(jìn)行實(shí)時(shí)的交互。為此，人們使用鍵盤(pán)和鼠標(biāo)彌補(bǔ)這一缺陷，和三維特效進(jìn) 行交互，然而這種交互方式必須利用人手來(lái)手工操作，比較麻煩?，F(xiàn)有的基于 三維卡通模型的動(dòng)畫(huà)特效，可以根據(jù)視頻中人臉的器官變化做出相應(yīng)的表情， 如羅技的三維視頻特效，通過(guò)臉部追蹤系統(tǒng)，跟蹤網(wǎng)絡(luò)攝像頭使用者的面部表 情變化，提取面部表情信息，進(jìn)而驅(qū)動(dòng)一個(gè)虛擬的三維生物，使得該三維生物 做出各種表情變化以實(shí)現(xiàn)三維特效。這種方法雖然在一定程度上實(shí)現(xiàn)了交互的 三維特效，但并沒(méi)有將實(shí)際采集的視頻數(shù)據(jù)引入三維圖形的處理中，沒(méi)有將視
4頻和三維特效融合在一起，因而無(wú)法做出豐富多樣的三維特效。
綜上所述，目前需要本領(lǐng)域技術(shù)人員解決的一個(gè)技術(shù)問(wèn)題是如何將視頻 數(shù)據(jù)與三維特效融合起來(lái)，以實(shí)現(xiàn)用戶與三維視頻特效之間的實(shí)時(shí)交互以及豐 富的3見(jiàn)頻特效效果。
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn) _提供一種實(shí)現(xiàn)三維視頻特效的方法和裝置， 能夠?qū)崿F(xiàn)用戶與三維視頻特效之間的實(shí)時(shí)交互和豐富的視頻效果。
為了解決上述問(wèn)題，本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)三維視頻特效的方法， 包括
識(shí)別視頻圖像中的人臉信息；
根據(jù)預(yù)置規(guī)則，由所iiA臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型。 優(yōu)選的，所iiA臉信息包括人臉定位信息、人臉器官定位信息、人臉姿
態(tài)信息和人臉表情信息。
優(yōu)選的，所述識(shí)別視頻圖像中的人臉信息為通過(guò)智能識(shí)別技術(shù)識(shí)別。 優(yōu)選的，所述預(yù)置規(guī)則為所iiA臉信息與所述三維動(dòng)畫(huà)模型的Wt之間
的映射關(guān)系；或者，所述預(yù)置規(guī)則為由所"臉信息確定所述三維動(dòng)畫(huà)模型
優(yōu)選的，所述三維動(dòng)畫(huà)模型包括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模 型；所述驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型包括設(shè)置所述三維粒子動(dòng)畫(huà)模型的動(dòng) 畫(huà)起始點(diǎn)，驅(qū)動(dòng)三維目標(biāo)模型的平移、旋轉(zhuǎn)變換或縮放，驅(qū)動(dòng)光照模型進(jìn)行變 化。
優(yōu)選的，所述驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)才莫型還包括設(shè)置所述三維粒子動(dòng) 畫(huà)模型的粒子生命周期的結(jié)束條件為超出人臉輪廓范圍。 優(yōu)選的，所述實(shí)現(xiàn)三維視頻特效的方法還包括
把所述視頻圖像轉(zhuǎn)換為紋理，將所述紋理映射到預(yù)先設(shè)定的三維圖形上。 優(yōu)選的，所述將紋理映射到預(yù)先設(shè)定的三維圖形上的步驟包括 建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定的三維圖形的每個(gè)點(diǎn)坐標(biāo)的映射關(guān)系，根據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的顏色映射到所述三維圖 形上。
相應(yīng)的，本發(fā)明實(shí)施例還提供了一種實(shí)現(xiàn)三維視頻特效的裝置，包括 信息識(shí)別單元，用于識(shí)別視頻圖像中的人臉信息； 驅(qū)動(dòng)單元，用于根據(jù)預(yù)置規(guī)則，由所U臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà) 模型。
優(yōu)選的，所^A臉信息包括人臉定位信息、人臉器官定位信息、.人臉姿 態(tài)信息和人臉表情信息。
優(yōu)選的，所述信息識(shí)別單元為智能識(shí)別單元。
優(yōu)選的，所述預(yù)置規(guī)則為所itA臉信息與所述三維動(dòng)畫(huà)模型的參數(shù)之間 的映射關(guān)系；或者，所述預(yù)置規(guī)則為由所述人臉信息確定所述三維動(dòng)畫(huà)模型 的參數(shù)。
優(yōu)選的，所述三維動(dòng)畫(huà)模型包括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模 型；所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型為通過(guò)設(shè)置所述三維粒子動(dòng)畫(huà) 模型的動(dòng)畫(huà)起始點(diǎn)Z驅(qū)動(dòng)三維目標(biāo)模型的平移、旋轉(zhuǎn)變換或縮放，驅(qū)動(dòng)光照模 型進(jìn)行變化來(lái)進(jìn)行驅(qū)動(dòng)。
優(yōu)選的，所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型還包括驅(qū)動(dòng)單元設(shè) 置所述三維粒子動(dòng)畫(huà)模型的粒子生命周期的結(jié)束條件為超出人臉輪廓范圍。
優(yōu)選的，所述實(shí)現(xiàn)三維視頻特效的裝置還包括
紋理生成單元，用于將所述視頻圖像轉(zhuǎn)換為紋理；
玟理映射單元，用于將所述紋理映射到預(yù)先設(shè)定的三維圖形上。
優(yōu)選的，所述紋理映射單元包括
建立映射關(guān)系子單元，用于建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定的三維 圖形的每個(gè)點(diǎn)坐標(biāo)的映射關(guān)系；
執(zhí)行子單元，用于根據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的顏色映 射到所述三維圖形上。
6與現(xiàn)有4支術(shù)相比，本發(fā)明的一個(gè)實(shí)施例的技術(shù)方案具有以下優(yōu)點(diǎn) 首先，本發(fā)明使用智能識(shí)別技術(shù)，實(shí)時(shí)獲得視頻圖像中的各種人臉信息，
并通過(guò)預(yù)置規(guī)則用人臉信息驅(qū)動(dòng)三維動(dòng)畫(huà)模型，使三維動(dòng)畫(huà)模型根據(jù)人臉變化
實(shí)時(shí)改變，從而實(shí)現(xiàn)了用戶與三維視頻特效之間的實(shí)時(shí)交互；
其次，本發(fā)明將視頻圖像轉(zhuǎn)換成紋理，并把紋理映射到三維動(dòng)畫(huà)模型的三
維圖形上，由此實(shí)現(xiàn)了視頻數(shù)據(jù)和三維圖形的有效融合，更加豐富了三維視頻特效。
圖1是本發(fā)明的一種實(shí)現(xiàn)三維視頻特效的方法實(shí)施例一的步驟流程圖； 圖2是本發(fā)明的一種實(shí)現(xiàn)三維視頻特效的方法實(shí)施例二的步驟流程圖； 圖3是本發(fā)明的一種實(shí)現(xiàn)三維視頻特效的方法實(shí)施例三的步驟流程圖； 圖4是本發(fā)明圖3所示方法實(shí)施例三中的一個(gè)中性表情的人臉示意圖; 圖4-l是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為笑時(shí)的示意圖； 圖4-2是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為笑時(shí)，下嘴唇上控制 點(diǎn)示意圖5-l是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為驚訝時(shí)的示意圖； 圖5-2是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為驚訝時(shí)，上、下嘴唇 上控制點(diǎn)示意圖5-3是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為驚訝時(shí)，眉毛上控制 點(diǎn)示意圖6-l是本發(fā)明圖3所示方法實(shí)施例三中的人臉表情為憤怒時(shí)的示意圖； 圖6-2是本發(fā)明圖3所示方法實(shí)施例三中的人^表情為憤怒時(shí)，上、下嘴唇 上控制點(diǎn)示意圖7是本發(fā)明的一種實(shí)現(xiàn)三維視頻特效的裝置實(shí)施例的結(jié)構(gòu)框圖8是本發(fā)明應(yīng)用圖7所示裝置實(shí)現(xiàn)三維視頻特效實(shí)施例的步驟流程圖。
具體實(shí)施方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
本發(fā)明的核心構(gòu)思之一在于通過(guò)識(shí)別視頻圖像中的人臉信息，并根據(jù)人 臉信息與三維動(dòng)畫(huà)模型的M之間的映射關(guān)系，或者由人臉信息確定三維動(dòng)畫(huà) 模型的^lt，以驅(qū)動(dòng)三維動(dòng)畫(huà)模型實(shí)現(xiàn)三維視頻特效。本發(fā)明通itA臉信息驅(qū) 動(dòng)三維動(dòng)畫(huà)模型，實(shí)現(xiàn)了用戶與三維視頻特效的實(shí)時(shí)交互，以及豐富的三維視 頻特效。
參照?qǐng)D1,示出了本發(fā)明一種實(shí)現(xiàn)三維視頻特效的方法實(shí)施例一的步驟流 程圖，具體可以包括以下步驟 步驟101:獲取視頻圖像；
視頻圖像可以通過(guò)多種方法獲得，較為通用的是使用攝像頭釆集視頻圖 像，從攝像頭接口獲取USB視頻數(shù)據(jù)，由視頻處理軟件對(duì)視頻數(shù)據(jù)進(jìn)行處理。 本實(shí)施例中，使用DirectShow從攝像頭接口中獲得視頻數(shù)據(jù)。DirectShow是 微軟公司提供的一套在Windows平臺(tái)上進(jìn)行流媒體處理的開(kāi)發(fā)包，運(yùn)用 DirectShow,可以很方便地從支持WDM驅(qū)動(dòng)模型的采集卡上捕獲數(shù)據(jù)，并且 進(jìn)行后期數(shù)據(jù)處理。當(dāng)然，本領(lǐng)域技術(shù)人員也可采用任一熟知的形式獲取視頻 圖像數(shù)據(jù)，；^發(fā)明無(wú)須對(duì)此作出限制。
步驟102:識(shí)別所述視頻圖像中的人臉信息；
所i^A臉信息可以包括人臉定位信息、人臉器官定位信息、人臉姿態(tài)信 息和人臉表情信息。本實(shí)施例采用智能識(shí)別技術(shù)來(lái)識(shí)別所述3見(jiàn)頻圖像中的人臉 信息，具體方法如下
子步驟A1:識(shí)別所述視頻圖像中的人臉定位信息；
人臉定位的目的是從視頻中定位出人臉?biāo)诘奈恢?，并?duì)連續(xù)視頻中的人 臉進(jìn)行跟蹤。目前，由智能識(shí)別技術(shù)對(duì)人臉進(jìn)行定位，已經(jīng)可以達(dá)到實(shí)時(shí)檢測(cè) 的水平，并可移植到硬件平臺(tái)。例如一篇來(lái)源于"IEEE (美國(guó)電氣及電子工程 師學(xué)會(huì)，Institute of Electrical and Electronics Engineers)計(jì)算積4C覺(jué)與模式識(shí) 別匯刊"2001年第511-518頁(yè)的名為"基于簡(jiǎn)單特征自舉層次算法和快速目標(biāo)檢 觀j，， (Rapid object detection using a Boosted cascade of simple features, Proc IEEEConference on Computer Vision and Pattern Recognition, pp: 511 ~518, 2001 ) 的文獻(xiàn)中提出了基于快速Harr特征計(jì)算和分層Adaboot訓(xùn)練思想的人臉檢測(cè) 方法，該方法可以快速準(zhǔn)確的從視頻圖像中定位出各種人臉的位置。在定位的 !^j上，對(duì)連續(xù)視頻圖像中的人臉進(jìn)行跟蹤，也就是利用相鄰圖像幀中人臉顏 色信息的相似性來(lái)連續(xù)找到同 一個(gè)/^臉在相鄰圖像中的位置。由此通過(guò)智能識(shí) 別技術(shù)可以識(shí)別出以下幾種人臉定位信息人臉的位置信息，人臉的大小變化 信息和人臉的運(yùn)動(dòng)信息等。
子步驟A2:識(shí)別所述視頻圖像中的人臉器官定位信息；
人臉器官定位的目的是定位出人臉上的主要器官的位置和外形信息，即眼 睛，眉毛和嘴巴的位置，嘴巴的輪廓和人臉的外圍輪廓信息。目前常用的人臉 器官定位的方法是基于動(dòng)態(tài)形狀模型(ASM, Active Shape Model)和動(dòng)態(tài)表 觀才莫型(AAM, Active Appearance Model)的方法。
例如，用ASM方法識(shí)別人臉的外圍輪廓信息時(shí)，是把已有的人臉輪廓的 統(tǒng)計(jì)信息作為約束條件，用其在輪廓搜索中控制輪廓形狀的變化。其具體算法 包括手工從訓(xùn)練圖片集中提取出人臉的輪廓信息，并將從每張圖片中提取出 的輪廓信息組織為一個(gè)樣本；對(duì)所述樣本進(jìn)行歸一化和對(duì)齊處理，然后進(jìn)行主 分量分析(PCA， Principal components analysis)變換；采集輪廓信息中每個(gè)控 制點(diǎn)的^JL信息，用來(lái)作為點(diǎn)搜索的依據(jù)；將PCA計(jì)算得到的平均輪廓作為 輪廓搜索的初始值，進(jìn)行迭代搜索，得到最終的結(jié)果。
基于AAM的器官定位方法和ASM方法類(lèi)似，區(qū)別在于訓(xùn)練的樣本不是 手工標(biāo)定的人臉輪廓點(diǎn)信息，而^:A^臉的灰度信息。
識(shí)別出的人臉器官定位信息包括人臉上的主要器官的位置和外形信息， 即眼睛，眉毛和嘴巴的位置，嘴巴的輪廓和人臉的外閨輪廓信息等。
子步驟A3:識(shí)別所述視頻圖像中的人臉姿態(tài)信息；
所述識(shí)別人臉姿態(tài)信息就是識(shí)別出視頻圖像中人臉的朝向。目前，常用的 人臉姿態(tài)識(shí)別的方法可以分為兩類(lèi) 一類(lèi)基于統(tǒng)計(jì)理論，另外一類(lèi)則基于人臉 特征點(diǎn)的幾何信息或者結(jié)合三維模型。基于統(tǒng)計(jì)的方法采集不同方向的人臉樣 本,然后訓(xùn)練出 一個(gè)分類(lèi)器，根據(jù)分類(lèi)的結(jié)果來(lái)確定一個(gè)人臉的頭部姿態(tài)信息；基于人臉特征點(diǎn)幾何信息的方法一般是首先檢測(cè)出人臉的特征信息，然后利用 不同角度幾何信息的變化來(lái)確定姿態(tài)，比如基于仿射關(guān)系的姿態(tài)計(jì)算方法以及 融合了三維信息的姿態(tài)確定方法。
另外，中國(guó)專(zhuān)利公開(kāi)號(hào)為CN1866271A,
公開(kāi)日為2006年11月22日的 專(zhuān)利公開(kāi)了一種基于AAM的頭部姿態(tài)實(shí)時(shí)估算方法及系統(tǒng)，所述方法包括 (1)根據(jù)采集的不同頭部姿態(tài)的人臉圖像樣本，訓(xùn)練獲得ASM模型和AAM 灰度模型，其中，根據(jù)ASM模型或獲得一個(gè)ASM平均輪廓臉；(2)根據(jù)所 述ASM模型與AAM ^JL模型，計(jì)算出人臉輪廓定位時(shí)需要的梯度矩陣和 Hessain矩陣，并根據(jù)所述ASM模型、AAM灰度模型、梯度矩陣和Hessain 矩陣，獲得預(yù)處理模型；(3)獲得輸入的人臉圖像序列，并進(jìn)行人臉檢測(cè)與追 蹤，根據(jù)檢測(cè)和跟蹤得到人臉輪廓的粗略位置，并將ASM平均輪廓臉對(duì)應(yīng)到 人臉輪廓的粗略位置，獲得人臉初始輪廓的位置，根據(jù)初始輪廓的位置，通過(guò) 對(duì)圖像序列重采樣，獲得一個(gè)與ASM平均輪廓臉大小相符的圖像區(qū)域；(4) 在該圖像區(qū)域內(nèi)，根據(jù)所述預(yù)處理模型包括的梯度矩陣和Hessain矩陣，首先 基于整體相似變換對(duì)人臉輪廓進(jìn)行定位，然后基于ASM模型對(duì)數(shù)對(duì)輪廓進(jìn)行 精確定位，并計(jì)算對(duì)應(yīng)的ASM參數(shù)；(5 )根據(jù)所述ASM參數(shù)與樣本訓(xùn)練時(shí) 確定的人臉角度的關(guān)系，估算出頭部的姿態(tài)。通過(guò)本方案所述的方法，可以實(shí) 時(shí)識(shí)別視頻圖像中的人臉姿態(tài)信息。
子步驟A4:識(shí)別所述視頻圖像中的人臉表情信息；
人臉表情信息識(shí)別的目的是識(shí)別出視頻中人臉的表情變化。人臉的表情變 化非常豐富，為了便于進(jìn)行識(shí)別， 一般將人臉表情分為以下幾類(lèi)中性表情， 笑，悲傷，憤怒，驚訝。表情識(shí)別常用基于統(tǒng)計(jì)的方法，主要分為訓(xùn)練和識(shí)別 兩個(gè)步驟。訓(xùn)練時(shí)首先采集大量的不同表情的人臉樣本，M臉樣本中提取出 識(shí)別的特征數(shù)據(jù)，然后選擇不同的訓(xùn)練方法來(lái)得到分類(lèi)器。識(shí)別就是根據(jù)訓(xùn)練 得到的分類(lèi)器來(lái)對(duì)圖像中的人臉表情進(jìn)行識(shí)別。在訓(xùn)練和識(shí)別時(shí)，都需要用到 人臉定位和人臉器官定位技術(shù)，根據(jù)定位的結(jié)果來(lái)限定人臉區(qū)域和器官的位 置，然后^MwA臉區(qū)域上的特定位置提取特征。訓(xùn)練的方法有4艮多，常用的方法 包括支持向量機(jī)(SVM， Support Vector Machine )、 Fisher線性分類(lèi)器、Adaboot
10等。中國(guó)專(zhuān)利公開(kāi)號(hào)為CN1794265A,
公開(kāi)日為2006年6月28日的專(zhuān)利公開(kāi) 了一種基于視頻的面部表情識(shí)別方法及裝置，所述方法包括從USB攝像頭 輸入的視頻數(shù)據(jù)中采集人臉的面部表情圖像數(shù)據(jù)，對(duì)該圖像數(shù)據(jù)做預(yù)處理；實(shí) 時(shí)提取人臉在預(yù)處理后圖像中的位置；依據(jù)人眼分類(lèi)器對(duì)確定出的圖像中的人 臉中的人眼做出定位；根據(jù)確定的人眼的位置和人臉?lè)诸?lèi)器的信息提取包含人 臉的圖像區(qū)域，進(jìn)行歸一化處理；對(duì)人臉器官定位；根據(jù)對(duì)人臉器官的定位確 定人臉下巴的位置，確定圖像中的人臉區(qū)域，生成特征臉，并作為分類(lèi)樣本； 基于所述的分類(lèi)樣本計(jì)算所述的特征臉圖像的Gabor特征；對(duì)計(jì)算出的Gabor 特征進(jìn)行選擇；由挑選的特征構(gòu)造支持向量機(jī)分類(lèi)器；根據(jù)構(gòu)造的分類(lèi)器得出 人臉表情識(shí)別結(jié)果。通過(guò)本方案所述的方法，可以較好地識(shí)別人臉表情信息。
總之，在實(shí)際應(yīng)用中，本領(lǐng)域技術(shù)人員可以采用任意熟知的方法識(shí)別人臉 信息，本發(fā)明無(wú)須對(duì)此作出限制。
步驟103:根據(jù)預(yù)置規(guī)則，由人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型。
所述三維動(dòng)畫(huà)模型包括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模型。首先 確定三維目標(biāo)模型，然后可以根據(jù)智能識(shí)別的人臉信息來(lái)驅(qū)動(dòng)三維目標(biāo)模型變 換、光照模型和粒子動(dòng)畫(huà)模型。其中，智能識(shí)別得到的人臉器官定位信息如人 臉器官位置可以用來(lái)定制粒子動(dòng)畫(huà)的起始點(diǎn)，人臉輪廓可以控制粒子的生命周 期；人臉定位信息中的運(yùn)動(dòng)信息如跟蹤的人臉可以用來(lái)驅(qū)動(dòng)三維目標(biāo)模型的平 移；人臉定位信息中的人臉大小信息可以用來(lái)驅(qū)動(dòng)三維目標(biāo)模型的縮放；人臉 姿態(tài)信息可以用來(lái)驅(qū)動(dòng)三維目標(biāo)模型進(jìn)行旋轉(zhuǎn)變換；而人臉表情信息則可以用 來(lái)驅(qū)動(dòng)光照4莫型進(jìn)行光照變化。
具體地，由人臉信息驅(qū)動(dòng)三維動(dòng)畫(huà)模型可以包括以下步驟
子步驟B1:由視頻圖像確定三維目標(biāo)模型；
三維目標(biāo)模型可以為三維人臉模型，也可以為其它三維模型如三維卡通模 型等。由視頻圖像確定三維目標(biāo)模型可以有多種方法，如基于立體視圖的重構(gòu) 方法、基于結(jié)構(gòu)光三角測(cè)量的重構(gòu)方法、基于正交圖像的模型變形方法，以及 基于正交圖像的模型變形方法等。其中，基于正交圖像的模型變形方法主要用 在真實(shí)人臉三維模型重建中，該方法首先從正面和側(cè)面(兩個(gè)面互相垂直)對(duì)人臉進(jìn)行拍攝，然后從拍攝的人臉圖片上提取出人臉的輪廓信息，最后根據(jù)互 相正交的兩個(gè)方法上的輪廓信息來(lái)對(duì)通用的三維人臉模型進(jìn)行變形處理，就可 以得到和真實(shí)人臉外形相似的人臉模型。
在實(shí)際應(yīng)用中，本領(lǐng)域技術(shù)人員可根據(jù)情況選用任意合適的方法確定三維 目標(biāo)才莫型，本發(fā)明無(wú)須對(duì)此作出限制。
子步驟B2:由人臉表情信息驅(qū)動(dòng)光照模型；
在三維動(dòng)畫(huà)中，光照模型是一個(gè)非常關(guān)鍵的部分，不同特點(diǎn)的光照效果可 以渲染出不同的動(dòng)畫(huà)氛圍。在三維動(dòng)畫(huà)技術(shù)中， 一個(gè)物體的表面顏色是放射E (Emmisive)、環(huán)境反射A (Ambient )、漫反射D (Diffiise)和鏡面反射S (Specular)等光照作用的綜合。每種光照作用取決于表面材質(zhì)的性質(zhì)(如亮 度和材質(zhì)顏色)和光源的性質(zhì)(如光的顏色和位置)的共同作用。從數(shù)學(xué)上描 述基本光照模型的公式如下
公式中C代表了物體表面的顏色。
其中，環(huán)境反射項(xiàng)A代表了光在一個(gè)場(chǎng)景里經(jīng)過(guò)多次折射后看起來(lái)就像 來(lái)自四面八方。因?yàn)檫@個(gè)原因，環(huán)境反射項(xiàng)A并不依賴(lài)于光源的位置。其數(shù) 學(xué)公式為
爿=& x g/o6"Z/4附6/e"f 式中，《。是材質(zhì)的環(huán)境反射系數(shù)；g/o^Mw^",是入射環(huán)境光的顏色。
;t^射D代表了一個(gè)表面相等地向所有方向反射出去的方向光。其數(shù)學(xué) 公式為
Z) = & + /妙Co/or+max(JV丄,0)
式中i^是材質(zhì)的漫發(fā)射顏色；/妙《o/w是入射漫反射光的顏色；w^j見(jiàn)范化
的表面法向量，丄A^見(jiàn)范化的指向光源的向量。
放射項(xiàng)E表示由物體表面所發(fā)出的光；鏡面反射項(xiàng)S代表了一個(gè)表面主 要的^^射方向附近^L^射的光。
本實(shí)施例中，可以識(shí)別出的人臉表情包括笑、悲傷、驚訝、憤怒。每種 表情的又有不同的程度，比如笑可以有微笑，大笑等。將識(shí)別得到的表情的類(lèi)別來(lái)直接對(duì)環(huán)境反射光j進(jìn)行控制，即不同的表情對(duì)應(yīng)不同的環(huán)境反射光 g/oZ)aL4wZ)/e加。比如笑對(duì)應(yīng)的g/otoi4w6/ew/為綠色，悲傷對(duì)應(yīng)的為藍(lán)色，驚訝對(duì) 應(yīng)的是黃色，憤怒對(duì)應(yīng)的是紅色。 一旦識(shí)別完成，就可以根據(jù)識(shí)別的結(jié)果來(lái)直 接對(duì)g/oto"m6fe",進(jìn)行賦值，從而得到不同的環(huán)境光線效果。沒(méi)有識(shí)別出表情 時(shí)認(rèn)為人臉是中性，此時(shí)的環(huán)境光設(shè)置為白色。
在不同的表情以及中性人臉之間進(jìn)行切換時(shí)，本實(shí)施例采用漸進(jìn)切換的方 法，即緩慢的進(jìn)行環(huán)境光線的切換。設(shè)S。， ^代表前后兩個(gè)個(gè)識(shí)別的表情對(duì)應(yīng) 的顏色，那么當(dāng)表情從S。變化到&時(shí)，其變化過(guò)程可以描述為方程
。 M
M表示漸變的時(shí)間長(zhǎng)度，m=0,1,.. .M代表不同的時(shí)間長(zhǎng)度。
表情識(shí)別的程度則用來(lái)控制漫反射D中的規(guī)范化的表面法向量W ,當(dāng)不 同時(shí)，漫反射的強(qiáng)度就會(huì)發(fā)生不同的變化。本實(shí)施例中將表情識(shí)別的程度用一 個(gè)浮點(diǎn)數(shù)P來(lái)表示，該浮點(diǎn)數(shù)是識(shí)別使用的分類(lèi)器得到的結(jié)果，為了方便使用， 對(duì)不同分類(lèi)器計(jì)算的結(jié)果進(jìn)行歸一化，即最終得到的表情識(shí)別程度可以用一個(gè)
之間的一個(gè)數(shù)來(lái)表示。那么漫反射公式中的7V的計(jì)算公式為
7V-ZJ o她,(l-F))
公式的含義是當(dāng)表情程度越夸張時(shí)，7V值越接近丄，見(jiàn)z的值就越大，漫反
射光線就越強(qiáng)，反之就越弱。這樣本實(shí)施例就可以根據(jù)識(shí)別表情的夸張程度來(lái) 改變漫反射光線的強(qiáng)弱，達(dá)到很好的交互效果。
子步驟B3:由人臉位置和人臉器官位置信息驅(qū)動(dòng)粒子動(dòng)畫(huà)模型； 粒子動(dòng)畫(huà)模型是三維計(jì)算機(jī)圖形學(xué)中模擬一些特定模糊現(xiàn)象的模型技術(shù)， 經(jīng)常使用粒子動(dòng)畫(huà)模型模擬的現(xiàn)象有火、爆炸、煙、水流、火花、云、霧或者 發(fā)光軌跡這樣的抽象視覺(jué)效果。
通常，粒子動(dòng)畫(huà)模型在三維空間中的位置與運(yùn)動(dòng)是由發(fā)射器控制的，所述 發(fā)射器主要由一組粒子行為參數(shù)以及在三維空間中的位置所表示。粒子行為參 數(shù)可以包括粒子生成速度(即單位時(shí)間粒子生成的數(shù)目)、粒子初始速度向量 和加速度(例如什么時(shí)候向什么方向運(yùn)動(dòng)，以及速度的變化)、粒子壽命(經(jīng)
13過(guò)多長(zhǎng)時(shí)間粒子湮滅)、粒子顏色、在粒子生命周期中的變化以及其它參數(shù)等等。
在粒子動(dòng)畫(huà)模型模擬抽象視覺(jué)效果階段，根據(jù)粒子生成速度以及更新間隔 計(jì)算新粒子的數(shù)目，每個(gè)粒子根據(jù)發(fā)射器的位置及給定的生成區(qū)域在特定的三 維空間位置生成，并且根據(jù)發(fā)射器的參數(shù)初始化每個(gè)粒子的速度、顏色、生命 周期等參數(shù)。然后檢查每個(gè)粒子是否已經(jīng)超出了生命周期， 一旦超出就將這些 粒子剔出模擬過(guò)程，否則就根據(jù)物理模擬更改粒子的位置與特性，這些物理模 擬可能像將速度加到當(dāng)前位置或者調(diào)整速度抵消摩擦這樣簡(jiǎn)單，也可能像將外 力考慮進(jìn)取計(jì)算正確的物理拋射軌跡那樣復(fù)雜。
設(shè)粒子的起始位置為尸,z。
，粒子的速度矢量為h
，加速度矢量為
o =
那么時(shí)間為,時(shí)，粒子在空間中位置p=g+w+會(huì)必2
/人乂>式可以看出，通過(guò)設(shè)置不同的g, r和fl就可以得到不同運(yùn)動(dòng)狀態(tài)和 軌跡的粒子。
本實(shí)施例步驟102中通過(guò)對(duì)人臉器官的定位，識(shí)別出眼睛、嘴巴等的位置 信息及人臉輪廓信息后，可以將眼睛、嘴巴等的位置信息代入所述粒子的起始 位置公式中作為《的值(其中，Zs可以為給定的初始值)，用來(lái)控制粒子的起 始位置。這樣可以使粒子從人臉區(qū)域的特定位置發(fā)射出來(lái)，并隨著人臉位置的 變化而發(fā)生變化，達(dá)到較好的交互效果。
也可以用識(shí)別出的人臉輪廓信息控制粒子的生命周期，具體地，可以用一 個(gè)視頻中人臉覆蓋區(qū)域的多邊形來(lái)描述人臉輪廓，根據(jù)輪廓信息，我們可以大 致確定一個(gè)人臉區(qū)域的范圍。粒子系統(tǒng)中的粒子從起始位置(如人臉區(qū)域內(nèi)任 意位置)開(kāi)始運(yùn)動(dòng)后，可以實(shí)時(shí)控制其速度和方向，即可以實(shí)時(shí)計(jì)算出一個(gè)粒 子在空間中的位置。將某個(gè)時(shí)刻的粒子位置投影到人臉?biāo)诘钠矫鎱^(qū)域，并判 斷其與人臉區(qū)域的位置關(guān)系，如果仍然在人臉區(qū)域內(nèi)，那么就讓粒子繼續(xù)運(yùn)行，否則，粒子運(yùn)行并超出這個(gè)多邊形區(qū)域時(shí)，就可以認(rèn)為其生命結(jié)束，即終止其 運(yùn)行。這樣，粒子系統(tǒng)的特效效果就只出現(xiàn)在人臉區(qū)域內(nèi)。
還可以在用人臉器官位置信息控制粒子起始位置的同時(shí)，使用人臉輪廓信 息控制粒子的生命周期，以達(dá)到豐富的三維效果。
子步驟B4:由人臉定位信息驅(qū)動(dòng)三維目標(biāo)模型進(jìn)行平移變換；
對(duì)三維目標(biāo)模型的平移是通過(guò)對(duì)視頻中的人臉進(jìn)行定位和跟蹤來(lái)實(shí)現(xiàn)的，
本步驟將步驟102識(shí)別的人臉定位信息作為三維目標(biāo)模型的平移參數(shù)，根據(jù)人
臉在視頻圖像中的位置變化對(duì)三維目標(biāo)模型進(jìn)行平移變換。
三維目標(biāo)平移變換的公式可以為
x = x0+7;,
其中，x。為預(yù)先設(shè)定的三維模型所在空間坐標(biāo)系中的原點(diǎn)，設(shè)人臉定位
后的人臉區(qū)域的中心在視頻圖像中的坐標(biāo)為O,v),設(shè)圖像寬為vv，高為/n那
么有K
M--
2
,由此得到三維目標(biāo)模型的平移參數(shù)X，根據(jù)此參數(shù)對(duì)
三維目標(biāo)模型進(jìn)行平移變換。
子步驟B5:由人臉定位信息驅(qū)動(dòng)三維目標(biāo)模型進(jìn)行縮放變換； 對(duì)三維目標(biāo)模型進(jìn)行縮放是根據(jù)視頻中人臉大小變化來(lái)實(shí)現(xiàn)的。當(dāng)視頻中 的人臉與攝像頭的距離發(fā)生變化時(shí)，人臉的大小就會(huì)發(fā)生相應(yīng)的變化。根據(jù)視 頻圖像的大小，可以設(shè)定一個(gè)人臉大小的標(biāo)準(zhǔn)值。根據(jù)步驟102識(shí)別人臉定位 信息的人臉定位和跟蹤算法可以確定出視頻中的人臉大小，用實(shí)際大小除以標(biāo) 準(zhǔn)大小就可以得到人臉縮放的比例值，用這個(gè)比例值作為三維目標(biāo)模型的縮放 參數(shù)實(shí)現(xiàn)三維目標(biāo)模型的縮放變換。
三維目標(biāo)模型的縮放公式為1 = ;^，其中，義'為三維目標(biāo)模型縮放前的
坐標(biāo)，s為根據(jù)人臉定位信息獲得的人臉縮放的比例值。
子步驟B6:由人臉姿態(tài)信息驅(qū)動(dòng)三維目標(biāo)模型進(jìn)行旋轉(zhuǎn)變換。對(duì)三維目標(biāo)模型的旋轉(zhuǎn)是根據(jù)視頻中人臉姿態(tài)信息實(shí)現(xiàn)的，根據(jù)步驟102 中識(shí)別的人臉姿態(tài)信息作為三維目標(biāo)模型的旋轉(zhuǎn)參數(shù)，對(duì)三維目標(biāo)模型進(jìn)行旋 轉(zhuǎn)變換。
三維目標(biāo)模型的旋轉(zhuǎn)公式為x-;r^的A(必)，其中，及,表示繞x軸旋轉(zhuǎn)的 角度，e表示繞x軸旋轉(zhuǎn)的角度，^表示繞y軸旋轉(zhuǎn)，w表示繞y軸旋轉(zhuǎn)角度， 本步驟將人臉姿態(tài)信息分解為繞x軸和繞y軸的角度，之后代入公式對(duì)三維目 標(biāo)模型進(jìn)行旋轉(zhuǎn)變換。
經(jīng)由以上處理，可生成豐富的三維-現(xiàn)頻特效。
需要說(shuō)明的是，本方法實(shí)施例為了簡(jiǎn)單描述，將其表述為一系列的動(dòng) 作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序 的限制，因?yàn)橐罁?jù)本發(fā)明，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其 次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí) 施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
參照?qǐng)D2,示出了本發(fā)明一種實(shí)現(xiàn)三維視頻特效的方法實(shí)施例二的步驟流 程圖，可以包括以下步驟 步驟201:獲取視頻圖像；
利用DirectShow從攝像頭USB接口獲取視頻圖像； 步驟202:識(shí)別所述視頻圖像中的人臉信息；所迷人臉信息包括人臉定 位信息、人臉器官定位信息、人臉姿態(tài)信息和人臉表情信息； 本步驟使用智能識(shí)別技術(shù)識(shí)別所述視頻圖像中的人臉信息。 步驟203:根據(jù)預(yù)置規(guī)則，由人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型； 所述三維動(dòng)畫(huà)模型包括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模型。智能 識(shí)別得到的人臉器官定位信息如人臉器官位置可以用來(lái)定制粒子動(dòng)畫(huà)的起始 點(diǎn)，人臉輪廓可以控制粒子的生命周期；人臉定位信息中的運(yùn)動(dòng)信息如跟蹤的 人臉可以用來(lái)驅(qū)動(dòng)三維目標(biāo)模型的平移；人臉定位信息中的人臉大小信息可以 用來(lái)驅(qū)動(dòng)三維目標(biāo)模型的縮放；人臉姿態(tài)信息可以用來(lái)驅(qū)動(dòng)三維目標(biāo)才莫型進(jìn)行 旋轉(zhuǎn)變換；而人臉表情信息則可以用來(lái)驅(qū)動(dòng)光照模型進(jìn)行光照變化。步驟204:將所述視頻圖像轉(zhuǎn)換成紋理；
將視頻圖像轉(zhuǎn)換為紋理，可以充分利用三維圖像系統(tǒng)提供的紋理處理函 數(shù)，快速地對(duì)紋理進(jìn)行一些預(yù)處理。
本實(shí)施例-使用OpenGL三維繪制平臺(tái)的紋理映射功能實(shí)現(xiàn)將^L頻圖像轉(zhuǎn) 換成紋理。OpenGL是以GL三維圖形庫(kù)為基礎(chǔ)制定的一個(gè)通用共享的開(kāi)放式 三維圖形標(biāo)準(zhǔn)，在圖形處理領(lǐng)域有著廣泛的應(yīng)用，以O(shè)penGL為基礎(chǔ)的產(chǎn)品包 括動(dòng)畫(huà)制作軟件Soft Image和3D Studio MAX、仿真軟件Open Invertor、 VR 軟件World Tool Kit、 CAM軟件ProEngineer、 GIS以及ARC/INFO等等。OpenGL 提供了豐富的紋理處理函數(shù)，可以快速地對(duì)視頻圖像和紋理進(jìn)行處理。
在處理鄉(xiāng)文理圖像時(shí)，大小為2的冪次的圖像的操作最方便，可以將圖像大 小轉(zhuǎn)換為2的冪次。因此，本實(shí)施例將每一幀視頻圖像大小轉(zhuǎn)換為2的冪次大 小，在保持原始圖像長(zhǎng)寬比例不變的情況下，最直接的方法是根據(jù)實(shí)際圖像的 大小生成一幅最小的但能包含原始圖像的圖像，同時(shí)長(zhǎng)和寬為2的冪次。比如， 當(dāng)輸入的視頻圖像中每幀圖像的大小為320*240時(shí)，可以生成一幅大小為 512*512 (512=29)的圖像，然后將320*240的圖像填入512*512圖像的中央。
步驟205:建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定的三維圖形的每個(gè)點(diǎn)坐 標(biāo)的映射關(guān)系，4艮據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的顏色映射到三 維圖形上；
所述三維圖形可以為矩形，也可以為其它形狀圖形如圓形等。 紋理實(shí)際上就是圖像，紋理映射是圖形學(xué)中的一個(gè)基本技術(shù)，其目的是將 圖像貼到物體表面。紋理映射的實(shí)質(zhì)是建立空間三維點(diǎn)和圖像平面像素點(diǎn)之間 的映射關(guān)系，然后將圖像中像素點(diǎn)的顏色賦給空間點(diǎn)，因此紋理映射的關(guān)鍵是 建立映射關(guān)系。本實(shí)施例使用OpenGL提供的紋理映射函數(shù)，為空間點(diǎn)設(shè)置對(duì) 應(yīng)的紋理坐標(biāo)，實(shí)現(xiàn)紋理映射，將所述紋理的每個(gè)像素點(diǎn)的顏色映射到三維圖 形上。
步驟206:將由人臉信息驅(qū)動(dòng)的三維動(dòng)畫(huà)模型與步驟205所述的三維圖形 結(jié)合，生成三維視頻特效。
所述三維圖形可以根據(jù)需要放置，如可以作為背景放置在三維空間的正后
17方，也可以縮小后嵌入到三維物體中。同時(shí)，與三維動(dòng)畫(huà)^t型驅(qū)動(dòng)參數(shù)驅(qū)動(dòng)的 三維目標(biāo)模型、光照模型和三維粒子動(dòng)畫(huà)模型相結(jié)合，共同生成豐富的三維視 頻特效。
參照?qǐng)D3，示出了本發(fā)明一種實(shí)現(xiàn)三維-阮頻特效的方法實(shí)施例三的步驟流 程圖，該實(shí)施例將本發(fā)明的方法具體應(yīng)用到三維人臉模型，由視頻圖像中識(shí)別 出的人臉表情信息驅(qū)動(dòng)三維人臉模型實(shí)現(xiàn)三維視頻特效。本實(shí)施例可以包括以
下步驟
步驟301:輸入通用三維人臉模型；
通用三維人臉模型一般可以采用三維造型軟件(比如3DMax、 Maya等) 來(lái)制作。
步驟302:獲取視頻人臉圖像；
步驟303:識(shí)別視頻圖像中的人臉表情信息；
人臉表情識(shí)別具體的實(shí)現(xiàn)方法有很多，例如，中國(guó)專(zhuān)利公開(kāi)號(hào)為 CN101034433A，
公開(kāi)日為2007年9月12日的名稱(chēng)為"人臉表情圖像的分類(lèi)及 語(yǔ)義評(píng)判量化方法，，的專(zhuān)利申請(qǐng)中公開(kāi)了一種人臉表情識(shí)別方法。再例如，中 國(guó)專(zhuān)利公開(kāi)號(hào)為CN101187990A,
公開(kāi)日為2008年5月28日的名稱(chēng)為"一種 會(huì)話機(jī)器人系統(tǒng)"的專(zhuān)利申請(qǐng)中也公開(kāi)了一種基于人臉檢測(cè)(定位)和人臉表 情的特征提取進(jìn)行人臉表情識(shí)別(分類(lèi))的方法，在此不再贅述?？傊绢I(lǐng) 域技術(shù)人員可選擇任意合適的方法識(shí)別視頻圖像中的人臉表情信息，本發(fā)明無(wú) 須對(duì)此作出限制。
步驟304:使用預(yù)置驅(qū)動(dòng)規(guī)則驅(qū)動(dòng)三維人臉模型上器官的運(yùn)動(dòng)，得到三維 人臉動(dòng)畫(huà)。
預(yù)置驅(qū)動(dòng)規(guī)則可以通過(guò)規(guī)定如何驅(qū)動(dòng)三維人臉模型上的點(diǎn)來(lái)實(shí)現(xiàn)，因?yàn)椋?通用三維人臉才莫型是由點(diǎn)構(gòu)成，驅(qū)動(dòng)這些點(diǎn)運(yùn)動(dòng)就可以改變?nèi)S人臉才莫型器官 的變形。
人臉可以有各種各樣的表情，但典型的表情有以下幾類(lèi)中性，笑，憤怒， 驚訝，我們以上述幾種表情為基礎(chǔ)來(lái)研究人臉器官的變形方式，我們認(rèn)為中性表情時(shí)人臉器官?zèng)]有任何運(yùn)動(dòng)，參考圖4，為中性表情的人臉示意圖。
下面仔細(xì)描述當(dāng)表情為"笑"、"驚訝"和"憤怒"時(shí)，預(yù)置驅(qū)動(dòng)規(guī)則的具體實(shí)
施方式o
參考圖4-1,給出了當(dāng)人臉表情是"笑"的時(shí)候，相對(duì)于中性表情人臉的變 化情況。
當(dāng)人臉表情是"笑"的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為下眼瞼上的控制 點(diǎn)整體向上運(yùn)動(dòng)；上嘴唇上的控制點(diǎn)平行上升，并向兩邊拉升；下嘴唇上的控 制點(diǎn)依序連接形成拋物線的形狀。
當(dāng)人臉表情是"笑，，的時(shí)候，下眼瞼會(huì)向上微微的運(yùn)動(dòng)，所以可以簡(jiǎn)單的抽 象為整體向上運(yùn)動(dòng)，而眉毛可以認(rèn)為沒(méi)有運(yùn)動(dòng)；最明顯的變化是上、下嘴唇， 所以可以設(shè)置上嘴唇上的控制點(diǎn)在y方向是平行上升的，在x方向上則向兩邊 拉升；下嘴唇上的控制點(diǎn)則可以認(rèn)為從直線變形到 一個(gè)拋物線的形狀。
下嘴唇的變形可以用拋物線來(lái)表達(dá)7 = ^2-",該拋物線具體示圖見(jiàn)圖 4-2,圖中包含了兩根線條，上面的直線代表了中性表情時(shí)下嘴唇的位置，下 面的曲線是利用公式"^2—"來(lái)生成，圓圈點(diǎn)代表了嘴唇上的控制點(diǎn)。嘴唇 的中心點(diǎn)的^坐標(biāo)為0，左右的控制點(diǎn)對(duì)稱(chēng)分布(例如，間隔為0.25111111),將 控制點(diǎn)的x坐標(biāo)代入拋物線公式可以計(jì)算出V值，根據(jù)Y值就可以驅(qū)動(dòng)嘴唇點(diǎn) 的變形來(lái)產(chǎn)生笑的表情。調(diào)整^ = ^-"中的"值可以產(chǎn)生不同彎曲程度的拋物 線，用來(lái)模擬不同程度的笑對(duì)應(yīng)的下嘴唇變形。
參考圖5-1,給出了當(dāng)人臉表情是"驚訝"時(shí)，相對(duì)于中性表情人臉的變化 情況。
當(dāng)人臉表情是"驚訝，，的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為上、下嘴唇的 控制點(diǎn)相對(duì)于嘴巴中心點(diǎn)分別向上、下運(yùn)動(dòng)；嘴角的控制點(diǎn)向嘴巴中心點(diǎn)運(yùn)動(dòng)； 上、下嘴唇上的控制點(diǎn)同嘴角控制點(diǎn)依序連接形成兩個(gè)拋物線形狀；眉毛控制 點(diǎn)向上運(yùn)動(dòng)。
當(dāng)人臉表情是"驚訝"的時(shí)候，嘴巴的變化可以認(rèn)為是上下嘴唇都變化為拋 物線，同時(shí)嘴角往嘴巴的中間收縮；所以在設(shè)置上下嘴唇的變形時(shí)可以用拋物 線函凄史 6表示，我們可以假設(shè)不同程度的"驚訝"時(shí)，代表嘴唇的拋物線都和X軸交于相同的位置。那么拋物線的函數(shù)可以簡(jiǎn)化為_(kāi)y = ov2-"或者
_y = -ox2+";拋物線的極值點(diǎn)為x-O時(shí)的點(diǎn)，那么該點(diǎn)的變形幅度就為a， x =
0.5對(duì)應(yīng)的點(diǎn)的變形幅度就為0.75a;我們可以取不同的x值來(lái)計(jì)算出變形的幅
度，從而得到不同點(diǎn)的運(yùn)動(dòng)幅度值。參考圖5-2，當(dāng)為"驚訝"表情時(shí)，圖中圓
圈點(diǎn)代表了嘴唇上的控制點(diǎn)，上面的線條代表了上嘴唇變形，利用公式 少=-ox2 + "來(lái)生成，下面的線條代表了下嘴唇變形，利用公式"欲2 -"來(lái)生成，
不同的"可以生成不同變形程度的拋物線。
參考圖5-1,當(dāng)為"驚訝，，表情時(shí)，眉毛的變化是明顯的上揚(yáng)，我們可以用 一個(gè)筒單的變形算法來(lái)描述眉毛的上揚(yáng)，該算法首先在眉毛的中心位置選擇一 個(gè)控制點(diǎn)，并在控制點(diǎn)的附近確定一個(gè)鄰域。根據(jù)控制點(diǎn)和鄰域點(diǎn)的位置來(lái)計(jì) 算控制點(diǎn)到所有鄰域點(diǎn)的最大距離maxZ ,那么當(dāng)控制點(diǎn)運(yùn)動(dòng)時(shí)，鄰域點(diǎn)的運(yùn) 動(dòng)可以用7>式
K.(cos(~^~*P/)+l)/2 max￡
來(lái)計(jì)算，公式中V代表了控制點(diǎn)的運(yùn)動(dòng)矢量，L表示控制點(diǎn)到鄰域點(diǎn)的距 離，這個(gè)公式可以保證離控制點(diǎn)越近的點(diǎn)的運(yùn)動(dòng)距離越大，最遠(yuǎn)的點(diǎn)保持不變； 參考圖5-3,最中間的點(diǎn)是控制點(diǎn)，它的移動(dòng)最大，左右點(diǎn)是鄰域點(diǎn)，其變形 程度跟該點(diǎn)到控制點(diǎn)的距離成反比，兩端的兩個(gè)點(diǎn)沒(méi)有移動(dòng)。
參考圖6-1,給出了當(dāng)人臉表情是"憤怒"時(shí)候，相對(duì)于中性表情人臉的變 化情況。
當(dāng)人臉表情是"憤怒，，的時(shí)候， 一種優(yōu)選的預(yù)置驅(qū)動(dòng)規(guī)則為上嘴唇的控制 點(diǎn)整體向上平移；下嘴唇的控制點(diǎn)向下運(yùn)動(dòng)；下嘴唇的控制點(diǎn)同嘴角控制點(diǎn)依 序連接形成拋物線形狀；眉毛控制點(diǎn)向上運(yùn)動(dòng)。
當(dāng)人臉表情是"憤怒"的時(shí)候，眉毛的變化可以采用上述驚訝時(shí)的驅(qū)動(dòng)方 式，只是眉毛的眉角上的控制點(diǎn)在方向上整體向上運(yùn)動(dòng)；嘴巴變化和"驚訝" 表情時(shí)比較類(lèi)似，只是上嘴唇的變形不再使用標(biāo)準(zhǔn)的拋物線，而是讓上嘴唇中 間的幾個(gè)點(diǎn)向上整體平移；參考圖6-2,圓圈點(diǎn)是嘴唇上的控制點(diǎn)，上面的線 條代表了上嘴唇的變形，圓圈控制點(diǎn)整體上移，下面的曲線代表了下嘴唇的變形，類(lèi)似"笑"的下嘴唇變形，可以利用公式少=^2來(lái)生成。
參照?qǐng)D7,示出了本發(fā)明一種實(shí)現(xiàn)三維視頻特效的裝置實(shí)施例的結(jié)構(gòu)框
圖，可以包^^:
信息識(shí)別單元701,用于識(shí)別視頻圖像中的人臉信息； 優(yōu)選的，所述信息識(shí)別單元為智能識(shí)別單元。
優(yōu)選的，所述人臉信息包括人臉定位信息、人臉器官定位信息、人臉姿 態(tài)信息和人臉表情信息。
驅(qū)動(dòng)單元702,用于根據(jù)預(yù)置規(guī)則，由所述人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維 動(dòng)畫(huà)模型。
優(yōu)選的，所述預(yù)置規(guī)則為所述人臉信息與所述三維動(dòng)畫(huà)模型的參數(shù)之間 的映射關(guān)系；或者，所述預(yù)置規(guī)則為由所述人臉信息確定所述三維動(dòng)畫(huà)模型 的參數(shù)。
優(yōu)選的，所述三維動(dòng)畫(huà)模型包括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模 型；所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)才莫型為通過(guò)設(shè)置所述三維粒子動(dòng)畫(huà) 模型的動(dòng)畫(huà)起始點(diǎn)，驅(qū)動(dòng)三維目標(biāo)模型的平移、旋轉(zhuǎn)變換或縮放，驅(qū)動(dòng)光照模 型進(jìn)行變化來(lái)進(jìn)行驅(qū)動(dòng)。
優(yōu)選的，所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型還包括驅(qū)動(dòng)單元設(shè) 置所述三維粒子動(dòng)畫(huà)模型的粒子生命周期的結(jié)束條件為超出人臉輪廓范圍。 優(yōu)選的，本實(shí)施例的實(shí)現(xiàn)三維視頻特效的裝置還可以包括 紋理生成單元703,用于將所述視頻圖像轉(zhuǎn)換為紋理； 紋理映射單元704,用于將所述紋理映射到預(yù)先設(shè)定的三維圖形上。 優(yōu)選的，所述所述紋理映射單元704還可以進(jìn)一步包括 建立映射關(guān)系子單元7041,用于建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定 的三維圖形的每個(gè)點(diǎn)坐標(biāo)的映射關(guān)系；
執(zhí)行子單元7042,用于根據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的 顏色映射到所述三維圖形上。參照?qǐng)D8,示出了本發(fā)明應(yīng)用圖7所示裝置實(shí)現(xiàn)三維視頻特效實(shí)施例的步
驟流程圖，可以包括以下步驟 步驟801:獲取視頻圖像；
步驟802:信息識(shí)別單元通過(guò)智能識(shí)別技術(shù)識(shí)別視頻圖像中的人臉信息； 所述人臉信息包括人臉定位信息、人臉器官定位信息、人臉姿態(tài)信息和人臉 表情信息。
步驟803:根據(jù)人臉表情信息，驅(qū)動(dòng)單元驅(qū)動(dòng)光照模型進(jìn)行光照變化； 驅(qū)動(dòng)單元根據(jù)識(shí)別的人臉表情種類(lèi)，如笑、悲傷、驚訝、憤怒、中性胎i 置光照模型的不同環(huán)境反射光參數(shù)，進(jìn)行光照模型的環(huán)境光線變換；根據(jù)人臉 表情的程度調(diào)整光照模型的漫反射參數(shù)，進(jìn)行光線強(qiáng)弱的變換。
步驟804:根據(jù)人臉器官定位信息，驅(qū)動(dòng)單元驅(qū)動(dòng)粒子動(dòng)畫(huà)模型生成粒子 特效；
驅(qū)動(dòng)單元根據(jù)人臉器官定位信息中五官的位置設(shè)置粒子起始位置中的X 方向和Y方向的參數(shù)，根據(jù)人臉器官定位信息的人臉輪廓信息控制粒子的生 命周期，驅(qū)動(dòng)粒子模型生成粒子特效。
步驟805:驅(qū)動(dòng)單元4艮據(jù)人臉定位信息，驅(qū)動(dòng)三維目標(biāo);f莫型進(jìn)行平移和縮 放變換；
人臉定位信息包括人臉位置信息和人臉跟蹤信息，通過(guò)對(duì)視頻圖像中對(duì)人 臉的定位和跟蹤，確定三維目標(biāo)模型的平移和縮放參數(shù)，并由驅(qū)動(dòng)單元根據(jù)這 些參數(shù)對(duì)三維目標(biāo)模型進(jìn)行平移和縮放。
步驟806:驅(qū)動(dòng)單元根據(jù)人臉姿態(tài)信息，驅(qū)動(dòng)三維目標(biāo)模型進(jìn)行旋轉(zhuǎn)變換； 驅(qū)動(dòng)單元根據(jù)識(shí)別的人臉姿態(tài)姿態(tài)信息確定三維目標(biāo)模型的旋轉(zhuǎn)參數(shù)，進(jìn) 行旋轉(zhuǎn)變換。
步驟807:紋理生成單元將所述視頻圖像轉(zhuǎn)換為紋理； 步驟808:紋理映射單元的建立映射關(guān)系子單元建立所述紋理的每個(gè)點(diǎn)坐 標(biāo)和預(yù)先設(shè)定的三維圖形的每個(gè)點(diǎn)坐標(biāo)的映射關(guān)系；
三維圖形可以為矩形、圓形、三角形等任意三維圖形。
步驟809:紋理映射單元的執(zhí)行子單元根據(jù)所述映射關(guān)系，將所述紋理的
22每個(gè)像素點(diǎn)的顏色映射到所述三維圖形上。
由于將視頻圖像映射到三維圖形上，這樣，就可以在三維圖形上顯示視頻 內(nèi)容，更加豐富了三維視頻特效內(nèi)容。
步驟810:將所述三維動(dòng)畫(huà)模型和三維圖形合成三維視頻特效。 將由人臉信息驅(qū)動(dòng)的三維目標(biāo)模型、粒子動(dòng)畫(huà)模型、光照模型和所述三維
圖形結(jié)合起來(lái)，生成三維視頻特效。
通過(guò)上述對(duì)視頻圖像的識(shí)別和處理， 一個(gè)包括三維目標(biāo)模型平移、縮放、
旋轉(zhuǎn)、背景光照變化、粒子特效及三維圖形視頻顯示的三維視頻特效就展現(xiàn)在
用戶的面前，用戶只需要通過(guò)視頻圖像采集設(shè)備如視頻頭就可以與三維視頻特
效進(jìn)行實(shí)時(shí)交互，并獲得豐富的三維視頻特效效果。
需要說(shuō)明的是，本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí) 施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部 分互相參見(jiàn)即可。對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以 描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
以上對(duì)本發(fā)明所提供的 一種實(shí)現(xiàn)三維視頻特效的方法和裝置，進(jìn)行了詳細(xì)
施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域 的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改 變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1、一種實(shí)現(xiàn)三維視頻特效的方法，其特征在于，所述方法包括識(shí)別視頻圖像中的人臉信息；根據(jù)預(yù)置規(guī)則，由所述人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型。
2、 如權(quán)利要求1所述的方法，其特征在于，所述人臉信息包括人臉定 位信息、人臉器官定位信息、人臉姿態(tài)信息和人臉表情信息。
3、 如權(quán)利要求1或2所述的方法，其特征在于，所述識(shí)別視頻圖像中的 人臉信息為通過(guò)智能識(shí)別技術(shù)識(shí)別。
4、 如權(quán)利要求1或2所述的方法，其特征在于，所述預(yù)置規(guī)則為所i^A臉信息與所述三維動(dòng)畫(huà)模型的^t之間的映射關(guān) 系；或者，所述預(yù)置規(guī)則為由所iiA臉信息確定所述三維動(dòng)畫(huà)模型的M。
5、 如權(quán)利要求1或2所述的方法，其特征在于，所述三維動(dòng)畫(huà)模型包括 三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模型；所述驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà);f莫型包括設(shè)置所述三維粒子動(dòng)畫(huà)模型的動(dòng)畫(huà)起始點(diǎn)，驅(qū)動(dòng)三維目標(biāo)模型的平移、旋 轉(zhuǎn)變換或縮放，驅(qū)動(dòng)光照模型進(jìn)行變化。
6、 如權(quán)利要求5所述的方法，其特征在于，所述驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng) 畫(huà)模型還包括設(shè)置所述三維粒子動(dòng)畫(huà)模型的粒子生命周期的結(jié)束條件為超出 人臉輪廓范圍。
7、 如權(quán)利要求1或2所述的方法，其特征在于，還包括 把所述一見(jiàn)頻圖像轉(zhuǎn)換為紋理，將所述紋理映射到預(yù)先設(shè)定的三維圖形上。
8、 如權(quán)利要求7所述的方法，其特征在于，所述將紋理映射到預(yù)先設(shè)定 的三維圖形上的步驟包括建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定的三維圖形的每個(gè)點(diǎn)坐標(biāo)的映射 關(guān)系，根據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的顏色映射到所述三維圖 形上。
9、 一種實(shí)現(xiàn)三維視頻特效的裝置，其特征在于，所述裝置包括 信息識(shí)別單元，用于識(shí)別視頻圖像中的人臉信息；驅(qū)動(dòng)單元，用于根據(jù)預(yù)置規(guī)則，由所述人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型。
10、 如權(quán)利要求9所述的裝置，其特征在于，所iiA臉信息包括人臉定 位信息、人臉器官定位信息、人臉姿態(tài)信息和人臉表情信息。
11、 如權(quán)利要求9或IO所述的裝置，其特征在于，所述信息識(shí)別單元為 智能識(shí)別單元。
12、 如權(quán)利要求9或IO所述的裝置，其特征在于，所述預(yù)置規(guī)則為所i^A臉信息與所述三維動(dòng)畫(huà)模型的^t之間的映射關(guān) 系；或者，所述預(yù)置規(guī)則為由所iiA臉信息確定所述三維動(dòng)畫(huà)才莫型的WL
13、 如權(quán)利要求9或IO所述的裝置，其特征在于，所述三維動(dòng)畫(huà)模型包 括三維目標(biāo)模型、粒子動(dòng)畫(huà)模型和光照模型；所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè)定的 三維動(dòng)畫(huà)模型為通過(guò)設(shè)置所述三維粒子動(dòng)畫(huà)模型的動(dòng)畫(huà)起始點(diǎn)，驅(qū)動(dòng)三維目標(biāo)模型的平移、旋轉(zhuǎn)變換或縮放，驅(qū)動(dòng)光照模型進(jìn)行變化來(lái)進(jìn)行驅(qū)動(dòng)。
14、 如權(quán)利要求13所述的裝置，其特征在于，所述驅(qū)動(dòng)單元驅(qū)動(dòng)預(yù)先設(shè) 定的三維動(dòng)畫(huà)模型還包括驅(qū)動(dòng)單元設(shè)置所述三維粒子動(dòng)畫(huà)模型的粒子生命周 期的結(jié)束條件為超出人臉輪廓范圍。
15、 如權(quán)利要求9或IO所述的裝置，其特征在于，還包括 紋理生成單元，用于將所述視頻圖4象轉(zhuǎn)換為紋理； 紋理映射單元，用于將所述紋理映射到預(yù)先設(shè)定的三維圖形上。
16、 如權(quán)利要求15所述的裝置，其特征在于，所述紋理映射單元包括 建立映射關(guān)系子單元，用于建立所述紋理的每個(gè)點(diǎn)坐標(biāo)和預(yù)先設(shè)定的三維圖形的每個(gè)點(diǎn)坐標(biāo)的映射關(guān)系；執(zhí)行子單元，用于根據(jù)所述映射關(guān)系，將所述紋理的每個(gè)像素點(diǎn)的顏色映 射到所述三維圖形上。
全文摘要
本發(fā)明提供了一種實(shí)現(xiàn)三維視頻特效的方法，涉及視頻特效技術(shù)領(lǐng)域，所述方法包括識(shí)別視頻圖像中的人臉信息；根據(jù)預(yù)置規(guī)則，由所述人臉信息驅(qū)動(dòng)預(yù)先設(shè)定的三維動(dòng)畫(huà)模型。本發(fā)明根據(jù)實(shí)時(shí)獲得的視頻圖像中的各種人臉信息，通過(guò)預(yù)置規(guī)則用所述人臉信息驅(qū)動(dòng)三維動(dòng)畫(huà)模型，使三維動(dòng)畫(huà)模型根據(jù)人臉變化實(shí)時(shí)改變，從而實(shí)現(xiàn)了用戶與三維視頻特效之間的實(shí)時(shí)交互和豐富的三維視頻特效。
文檔編號(hào)G06T15/70GK101452582SQ20081024025
公開(kāi)日2009年6月10日 申請(qǐng)日期2008年12月18日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者謝東海, 鄧亞峰, 英 黃 申請(qǐng)人:北京中星微電子有限公司