專利名稱：基于mpeg-4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于MPEG-4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法，尤指一種把顯示與控制分成兩層處理，在兩層之間用頂點(diǎn)序號(hào)對(duì)應(yīng)表來(lái)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，在控制層通過(guò)構(gòu)造人臉動(dòng)畫定義表(FaceDefTables)來(lái)實(shí)現(xiàn)動(dòng)畫控制的方法。
MPEG-4是基于對(duì)象的多媒體壓縮標(biāo)準(zhǔn)。由于人自身在多媒體中占據(jù)著十分重要的位置，所以MPEG-4對(duì)三維人臉動(dòng)畫格式定義了一個(gè)國(guó)際標(biāo)準(zhǔn)。MPEG-4中定義了FDP(人臉定義參數(shù))和FAP(人臉動(dòng)畫參數(shù))兩套參數(shù)，其中FDP包含人臉的形狀、紋理、人臉動(dòng)畫定義表等特征，而FAP則是人臉運(yùn)動(dòng)的數(shù)據(jù)。MPEG-4提供了一套以FDP和FAP為參數(shù)的人臉動(dòng)畫方法。這種人臉動(dòng)畫實(shí)現(xiàn)方法通用性強(qiáng)，數(shù)據(jù)量小，運(yùn)算復(fù)雜度低，特別適合用于通過(guò)網(wǎng)絡(luò)播放的實(shí)時(shí)人臉動(dòng)畫。但是該方法只有一個(gè)框架結(jié)構(gòu)，對(duì)于很多實(shí)現(xiàn)細(xì)節(jié)，特別是人臉動(dòng)畫定義表的構(gòu)造方法，MPEG-4并沒有定義。
目前要實(shí)現(xiàn)不同人臉模型的動(dòng)畫控制主要有兩種方式1、不同格式的人臉模型采用不同的人臉動(dòng)畫控制方法。這樣的方式比較靈活，但是模型與動(dòng)畫控制之間沒有統(tǒng)一的標(biāo)準(zhǔn)，對(duì)于新格式的模型就必須重新修改動(dòng)畫控制的軟件或程序來(lái)適應(yīng)新格式的模型。這樣的方法沒有通用性，而且工作量太大。
2、把不同格式人臉模型都轉(zhuǎn)化成統(tǒng)一的格式。這樣的方法可以有固定的動(dòng)畫控制模塊，但是由于格式的差異，人臉模型在格式轉(zhuǎn)化后可能會(huì)丟失一些信息，比如光影效果等。另外一方面，對(duì)于某種格式可能已經(jīng)有了成熟的顯示方法，比如有場(chǎng)景選擇，轉(zhuǎn)化格式后的顯示結(jié)果就不一定能達(dá)到滿意的效果。
為實(shí)現(xiàn)上述目的，基于MPEG-4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法包括步驟顯示層和控制層分別處理人臉顯示與動(dòng)畫控制；對(duì)于特殊格式的人臉模型，首先生成相應(yīng)的簡(jiǎn)單人臉模型和頂點(diǎn)序號(hào)對(duì)應(yīng)表；然后在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的基礎(chǔ)上，計(jì)算出簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；控制層通過(guò)查找簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表來(lái)變形簡(jiǎn)單人臉模型，再根據(jù)頂點(diǎn)序號(hào)對(duì)應(yīng)表把變形后的簡(jiǎn)單人臉模型轉(zhuǎn)回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。
本發(fā)明實(shí)現(xiàn)了任意格式人臉模型的動(dòng)畫控制，具有數(shù)據(jù)量小、顯示效果佳、實(shí)用價(jià)值高。其中，構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表手工操作量較大，但是由于標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表只需要構(gòu)造一次，所以總的來(lái)說(shuō)，本發(fā)明的實(shí)現(xiàn)過(guò)程仍然是比較快捷、方便的。
圖2是在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表基礎(chǔ)上，計(jì)算簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的步驟流程圖。
圖3是構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表中一個(gè)FAP在一個(gè)分段中所控制的點(diǎn)的區(qū)域及點(diǎn)的三維運(yùn)動(dòng)因子的步驟流程圖。
圖4是構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表中一個(gè)FAP在一個(gè)分段中所控制的點(diǎn)的區(qū)域及點(diǎn)的三維運(yùn)動(dòng)因子的步驟圖示。
圖5是用本發(fā)明產(chǎn)生的幾種不同格式人臉模型的喜、怒、哀、驚表情的效果。
圖6是從一段本發(fā)明產(chǎn)生的動(dòng)畫中連續(xù)截取的圖片；圖7是本發(fā)明方法的原理圖。
如

圖1所示；上述基于MPEG-4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法包括如下步驟1、對(duì)于某種特殊格式的人臉模型，生成相應(yīng)的簡(jiǎn)單人臉模型和頂點(diǎn)序號(hào)對(duì)應(yīng)表；2、在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表基礎(chǔ)上，計(jì)算出簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；3、如果得到動(dòng)畫數(shù)據(jù)，則在控制層通過(guò)查找簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表來(lái)變形簡(jiǎn)單人臉模型；4、根據(jù)頂點(diǎn)序號(hào)對(duì)應(yīng)表把變形后的簡(jiǎn)單人臉模型轉(zhuǎn)回到特殊格式的人臉模型；5、在顯示層顯示特殊格式的人臉模型；6、如果還有動(dòng)畫數(shù)據(jù)則重復(fù)步驟3，否則結(jié)束。
如圖2所示，上述在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表基礎(chǔ)上，計(jì)算簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的步驟如下1、構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；2、在簡(jiǎn)單人臉模型的網(wǎng)格上手工標(biāo)注并提取特征點(diǎn)，特征點(diǎn)個(gè)數(shù)的范圍從1到70；3、根據(jù)提取的特征點(diǎn)坐標(biāo)，用線性插值方法變形標(biāo)準(zhǔn)簡(jiǎn)單人臉模型；4、設(shè)簡(jiǎn)單人臉網(wǎng)格上的一點(diǎn)P在標(biāo)準(zhǔn)簡(jiǎn)單人臉網(wǎng)格X，Y平面上的投影為P’，并且在三角形ABC中，A、B、C是標(biāo)準(zhǔn)簡(jiǎn)單人臉網(wǎng)格上的點(diǎn)。搜索標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表，如果A、及C中至少有一點(diǎn)在某個(gè)FAP的控制區(qū)內(nèi)，且A、B、C在第k段的三維運(yùn)動(dòng)因子分別為DA，k、DB，k、DC，k，那么我們認(rèn)為P點(diǎn)在簡(jiǎn)單人臉模型上也在該FAP的控制區(qū)內(nèi)，且FAP值域的分段不變。設(shè)|PA|、|PB|、|PC|分別為P點(diǎn)在X，Y平面上到A、B、C三點(diǎn)的距離；Δ＝|PA|2+|PB|2+|PC|2，那么P點(diǎn)在第k段的三維運(yùn)動(dòng)因子DP，k的值就可以表示為DP,k=|PA|×|PB|×DC,kΔ+|PA|×|PC|×DB,kΔ+|PB|×|PC|×DA,kΔ;]]>5、重復(fù)第4步直到所有簡(jiǎn)單人臉網(wǎng)格上的點(diǎn)都被計(jì)算一遍，簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表就初步構(gòu)造完成了；6、由于投影的誤差，有些點(diǎn)可能會(huì)出現(xiàn)在錯(cuò)誤的FAP控制區(qū)中。這種情況一般出現(xiàn)在FAP控制區(qū)突變的區(qū)域，比如上下嘴唇交接處。在這種情況下就必須在標(biāo)準(zhǔn)簡(jiǎn)單人臉網(wǎng)格中指定A、B、C點(diǎn)來(lái)計(jì)算錯(cuò)誤點(diǎn)的三維運(yùn)動(dòng)因子。
如圖3所示，上述構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的步驟如下1、在標(biāo)準(zhǔn)簡(jiǎn)單人臉網(wǎng)格上選定70個(gè)特征點(diǎn)，如圖4(a)，深色的點(diǎn)代表特征點(diǎn)。
2、以FAP41為例，移動(dòng)FAP41影響到的特征點(diǎn)m，使m向下(y軸負(fù)方向)移動(dòng)到合理的位置。設(shè)點(diǎn)m在中性表情下的坐標(biāo)是Pm，移動(dòng)后的坐標(biāo)是Pm′，如圖4(b)3、根據(jù)m點(diǎn)的位移，對(duì)人臉網(wǎng)格進(jìn)行插值變形，如圖4(c)。
4、給定一個(gè)閾值，如果網(wǎng)格點(diǎn)位移大于該閾值，就認(rèn)為受FAP41的控制；如果網(wǎng)格點(diǎn)位移小于該閾值，就認(rèn)為不受FAP41的控制。調(diào)節(jié)閾值大小，直到受FAP41控制的點(diǎn)所覆蓋的區(qū)域合理為止。對(duì)于FAP41來(lái)說(shuō)，合理的控制區(qū)域是左臉頰，如圖4(d)所示。
5、以m點(diǎn)在FAP41定義的正方向(y軸正方向)上的位移D作為基準(zhǔn)，任意被控制網(wǎng)格點(diǎn)n的三維運(yùn)動(dòng)因子Dn，等于點(diǎn)n在三個(gè)坐標(biāo)軸方向上的位移(Pn′-Pn)與D的比值，再乘上符號(hào)因子c。其中FAP的正方向?yàn)槟匙鴺?biāo)軸正方向時(shí)c＝1，否則c＝-1，本例中c取值為1，表示為公式就是Dn＝c(Pn′-Pn)/D這樣就可以獲得在一個(gè)FAP分段內(nèi)，受FAP控制的點(diǎn)的三維運(yùn)動(dòng)因子。
用同樣的方法可以獲得其他分段上點(diǎn)的運(yùn)動(dòng)因子。
分層處理的優(yōu)點(diǎn)在于，一方面由于控制層只處理一種統(tǒng)一格式的人臉模型，所以控制程序不用隨模型的改變而改變，做到了控制模塊的通用性；另一方面，顯示層依然顯示原來(lái)格式的人臉模型，對(duì)顯示效果沒有任何影響。
權(quán)利要求
1.一種基于MPEG-4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法，其特征在于包括步驟顯示層和控制層分別處理人臉顯示與動(dòng)畫控制；對(duì)于特殊格式的人臉模型，首先生成相應(yīng)的簡(jiǎn)單人臉模型和頂點(diǎn)序號(hào)對(duì)應(yīng)表；然后在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的基礎(chǔ)上，計(jì)算出簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；控制層通過(guò)查找簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表來(lái)變形簡(jiǎn)單人臉模型，再根據(jù)頂點(diǎn)序號(hào)對(duì)應(yīng)表把變形后的簡(jiǎn)單人臉模型轉(zhuǎn)回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。
2.按權(quán)利要求1所述方法，其特征在于所述的在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表基礎(chǔ)上計(jì)算簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表包括步驟a、構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；b、在簡(jiǎn)單人臉模型的網(wǎng)格上手工標(biāo)注并提取特征點(diǎn)；c、根據(jù)提取的特征點(diǎn)坐標(biāo)，用線性插值方法變形標(biāo)準(zhǔn)簡(jiǎn)單人臉模型；
3.按權(quán)利要求2所述的方法，其特征在于所述特征點(diǎn)個(gè)數(shù)為1到70。
4.按權(quán)利要求2所述的方法，其特征在于所述的構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表包括步驟a、在一般人臉網(wǎng)格上選定70個(gè)特征點(diǎn)；b、移動(dòng)受FAP影響到的特征點(diǎn)m，使m向合理的方向移動(dòng)到合理的位置；c、根據(jù)m點(diǎn)的位移，對(duì)人臉網(wǎng)格進(jìn)行插值變形；d、給定一個(gè)閾值，如果網(wǎng)格點(diǎn)位移大于該閾值，就認(rèn)為受該FAP的控制；如果網(wǎng)格點(diǎn)位移小于該閾值，就認(rèn)為不受該FAP的控制；調(diào)節(jié)閾值大小，直到受該FAP控制的點(diǎn)所覆蓋的區(qū)域合理為止。
5.按權(quán)利要求4所述的方法，其特征在于所述移動(dòng)受FAP影響到的特征點(diǎn)m，還包括步驟以m點(diǎn)在該FAP定義的正方向上的位移D作為基準(zhǔn)，任意被控制網(wǎng)格點(diǎn)n的三維運(yùn)動(dòng)因子Dn，等于點(diǎn)n在三個(gè)坐標(biāo)軸方向上的位移(Pn′-Pn)與D的比值，再乘上符號(hào)因子c；其中FAP的正方向?yàn)槟匙鴺?biāo)軸正方向時(shí)c＝1，否則c＝-1，公式表示為Dn＝c(Pn′-Pn)/D
全文摘要
一種基于MPEG－4的任意格式人臉模型的動(dòng)畫實(shí)現(xiàn)方法，包括步驟顯示層和控制層分別處理人臉顯示與動(dòng)畫控制；對(duì)于特殊格式的人臉模型，首先生成相應(yīng)的簡(jiǎn)單人臉模型和頂點(diǎn)序號(hào)對(duì)應(yīng)表；然后在標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表的基礎(chǔ)上，計(jì)算出簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表；控制層通過(guò)查找簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表來(lái)變形簡(jiǎn)單人臉模型，再根據(jù)頂點(diǎn)序號(hào)對(duì)應(yīng)表把變形后的簡(jiǎn)單人臉模型轉(zhuǎn)回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。本發(fā)明具有數(shù)據(jù)量小、顯示效果佳、實(shí)用價(jià)值高。構(gòu)造標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表手工操作量較大，但由于標(biāo)準(zhǔn)簡(jiǎn)單人臉模型的人臉動(dòng)畫定義表只需要構(gòu)造一次，本發(fā)明的實(shí)現(xiàn)過(guò)程仍然是比較快捷、方便的。
文檔編號(hào)G06T15/70GK1466106SQ0214028
公開日2004年1月7日 申請(qǐng)日期2002年7月3日 優(yōu)先權(quán)日2002年7月3日
發(fā)明者姜大龍, 王兆其, 高文 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所