專利名稱：為計算機圖形動畫制作跟蹤面部肌肉和眼睛運動的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖形和動畫，更具體地說，涉及不使用攝像機而能夠捕捉表演者的面部和眼睛運動以在制作計算機圖形動畫中使用的運動跟蹤系統(tǒng)。
背景技術(shù)：
使用運動捕捉系統(tǒng)捕捉真實對象的運動，并將其映射到計算機生成的對象上。此類系統(tǒng)常常應(yīng)用于運動圖片和視頻游戲的制作中以創(chuàng)建用作創(chuàng)建計算機圖形(CG)動畫的源數(shù)據(jù)的人的數(shù)字表示。在典型的系統(tǒng)中，表演者穿戴具有附著在不同位置的標記器(例如具有附著于身體和肢體的小反應(yīng)式標記器)的套裝，并且數(shù)字攝像機在照射這些標記器時從不同角度記錄表演者的移動。系統(tǒng)然后分析圖像以確定表演者套裝上的標記器在每個幀中的位置(例如作為空間坐標)和方向。通過跟蹤標記器的位置，系統(tǒng)創(chuàng)建不同時間上標記器的空間表示，并構(gòu)建運動中的表演者的數(shù)字表示。然后將該運動應(yīng)用于數(shù)字模型，然后對其施加紋理和渲染以制作演員和/或表演的完成CG表示。這種技術(shù)已被特殊效果公司用于在許多流行電影中制作令人難以置信的逼真動畫。
運動捕捉系統(tǒng)還用于跟蹤演員的面部特征的運動以創(chuàng)建演員的面部運動和表情(例如大笑、哭、微笑等)的表示。與身體運動捕捉一樣，將標記器附著于演員的面部，并且攝像機記錄演員的表情。因為較之身體移動中所涉及的更大肌肉，面部移動涉及相對較小的肌肉，所以面部標記器通常遠小于對應(yīng)的身體標記器，并且攝像機通常比常常用于身體運動捕捉的攝像機具有更高分辯率。通常將攝像機與演員的物理移動共平面對齊，同時限定保持攝像機聚焦于演員的面部上?？梢詫⒚娌窟\動捕捉系統(tǒng)集成在頭盔或物理附著于演員的其他裝備中，以便統(tǒng)一地照射面部標記器并將攝像機與面部之間的相對移動的程度將至最小。
運動捕捉系統(tǒng)相對于傳統(tǒng)動畫技術(shù)(例如關(guān)鍵幀處理)的優(yōu)點在于能夠?qū)崿F(xiàn)實時可視化。制作團隊可以實時地或接近實時地復(fù)查表演者的運動的空間表示，從而使演員能夠改變物理表現(xiàn)以便捕捉最優(yōu)數(shù)據(jù)。而且，運動捕捉系統(tǒng)檢測使用其他動畫技術(shù)無法容易再現(xiàn)的物理移動的細微差異，由此獲得更精確地反映自然移動的數(shù)據(jù)。作為結(jié)果，利用采用運動捕捉系統(tǒng)收集的源材料創(chuàng)建的動畫將展現(xiàn)出更生動的外觀。
盡管運動捕捉系統(tǒng)有這些優(yōu)點，常規(guī)運動捕捉系統(tǒng)的缺點是它們無法捕捉眼睛運動。因為標記器無法貼附于表演者的眼睛，所以運動捕捉攝像機檢測不到眼睛移動。然后必須在后續(xù)CG動畫過程中添加此眼睛移動。除了使得動畫過程更麻煩外，所產(chǎn)生的動畫產(chǎn)品欠缺逼真性，因為它無法包括表演期間產(chǎn)生的細微眼睛移動。
依賴于攝像機的常規(guī)運動捕捉系統(tǒng)的另一個缺點在于，因與例如道具或其他演員的其他對象的干擾而可能遮擋表演者的運動數(shù)據(jù)。確切地說，如果身體或面部標記器的一部分被阻擋在數(shù)字攝像機的視場外，則收集不到有關(guān)該身體或面部部分的數(shù)據(jù)。這導(dǎo)致運動數(shù)據(jù)中的遮擋或空洞。雖然可以在稍后后期制作期間使用常規(guī)計算機圖形技術(shù)填補遮擋，但是填補數(shù)據(jù)欠缺實際運動數(shù)據(jù)的質(zhì)量，從而導(dǎo)致可被觀眾識別出的動畫缺陷。為了避免此問題，常規(guī)運動捕捉系統(tǒng)限制了可以一次性捕捉的對象的數(shù)量，例如限于一個表演者。這還往往使運動數(shù)據(jù)看上去不夠逼真，因為表演者的表演的質(zhì)量常常取決于與其他演員和對象的互動。而且，難以將這些分離的表演以看上去自然的方式組合在一起。
在娛樂業(yè)界之外，有許多其他情況，期望捕捉或跟蹤面部肌肉和/或眼睛移動，而不會有對光學攝像機的依賴。例如，自動語音識別設(shè)備、門禁系統(tǒng)、用于個人簡檔和/或醫(yī)療/牙醫(yī)篩選系統(tǒng)的電子存儲和檢索系統(tǒng)均可以利用此類分析技術(shù)。利用面部特征分析的語音識別系統(tǒng)可以在難以單獨使用聲音語音識別的噪聲環(huán)境(例如軍用飛機上或工廠里)中得以廣泛的應(yīng)用。這些潛在應(yīng)用的每個環(huán)境目前欠缺用于精確地將個人面部特征轉(zhuǎn)換成有用的電子數(shù)據(jù)的有效部件。在此人相對于檢測設(shè)備不斷改變面部朝向的情況中尤其存在問題。
因此，期望提供一種克服現(xiàn)有技術(shù)的這些和其他缺點的運動跟蹤系統(tǒng)。更確切地，期望提供一種能夠如實地捕捉表演者的細微面部和眼睛運動而不使用攝像機的運動跟蹤系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明通過提供能夠如實地捕捉細微面部和眼睛運動的運動跟蹤系統(tǒng)來克服現(xiàn)有技術(shù)的缺點。本發(fā)明使用表面肌電圖(EMG)檢測方法來檢測肌肉移動，使用眼電圖(EOG)檢測方法來檢測眼睛移動。使用對應(yīng)于所檢測到的肌肉和眼睛移動的信號控制動畫人物來呈現(xiàn)表演者執(zhí)行的相同移動。
更具體地說，運動跟蹤動畫制作系統(tǒng)的實施例包括多個肌電圖(EMG)電極對，這些多個肌電圖(EMG)電極對適于貼附于表演者皮膚表面與各個肌肉對應(yīng)的多個位置處；以及在操作上耦合到這些多個EMG電極對的處理器。該處理器包括編程指令，這些編程指令執(zhí)行從多個EMG電極對獲取EMG數(shù)據(jù)的功能。EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動對應(yīng)的電信號。編程指令還包括處理EMG數(shù)據(jù)以提供肌肉移動的數(shù)字模型，并將該數(shù)字模型映射到動畫人物上。作為結(jié)果，動畫人物將呈現(xiàn)與表演者相同的肌肉移動。
在本發(fā)明的實施例中，多個眼電圖(EOG)電極對適于貼附于表演者皮膚表面與表演者眼睛相鄰的位置處。處理器在操作上耦合到多個EOG電極對，并且還包括編程指令，這些編程指令執(zhí)行從多個EOG電極對獲取EOG數(shù)據(jù)的功能。EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動對應(yīng)的電信號。編程指令還提供EOG數(shù)據(jù)的處理，并將所處理的EOG數(shù)據(jù)映射到動畫人物上。這樣使動畫人物呈現(xiàn)與表演者相同的眼睛移動。
通過下文對優(yōu)選實施例的詳細描述，將使本領(lǐng)域技術(shù)人員能夠更全面地理解能夠捕捉表演者的面部和眼睛運動以在計算機圖形動畫制作中使用的運動跟蹤系統(tǒng)，以及實現(xiàn)本發(fā)明的附加優(yōu)點和目的。下文將參考所附頁的附圖，下面首先將簡要描述這些附圖。


圖1是圖示根據(jù)本發(fā)明實施例的運動跟蹤系統(tǒng)的框圖；圖2是包括示范電極放置位置的人面部肌肉結(jié)構(gòu)的前視圖；圖3是根據(jù)本發(fā)明實施例用于使用肌電圖(EMG)信號制作動畫幀的方法；圖4是用于處理EMG信號的方法；圖5是用于處理校準姿態(tài)的方法；圖6是示出角膜與眼底之間存在的電壓勢(voltage potential)的人眼的側(cè)視圖；
圖7A和圖7B是示出與眼睛移動對應(yīng)的電場測量的示意圖；圖8是貼附有面部肌肉和眼睛電位電極的表演者的照片；以及圖9說明使用從圖8的表演者獲得的面部肌肉和眼睛移動數(shù)據(jù)渲染的動畫人物。
具體實施例方式
如下文進一步描述的，本發(fā)明滿足能夠在不使用攝像機的情況下如實地捕捉表演者的細微面部和眼睛運動的運動跟蹤系統(tǒng)的要求。在下文詳細描述中，相似的元件編號用于描述一個或多個附圖中圖示的相似元件。
首先參考圖1，框示根據(jù)本發(fā)明實施例的運動跟蹤系統(tǒng)100。運動跟蹤系統(tǒng)100包括運動跟蹤處理器108，該運動跟蹤處理器108設(shè)為通過適合的電極接口112與多個面部肌肉電極對和多個眼睛運動電極對通信。運動跟蹤處理器108還可以包括可編程計算機，該可編程計算機具有設(shè)為能夠存儲關(guān)聯(lián)的數(shù)據(jù)文件的數(shù)據(jù)存儲裝置106。如本領(lǐng)域公知的，可以使用網(wǎng)絡(luò)將一個或多個計算機工作站耦合到運動跟蹤處理器108以使多個圖形設(shè)計人員能夠在創(chuàng)建計算機圖形動畫的過程中使用存儲的數(shù)據(jù)文件。運動跟蹤處理器108還可以包括例如商業(yè)軟件包提供的計算機圖形動畫制作系統(tǒng)，該計算機圖形動畫制作系統(tǒng)能夠創(chuàng)建用于娛樂業(yè)的3D圖形和動畫，例如Alias|WavefrontTM銷售的Maya軟件產(chǎn)品線或其他類似產(chǎn)品。應(yīng)該理解計算機圖形動畫制作系統(tǒng)可以包括與運動跟蹤處理器108完全分離的計算機硬件和軟件系統(tǒng)，或者，可以作為共有硬件和軟件系統(tǒng)的一部分與運動跟蹤處理器108集成(例如“插件”)。
肌肉電極對包括電極1201、1221到120N、122N，它們通過各自電導(dǎo)體1161、1181到116N、118N耦合到電極接口112。還將接地電極126通過電導(dǎo)體124耦合到電極接口112。在本發(fā)明的優(yōu)選實施例中，肌肉電極對包括表面肌電圖(EMG)電極，這些表面肌電圖(EMG)電極測量在肌肉彎曲時發(fā)生的沿肌肉表面?zhèn)鞑サ某龢O波所導(dǎo)致的電壓差。表面電極檢測到的信號通常在5mV的范圍內(nèi)。應(yīng)該將這些電極與電脈沖的期望的方向?qū)R(或與應(yīng)該排除的脈沖垂直地對齊)。
眼睛運動電極對包括電極1361、1381和1362、1382，它們通過各自電導(dǎo)體1321、1341和1322、1342耦合到電極接口112。接地電極144也通過電導(dǎo)體142耦合到電極接口112。在優(yōu)選實施例中，通過從眼睛獲取并測量眼電圖(EOG)來檢測眼睛運動。
圖2示出具有用于EMG電極對的示范指定面部肌肉位置的面部肌肉系統(tǒng)的人解剖模型200。使用EMG電極對從每個相應(yīng)肌肉組捕捉數(shù)據(jù)。例如，電極對位置1L對應(yīng)于負責抬起左內(nèi)側(cè)眉的肌肉，電極對位置2L對應(yīng)于負責抬起左外側(cè)眉的肌肉，電極對位置3對應(yīng)于負責放低眉的肌肉，等等。通過常規(guī)方式(例如使用化妝用的膠水)將電極對貼附于表演者皮膚表面指定的位置。應(yīng)該認識到表演者的對應(yīng)肌肉的移動將產(chǎn)生通過對應(yīng)電極檢測到的關(guān)聯(lián)的電信號。因為每個人的肌肉有細微不同，所以可能需要某個量的試驗來精確地查找和定位每個表演者的電極以實現(xiàn)最有數(shù)據(jù)收集。
如醫(yī)學領(lǐng)域中公知的，上部面部肌肉負責改變眼眉、前額和上下眼瞼的外觀。臉上部的額部肌肉等張力地(isotonically)向頭蓋骨上的靜態(tài)插入點收縮，從而使表面組織(即皮膚)能夠與肌肉的方向垂直地隆起和起皺。下部面部肌肉由多個不同組構(gòu)成，包括沿著朝向顴骨與嘴唇成一定角度的方向收縮的顴大肌、自然地成圓形或橢圓形且繞眼睛拉伸的眼輪匝肌、繞嘴部拉伸的口輪匝肌、朝向耳部水平地收縮的頰肌以及控制多種其他動作的其他肌肉。嘴部的肌肉具有尤其復(fù)雜的肌肉互動?？谳喸鸭∈遣桓街诠趋赖睦s肌。三塊主肌肉，即提上臉肌(M.Levator)、提上唇肌(Labii Superioris)和鼻翼肌從上方結(jié)合，同時額肌在嘴部的主節(jié)點處結(jié)合并水平地收縮。降眉肌(M.Depressor)、降口角肌(Anguli Oris)、降下唇肌(M.Depressor Labii Inferioris)和頦肌(Mentalis)均斜向且垂直地收縮。面部表情由這些上部和下部面部肌肉的復(fù)雜和組合移動來形成。
圖2還示出EOG電極對的示范指定位置。與眼睛相鄰的電極對位置E01和E02適于檢測與眼睛左/右移動關(guān)聯(lián)的信號。一只眼睛下方和上方的電極對位置E03和E04適于檢測與眼睛上/下移動關(guān)聯(lián)的信號。接地電極位置GD位于前額上。注意接地電極可以貼附在身體上不會干擾面部肌肉的應(yīng)用和動作的任何位置，例如頸部、肩部、肘部等。前額表示接地電極的方便位置，是因為它接近于其他電極而不會干擾面部肌肉動作。注意第二接地電極對于EMG電極是必不可少的，該第二接地電極可以位于與EOG接地電極相同的區(qū)域。因為偶極表示表演者的雙眼將平行移動，所以只需從其中一只眼睛收集上/下運動。與EMG電極一樣，EOG電極通過常規(guī)方式(例如使用化妝用的膠水)貼附于表演者皮膚表面指定的位置。
簡要參考圖6，示出人眼600的側(cè)視截面圖。角膜602位于眼睛的前表面，并提供透射從物體反射的光線的表面。角膜602、晶狀體604和玻璃體612將光線偏向、折射和聚焦。眼底608提供眼睛的內(nèi)凹，該內(nèi)凹包括視網(wǎng)膜606。晶狀體602將物體的圖像聚焦到視網(wǎng)膜606上，視網(wǎng)膜將光線轉(zhuǎn)換成經(jīng)視覺神經(jīng)610傳送到大腦的電脈沖。如本領(lǐng)域中公知的，角膜602與眼底608之間存在電壓勢。該電壓勢由發(fā)出可測量電場使得該電場的變化與眼睛的移動相關(guān)的偶極組成。
圖7A和圖7B圖示電極對1361、1381包圍的兩個偶極。這兩個偶極對應(yīng)于表演者的眼睛600L、600R的每一個。如圖7A所示，當偶極(即眼睛)朝向前方時，電極1361、1381之間測量的電場是空的。在圖7B中，偶極朝向右邊，由此感生電極1361、1381之間的正電場。電極1361、1381之間相對于接地的電場變化提供了眼睛的適合位置信息。相對于眼睛在與標稱前方大約±20°的范圍內(nèi)移動，該電場變化保持相當線性。
現(xiàn)在返回到圖1，運動跟蹤處理器108提供對EMG和EOG電極檢測到的信號的信號處理和放大。相對于EMG電極，信號處理可以包括對接收到的信號的整流。因為原始信號是雙相的，所以其平均值為零。整流使電流僅為單向，因此將跨過零軸的信號的負內(nèi)容“翻轉(zhuǎn)”，從而使整個信號為正。從EOG電極接收到的信號的相位分量對于確定眼睛的方向是至關(guān)重要的，所以對于這些信號不會不執(zhí)行整流。信號處理還可以包括對接收到的信號的濾波和線性包絡(luò)檢測。EMG信號實際是許多信號以及一些噪聲的混合。這些電壓還在不同速率或頻率上升和下降，從而形成頻譜。運動跟蹤處理器108可以將混合信號濾波，以消除例如運動偽差(movement artifact)的電噪聲。大多數(shù)EMG存在于頻率范圍20與200Hz之間。運動偽差具有小于10Hz的頻率，噪聲具有高于期望的EMG范圍的頻率范圍。因此，可以將信號通過帶通濾波器來消除運動偽差和噪聲。電接口112和/或運動跟蹤處理器108還可以將接收到的信號放大以將它們提升到適于信號處理的電平。在本發(fā)明的實施例中，電接口可以由RunTechnologies公司制造的Myopac來提供。
圖3圖示根據(jù)本發(fā)明實施例的臉部跟蹤方法的示范實現(xiàn)。該方法最初包括在步驟302獲取EMG信號，其中包括將電極置于面部的特定部位，如上文論述的。例如，可以將電極置于所選的面部肌肉組上。由此，當表演者作出面部表情時，所涉及的面部肌肉根據(jù)面部肌肉的移動產(chǎn)生肌肉動作電壓勢。在步驟304處理所獲取的EMG信號，以產(chǎn)生表現(xiàn)較好的信號。EMG信號處理包括處理面部表情的每個幀的多個EMG通道。然后在步驟306生成定義n維“表情空間”的一組校準表情或姿態(tài)?？梢酝ㄟ^創(chuàng)建表示校準姿態(tài)和EMG通道值的矩陣積的矩陣來以數(shù)學方式表示校準表情或姿態(tài)。為了產(chǎn)生每個校準表情，表演者使某些隔離的肌肉組動作以便校準收集到的數(shù)據(jù)。例如，表演者使眼眉向上移動，并測量來自關(guān)聯(lián)的EMG電極的信號?？梢詫⑿氏禂?shù)應(yīng)用于檢測到的信號，以便實現(xiàn)數(shù)字模型的對應(yīng)移動。還可以稍微移動EMG電極的位置，以便檢測更強信號或避免與相鄰EMG傳感器的串擾。然后對每個其他肌肉組重復(fù)相似的過程。
在步驟308，將來自后續(xù)表演的EMG信號與校準表情擬合以生成每個表情分量的加權(quán)系數(shù)。加權(quán)系數(shù)(x)通過解表達式F(x)＝B求x來生成，其中F是在步驟306生成的那組校準表情，B是在步驟304處理的每個幀的多個EMG通道。在步驟310，對于每個面部表情分量，生成面部的模擬3D計算機圖形模型。3D計算機圖形模型表示使用不同組參數(shù)的相同面部表情。例如，可以使用幾何坐標作為參數(shù)來表示面部表情。又如，可以使用肌肉強度作為參數(shù)來表示面部表情。當在步驟312將加權(quán)分量與3D計算機圖形模型組合時，結(jié)果是與最初表演的面部表情幾何圖形匹配的面部表情幾何圖形。面部表情的最終幾何圖形表示為配置有一組參數(shù)和加權(quán)分量的3D計算機圖形模型的和，并在步驟314將其渲染成動畫幀。
圖4是更詳細圖示如上文步驟304描述的用于處理EMG信號的電路的框圖。在步驟402，獲取EMG信號，例如基本如上文描述的使用置于面部肌肉上的電極。通過A/D轉(zhuǎn)換器404將獲得的模擬EMG信號轉(zhuǎn)換成數(shù)字信號。高通濾波器406將EMG信號濾波，并且整流器408將EMG信號整流。然后由噪聲消減電路410從整流的EMG信號中減去噪聲。由積分器412對噪聲消減后的信號求積分，并由低通濾波器414對其執(zhí)行低通濾波。最后，由處理器416處理EMG通道值。
圖5是更詳細圖示如上文步驟306描述的用于生成校準表情的過程的流程圖。步驟502執(zhí)行校準姿態(tài)的EMG信號的獲取。在步驟504處理所獲取的EMG信號。然后在步驟506生成定義n維“表情空間”的一組校準表情或姿態(tài)。如上所述，通過創(chuàng)建表示校準姿態(tài)和EMG通道值的矩陣積的矩陣來以數(shù)學方式表示校準表情或姿態(tài)。
現(xiàn)在參考圖8，其中示出在其面部上貼附有多個EMG和EOG電極的實際表演者。利用貼附在表演者面部的電極，表演者可以執(zhí)行期望的表演。由電極接口112接收并處理來自電極的電信號，并傳送到運動跟蹤處理器108以進行存儲并處理成動畫，如圖9所示。
可以將電極導(dǎo)體束捆綁在一起以便于表演者容易移動。電極接口112可以將多種信號復(fù)用到單個導(dǎo)體上以傳送到運動跟蹤處理器108?？梢酝ㄟ^電導(dǎo)體或光纖導(dǎo)體將電極接口112捆縛到運動跟蹤處理器108，或可以利用無線連接進一步增強表演者移動的自由度。或者，電極接口112可以包括存儲裝置，例如硬盤或閃速存儲器模塊，這使表演數(shù)據(jù)能夠存儲在本地，然后在后來將其下載到運動跟蹤處理器108。在本發(fā)明的實施例中，電極接口112可以被攜帶于表演者的背后，其中電極導(dǎo)體束引導(dǎo)到表演者頭部的后面，沿著脊椎向下到電極接口112。在另一個備選方式中，電極接口112可以被攜帶在表演者所戴的帽子中，這使頭部和頸部更容易移動而不會受到電極導(dǎo)體束的干擾。應(yīng)該認識到可以將電極和導(dǎo)體集成到與表演者面部吻合地形成的柔性面罩。
運動跟蹤處理器將使用公知的技術(shù)產(chǎn)生動畫人物的數(shù)字模型。數(shù)字模型可以基于從多個不同角度拍攝演員的多個數(shù)字攝影，并將它們組合在一起以產(chǎn)生三維(3D)圖像文件或數(shù)字模型。如上所述，用于產(chǎn)生3D圖像文件的軟件工具都是本領(lǐng)域中公知道。例如，可以從多個樣條曲面生成3D面部結(jié)構(gòu)，每個樣條曲面定義面部結(jié)構(gòu)的表面的一部分。樣條曲面由各個線段形成，這些線段通稱為“線框”。該面部結(jié)構(gòu)表示位于皮膚表面下的子面部(sub-facie)結(jié)構(gòu)。作為后續(xù)動畫過程的一部分，將具有期望紋理和色彩的外部表面組織應(yīng)用于該子面部結(jié)構(gòu)以產(chǎn)生動畫人物。應(yīng)該理解，面部結(jié)構(gòu)的形狀將控制動畫人物形成的面部表情。
一旦創(chuàng)建數(shù)字模型，則虛擬面部肌肉結(jié)構(gòu)覆蓋在該面部結(jié)構(gòu)的數(shù)字模型上。人面部肌肉結(jié)構(gòu)在醫(yī)學文獻中得以很好的注釋，可以容易地將各個肌肉的位置和相互連接映射到數(shù)字模型。在數(shù)字模型中通過壓縮所選的肌肉矢量或肌肉矢量組以實現(xiàn)多個對應(yīng)矢量的重新定位并由此對數(shù)字模型的表面重新塑形來實現(xiàn)肌肉致動。然后將從表演者捕捉到面部和眼睛運動數(shù)據(jù)映射到數(shù)字模型的相應(yīng)肌肉矢量。作為結(jié)果，動畫數(shù)字模型將呈現(xiàn)與捕捉到的表演相同的面部和眼睛移動。應(yīng)該認識到可以將表演者的動作和表情映射到任何其他類型的動畫面部，例如兒童、動物或不同的長相的成人面部。
如上文提到的，前述的運動跟蹤系統(tǒng)將能夠?qū)崿F(xiàn)面部肌肉和眼睛運動的緊密協(xié)調(diào)。例如，將眨眼檢測為眼睛周圍的肌肉的EMG數(shù)據(jù)的尖峰。當檢測到尖峰時，動畫處理可以插入眨眼以與數(shù)據(jù)對應(yīng)。這將大大增加所產(chǎn)生的動畫的逼真程度。上述運動跟蹤系統(tǒng)具有優(yōu)于傳統(tǒng)面部運動跟蹤系統(tǒng)的優(yōu)勢，因為本發(fā)明的實施無需攝像機或大量運動捕捉。這意味著及時要跟蹤的面部的鏡頭被遮擋，實施仍將進行。而且，本發(fā)明的實施自動將運動捕捉參數(shù)化成肌肉活動，而與最終幾何圖形無關(guān)，由此幫助面部運動捕捉到重新定位。
雖然前述內(nèi)容僅僅解決面部肌肉移動的捕捉，但是應(yīng)該認識到相同的技術(shù)將能夠捕捉身體肌肉移動?？梢圆捎门c上述面部肌肉相同的方式將電極對貼附到多個不同身體肌肉組。相似地，可以將與身體吻合地形成的套裝中設(shè)有EMG電極，以改進將電極貼附到表演者的身體的容易性和精確性。這種形式的身體肌肉捕捉可以是對使用光學系統(tǒng)的常規(guī)運動捕捉的進一步增強，因為除了接合點旋轉(zhuǎn)外還可以捕捉肌肉柔韌度。這樣得到更生動的人物移動的動畫。
應(yīng)該理解上述的眼睛運動過程還可以與使用光學數(shù)據(jù)或捕捉運動的常規(guī)運動捕捉系統(tǒng)一起使用。然后可以按上文描述的相同方式將眼睛運動與光學方式捕捉到的身體和/或面部運動同步。而且，結(jié)合常規(guī)光學運動捕捉系統(tǒng)使用的EMG數(shù)據(jù)捕捉系統(tǒng)提供有關(guān)表演的增強數(shù)據(jù)，并且可以在光學數(shù)據(jù)因表演期間的光學干擾而被遮擋時使用。
由此描述了能夠在不使用攝像機的情況下捕捉表演者的面部和眼睛運動的系統(tǒng)和方法的優(yōu)選實施例，對于本領(lǐng)域技術(shù)人員來說應(yīng)該顯見到實現(xiàn)了本發(fā)明的某些優(yōu)點。還應(yīng)該認識到在本發(fā)明的范圍和精神內(nèi)可以實施多種修改、適配和備選實施例。本發(fā)明進一步由所附權(quán)利要求限定。
權(quán)利要求
1.一種運動跟蹤動畫制作系統(tǒng)，包括多個肌電圖(EMG)電極對，適于貼附于表演者皮膚表面與各個肌肉對應(yīng)的多個位置處；在操作上耦合到所述多個EMG電極對的處理器，所述處理器包括用于執(zhí)行如下功能的編程指令從所述多個EMG電極對獲取EMG數(shù)據(jù)，所述EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動對應(yīng)的電信號；處理所述EMG數(shù)據(jù)以提供肌肉移動的數(shù)字模型；將所述數(shù)字模型映射到動畫人物上，其中所述動畫人物將呈現(xiàn)與表演者相同的肌肉移動。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理功能還包括部分基于所處理的EMG數(shù)據(jù)生成一組校準姿態(tài)。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述獲取功能還包括對所述電信號整流和/或濾波。
4.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理器還包括計算機圖形動畫制作處理器。
5.如權(quán)利要求1所述的系統(tǒng)，還包括耦合到所述多個EMG電極的電極接口，所述電極接口提供混合信號到所述處理器。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口適于攜帶在表演者的身體上。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口適于攜帶在表演者的身體上。
8.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述電極接口具有與所述處理器的無線連接。
9.如權(quán)利要求1所述的系統(tǒng)，還包括多個眼電圖(EOG)電極對，適于貼附于表演者皮膚表面與表演者眼睛相鄰的位置處，所述處理器在操作上耦合到所述多個EOG電極對并包括執(zhí)行如下功能的編程指令從所述多個EOG電極對獲取EOG數(shù)據(jù)，所述EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動對應(yīng)的電信號；處理所述EOG數(shù)據(jù)；以及將所處理的EOG數(shù)據(jù)映射到動畫人物上，其中所述動畫人物將呈現(xiàn)與表演者相同的眼睛移動。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述EOG電極檢測眼睛移動所產(chǎn)生的電場變化。
11.一種使用運動跟蹤制作動畫的方法，包括將多個肌電圖(EMG)電極對貼附于表演者皮膚表面與各個肌肉對應(yīng)的多個位置處；從所述多個EMG電極對獲取EMG數(shù)據(jù)，所述EMG數(shù)據(jù)包括與表演期間表演者的肌肉移動對應(yīng)的電信號；處理所述EMG數(shù)據(jù)以提供肌肉移動的數(shù)字模型；將所述數(shù)字模型映射到動畫人物上，其中所述動畫人物將呈現(xiàn)與表演者相同的肌肉移動。
12.如權(quán)利要求11所述的方法，其特征在于，所述處理步驟還包括部分基于所處理的EMG數(shù)據(jù)生成一組校準姿態(tài)。
13.如權(quán)利要求11所述的方法，其特征在于，所述獲取步驟還包括對所述電信號整流和/或濾波。
14.如權(quán)利要求11所述的方法，還包括將在操作上耦合到所述多個EMG電極的電極接口攜帶在表演者的身體上。
15.如權(quán)利要求11所述的方法， 還包括將多個眼電圖(EOG)電極貼附于表演者的所述皮膚表面與表演者眼睛相鄰的位置處。
16.如權(quán)利要求15所述的方法，還包括從所述多個EOG電極對獲取EOG數(shù)據(jù)，所述EOG數(shù)據(jù)包括與表演期間表演者的眼睛移動對應(yīng)的電信號，處理所述EOG數(shù)據(jù)，并將所處理的EOG數(shù)據(jù)映射到動畫人物，其中所述動畫人物將呈現(xiàn)與表演者相同的眼睛移動。
全文摘要
一種使用動作跟蹤來捕獲精細面部和眼部動作的動畫制作系統(tǒng)。該系統(tǒng)使用表面肌電圖(EMG)檢測方法來檢測面部肌肉移動(圖2，項1－26)并使用眼電圖(EOG)檢測方法來檢測眼睛移動(圖2，項E01－E04)。對應(yīng)于所檢測到的肌肉和眼睛移動的信號用于控制動畫人物來呈現(xiàn)表演者執(zhí)行的相同移動。運動跟蹤電極附著于表演者臉部與各肌肉對應(yīng)的多個位置處，并且處理器在操作上耦合到多個EMG和EOG電極對。處理電極數(shù)據(jù)以提供肌肉移動的數(shù)字模型，隨后從數(shù)字模型映射到動畫人物上。作為結(jié)果，動畫人物將呈現(xiàn)與表演者相同的肌肉和眼睛移動。
文檔編號G06T15/70GK101069214SQ200580040721
公開日2007年11月7日 申請日期2005年9月29日 優(yōu)先權(quán)日2004年10月1日
發(fā)明者M·薩加, R·斯科特 申請人:索尼電影娛樂公司, 索尼株式會社