專利名稱：人體運動捕獲三維再現(xiàn)系統(tǒng)及其方法
技術領域：
本發(fā)明涉及人體運動捕獲三維再現(xiàn)系統(tǒng)及其方法，屬于人體運動感知獲取技術領域。
背景技術：
現(xiàn)在，通過對人體的姿態(tài)和運動信息的準確獲取和分析，能夠根據(jù)步態(tài)的變化推斷可能 存在的疾?。荒軌蚋鶕?jù)運動員的起跳和擊球時身體和四肢的軌跡分析問題的所在，從而改進 訓練；能夠準確地跟蹤姿態(tài)和運動，理解肢體語言，建立高水平的游戲和模擬訓練的人機交 互，為數(shù)字電影、虛擬世界構建栩栩如生的角色。但是由于人體運動的隨意性和復雜性，以 及人體所在的周圍環(huán)境的多樣性，給實時準確人體運動感知獲取技術帶來了巨大的挑戰(zhàn)。因 此，目前急需一種能夠不受時空限制和外界環(huán)境干擾的人體運動感知和合成技術，實現(xiàn)人體 姿態(tài)和運動自由式獲取和重現(xiàn)，為健康監(jiān)測、康復訓練、舞蹈訓練、體育運動分析、電影數(shù) 字特技、虛擬現(xiàn)實、游戲和人機交互等領域的應用提供技術。
目前，常用的運動捕獲技術根據(jù)操作和所使用的傳感器的類型不同，大致可以分為兩類。 一類主要使用攝像機陣列，另一類是使用附著在身體上的微型傳感器組。使用攝像機的運動 捕獲系統(tǒng)利用多個高精度高采樣率的攝像頭捕捉運動者關節(jié)上的反射標志，如市場上的產(chǎn)品 Vicon。這類系統(tǒng)造價極其昂貴，并且處理的數(shù)據(jù)量巨大。這方面的專利技術有申請?zhí)枮?20080192116的美國專禾1」Real-time objects tracking and motion capture in sports events 是一個實時運動目標跟蹤系統(tǒng)。它使用多個攝像機來檢測和跟蹤運動目標，但不涉及目標本 身的運動細節(jié)。專利號為7457439的美國專利System and method for motion capture使 用攝像機所獲得的運動者身上標志的位置信息以及運動者三維運動模型，恢復出身體的三維 運動信息，并利用三維運動模型，比對運動狀態(tài)。中國專利"基于運動獲取的彩色緊身衣"， 申請?zhí)?0264404，設計了一種用色塊來編碼人體部位的運動獲取衣。中國專利"處理被動光 學運動獲取數(shù)據(jù)的方法"申請03120688，是一種處理被動光學運動獲取數(shù)據(jù)的方法，包括獲取帶有被動光學標記的被攝體的同步多攝像機圖像，從獲取的數(shù)據(jù)獲得標記的一組三維坐 標，確定連續(xù)獲取中各標記之間在時間上的對應，從而確定附有標記的被攝體的身體部分的 位置，以一組所作的標記為基礎，確定被攝體運動投影到的運動模型的每個連接的角度，并 且計算被攝體的姿勢。中國專利"一種對多相機系統(tǒng)的標定方法及裝置"，申請?zhí)?200710062825，是一種多攝像機基于標志點的三維運動信息重建的新方法。
微電子機械系統(tǒng)(MEMS)、微型傳感器和無線通信技術的發(fā)展使得一種全新的人體運動獲 取和分析技術成為可能。這類微型傳感器體積小、能耗低、測量直接、穿戴方便，同時不受 時空限制，非常適合做成穿戴或手持式的運動分析裝置。美國專利System and Method for Motion Capture in Natural Environments, IPC8類AG01C2300FI， USPC類73510使用 放在身體各部位的超聲發(fā)射源和接收器，測出相應部位的位置，再用慣性傳感器測量出的轉(zhuǎn) 角來校準位置測量，從而得出身體的運動參數(shù)。由于使用了超聲傳感器和慣性傳感器，例如 加速度傳感器和陀螺儀，從而使整個運動獲取系統(tǒng)變得復雜。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服上述己有技術的不足之處，提供一種便攜式實時人體運動捕獲 三維再現(xiàn)系統(tǒng)及其方法。
本發(fā)明是使用了微型傳感器的運動獲取系統(tǒng)。整個系統(tǒng)以人體運動模型為基礎傳感器的
放置穿戴、運動參數(shù)的估計、運動參數(shù)之間的約束、人體三維形象的運動再現(xiàn)，都建立在三 維模型的基礎之上。
本發(fā)明包括穿戴式微型傳感器實時運動獲取裝置和人體三維運動形象(Avatar)的實時再 現(xiàn)子系統(tǒng)兩部分，所獲取的運動參數(shù)是在整個人體三維坐標下的，是三個自由度；另一方面， 也可以推導出該人體相對于全局空間坐標的位置，這樣又增加了三個自由度，從而變成六個 自由度。本發(fā)明的這兩部分都以人體的運動模型為基礎。由于人體由多個相互關聯(lián)的活動肢 體組成，人體運動系統(tǒng)由骨骼通過關節(jié)鏈接在一起組成，人體姿態(tài)的變化由人體關節(jié)的運動 帶動人體骨骼和下一層關節(jié)的運動來實現(xiàn)。因此，本發(fā)明建立了一個層次化的人體運動結構
模型。在這個模型中，運用了關節(jié)之間的相對運動和骨骼位置的變化來描述人體模型的運動。當關節(jié)位置發(fā)生變化時，依附于該關節(jié)的骨骼以及其子關節(jié)的位置也隨之發(fā)生變化。為了描 述人體運動，本發(fā)明定義了人體全局坐標系和各個關節(jié)的局部坐標系。
為了測量身體各個活動肢體的運動參數(shù)，穿戴式微型傳感器實時運動獲取裝置在每個活 動肢體上至少放置一個微型傳感器單元。每個微型傳感器單元包括全部或部分下述傳感器 三軸加速度傳感器、三軸微型陀螺儀、三軸微型磁力計、超聲傳感器，等等。使用微型傳感 器單元測得三軸加速度、三軸角速度和方向作為輸入，系統(tǒng)的貝葉斯濾波可以估計出每一個 時刻該活動肢體的運動參數(shù)三維角度、角速度和角加速度。
在整個人體運動系統(tǒng)中，各個活動肢體的運動是受整個人體運動系統(tǒng)制約的。當穿戴式 微型傳感器實時運動獲取裝置在對某一個活動肢體使用微型傳感器單元測量值進行位置和運 動估值時，估值的誤差和長時間積累的漂移可能會破壞人的整體運動模型的基本約束條件。 因此，本發(fā)明在估值中，也將人體運動系統(tǒng)約束條件融合進估值計算方法之中，從而糾正估 值誤差和漂移。
為了進一步提高測量精度，穿戴式微型傳感器實時運動獲取裝置也在關鍵部位，如軀干、 上臂、下肢等部位加上超聲傳感器，精確測量它們的相對位置，以校準運動估值誤差和漂移。 同時，加入超聲傳感器或磁傳感器，也可以比較方便地測出人體在整體坐標中的位置。
當穿戴式微型傳感器實時運動獲取裝置向人體三維運動形象實時再現(xiàn)子系統(tǒng)輸出各活動 肢體的運動參數(shù)后，三維運動形象實時再現(xiàn)子系統(tǒng)使用這些運動參數(shù)，驅(qū)動三維人體模型。 為了達到逼真的效果，虛擬人體模型在人體骨骼模型之上加了表面皮膚，它用多邊形網(wǎng)格組 成，可以表示任意的拓撲結構，適用人體這種復雜的帶分支的結構，不同部位之間也可以方 便的連接在一起。當人體骨骼模型由運動參數(shù)驅(qū)動時，會帶動皮膚模型變形，產(chǎn)生好的逼真 度。
本發(fā)明的直接應用之一是實時三維動畫動作設計。由演員穿上本發(fā)明的便攜式實時人體 運動獲取系統(tǒng)，本發(fā)明中的三維再現(xiàn)系統(tǒng)中的人體三維運動形象即為動畫中的角色，人體運 動獲取系統(tǒng)將運動參數(shù)輸出給動畫中的角色，使得該角色完全按照演員的動作而動。由于是 實時，并直接看到效果，使得動畫的制作時間大大縮短，制作成本大大降低。
本發(fā)明的直接應用之二是交互試游戲、模擬訓練和舞蹈定量化教學。游戲方或被訓練方穿上本發(fā)明的便攜式實時人體運動獲取系統(tǒng)，本發(fā)明中的三維再現(xiàn)系統(tǒng)中的人體三維運動形 象也即混合現(xiàn)實游戲和模擬訓練中的游戲方或被訓練方的虛擬角色。人體運動獲取系統(tǒng)將運 動參數(shù)輸出給混合現(xiàn)實游戲或模擬訓練中的游戲方或被訓練方的虛擬角色，使得該虛擬角色 完全按照的真人的動作而動作。由于真人的運動肢體的運動參數(shù)包括了角度、位移、速度和 加速度，如果是拳擊，由此可以推出出拳的位置、速度和力量，并可以進而根據(jù)對方的動作， 確定該拳的結果。也可以對該拳的動作做出評述和演示，達到訓練的目的。
本發(fā)明的直接應用之三是混合現(xiàn)實(Mixed reality)及其應用，如沉浸式學習(Immersive Learning)。學習者穿上本發(fā)明的便攜式實時人體運動獲取系統(tǒng)，與其它真實或虛擬的學習 者一起參與真實的、遠程的、微觀的、不可及的、或虛擬的學習場景。學習者的虛擬形象 (Avatar)，也即本發(fā)明中的三維再現(xiàn)系統(tǒng)中的人體三維運動形象出現(xiàn)在場景之中，他們的肢 體語言和話語一起被理解，共同構成真實的學習體驗。
本發(fā)明人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于，包括
人體運動捕獲子系統(tǒng)和人體運動再現(xiàn)子系統(tǒng)，所述人體運動捕獲子系統(tǒng)由微型傳感器運 動測量模塊和運動參數(shù)估計模塊組成；
所述的微型傳感器運動測量模塊，其由多個附著在人體各肢體的微型傳感器單元，分別 測量相應肢體運動數(shù)據(jù)；
所述的運動參數(shù)估計模塊，其將每一微型傳感器單元的不同種類的微型傳感器數(shù)據(jù)融合 起來，估計出相應肢體的運動參數(shù)，然后整合人體各肢體運動，推導出人體的整體運動，包 括人體的整體位移和各肢體的方位；
所述人體運動再現(xiàn)子系統(tǒng)用于接收人體運動捕獲子系統(tǒng)所推導出的人體整體運動參數(shù)， 驅(qū)動人體三維運動形象，以動畫的形式在虛擬世界再現(xiàn)相應真人運動；
所述微型傳感器單元穿戴和附著于人體的每個被測肢體上。
所述微型傳感器單元包括
微型三維加速度計、微型陀螺儀、微型磁力計、微型超聲測距儀、微型電容測距儀；
9前置放大器和模數(shù)轉(zhuǎn)換器，用以接收微型傳感器所采集的信號，把它放大到模數(shù)轉(zhuǎn)換器 所要求的信號幅度動態(tài)范圍，進而轉(zhuǎn)換為數(shù)字信號； 控制器，用于將各微型傳感器數(shù)據(jù)打包； 無線通信芯片。
所述人體運動獲取子系統(tǒng)的微型傳感器運動測量模塊有兩種結構
結構一為有線連接結構。所有傳感器單元中均無無線通信芯片，微型傳感器運動測量模 塊包括一個或幾個控制單元，模塊為每一傳感器單元分配一唯一地址，由一數(shù)據(jù)總線將所有 傳感器單元和模塊中的控制單元連接到一起，控制單元通過地址總線選擇不同的傳感器，向 各傳感器單元分布控制命令，如激活、同步、設定采樣率等，獲取每個微型傳感器單元的各 路測量數(shù)據(jù)；
結構二為無線連接結構，所有傳感器單元中均有無線通信芯片和獨立的控制器，以便與
微型傳感器運動參數(shù)估計模塊直接通信，微型傳感器運動測量模塊中沒有獨立的控制器，只
有一組相互平行的具有無線通信能力的傳感器單元。
本發(fā)明的優(yōu)點在于結構簡單，精度高，成本低，體積小，功耗低，使用方便，具有便 攜性和實時性的特點，在眾多領域具有廣泛應用，具有較強的實用價值和應用前景。


圖1是本發(fā)明所述人體運動捕獲三維再現(xiàn)系統(tǒng)及其方法的整體邏輯結構方框圖2是本發(fā)明人體運動捕獲子系統(tǒng)信號采集、處理結構框圖及實施方案之一；
圖3是本發(fā)明人體運動捕獲子系統(tǒng)信號采集、處理結構框圖及實施方案之二；
圖4是本發(fā)明所述人體運動捕獲三維再現(xiàn)系統(tǒng)及其方法的人體骨骼模型的樹型表示圖。
具體實施例方式
下面結合附圖和具體實施例對本發(fā)明作進一步詳細的介紹，圖1是本發(fā)明的整體邏輯結構方框圖，本發(fā)明由人體運動捕獲子系統(tǒng)100和三維再現(xiàn)子系統(tǒng)200組成。人體運動捕獲子 系統(tǒng)100由微型傳感器運動材料模塊110和運動參數(shù)估計模塊120組成。微型傳感器運動測 量模塊110實時采集人體各活動肢體的運動數(shù)據(jù)，使用這些數(shù)據(jù)，并融合進人體運動模型的 限制條件，運動參數(shù)估計模塊120估計出相應的活動肢體的姿態(tài)信息和相對于全局坐標系的 位移。人體運動再現(xiàn)子系統(tǒng)200根據(jù)運動參數(shù)估計模塊120估計出的活動肢體的姿態(tài)信息和 全局位移信息，驅(qū)動人體三維模型，以人體動畫的再現(xiàn)穿戴者的運動形象。
人體所有活動肢體以脊椎為根，派生出頸頭、下肢和上肢共5個分支。人體模型是運動 測量、運動參數(shù)估計和運動形象再現(xiàn)的基礎。人體骨骼模型清晰地定義了人體各活動肢體， 因此，在每一個要測量的肢體上，都要放置至少一個微型傳感器單元。這就是說，如果是做 全身運動測量，需要20個左右微型傳感器，分別放置在頭、脊椎(本發(fā)明僅在頸椎、胸椎和 腰椎三個部位放置傳感器)、兩上臂、前臂、手掌、手指，兩大腿、小腿、腳掌、腳趾等。
每一個微型傳感器單元包括三維微型加速度傳感器、微型三維陀螺儀、微型三維磁力計、 超聲測距儀等的全部或部分。
由于放置于某個活動肢體的微型傳感器測量的是該活動肢體的動態(tài)數(shù)據(jù)，由測得的數(shù)據(jù) 估計出的該活動肢體的運動參數(shù)也是在該肢體的坐標系之下。任何測量和估計誤差的積累都 將會造成該肢體的位置和運動參數(shù)比較大的偏移其正常值，進而與相鄰肢體的不一致。因此， 融合多種測量數(shù)據(jù)和人體模型限制和知識，提高測量和估計精度，降低累積估計誤差，保證 各肢體參數(shù)的一致性，并進而估計出人體在全局坐標系中的位置，是難點，也是本發(fā)明的技 術重點之一。
本發(fā)明的第一種實施方案，如圖2所示，微型傳感器運動測量模塊IIO由數(shù)個微型傳感 器單元、數(shù)個超聲測距單元和一個或數(shù)個控制單元組成。微型傳感器單元可以只使用微型慣 性傳感器，即三維加速度傳感器和三維陀螺儀，需要時也可增加磁力計。超聲測距單元由放 置在身體兩個部位(如胸和上臂、胸和頭、胸和大腿等)的時間精確同步的發(fā)射器和接收器 組成。發(fā)射和接收間的時間差可以精確地計算出兩個肢體間的距離。如超聲頻率是40k，測 量精度可達2毫米。這可以用于校準肢體之間的相對距離。
微型傳感器單元和超聲測距單元可以數(shù)據(jù)總線的有線方式與控制單元相聯(lián)，控制單元進而以無線或有線的方式與主計算機相聯(lián)，所述主計算機為臺式或便攜式。運動參數(shù)估計模塊 120和運動再現(xiàn)子系統(tǒng)200都以軟件形式在主計算機上實現(xiàn)，運動參數(shù)估計模塊120也可以 在便攜式計算機上實現(xiàn)。便攜式計算機進而以無線傳輸方式實現(xiàn)運動參數(shù)估計模塊120與運 動再現(xiàn)子系統(tǒng)200的連接。
下面詳細介紹本發(fā)明六自由度人體運動獲取子系統(tǒng)的工作流程及系統(tǒng)結構。
人體運動獲取子系統(tǒng)的實現(xiàn)方法之一
圖2是六自由度人體運動獲取子系統(tǒng)實現(xiàn)方法一的詳細的構成圖。它同時給出了信號采 集、處理流程。假設系統(tǒng)有一組n個微型傳感器單元(a,， a2,…，an)，它們采集的往往是模 擬信號，有些是微弱信號。因此，需要有一組相應的前置放大和模數(shù)轉(zhuǎn)換器，對模擬信號進行 前置放大，使之滿足模數(shù)轉(zhuǎn)換器的輸入電平的要求，然后獲得數(shù)字信號。
如有若干超聲測距單元，每一單元由一發(fā)射器、接收器和一控制器組成。當被控制單元 設定了取樣率之后，測距單元控制器按照取樣率，驅(qū)動發(fā)射器和計時器，當接收器收到發(fā)射 器所發(fā)射的信號時，計時器的讀數(shù)即可用于計算距離。
控制單元以總線的方式與所有的微型傳感器單元和超聲測距單元相聯(lián)，并為每一個微型 傳感器單元和每一個超聲測距單元分配一個地址，通過地址總線選擇不同的傳感器。通過控 制總線控制單元控制所有微型傳感器和超聲測距單元的工作方式，如激活、同步、設定采樣 率等，獲取每個微型傳感器單元和超聲測距單元的各路測量數(shù)據(jù)?？刂茊卧乃胁僮鞫加?時鐘觸發(fā)?？刂茊卧詴r分方法讀取各微型傳感器單元和超聲測距單元的數(shù)據(jù)例如，當控 制單元需要讀取A傳感器的數(shù)據(jù)時，首先通過地址總線發(fā)送一條選擇命令，各個傳感器接收到 這條命令后，與系統(tǒng)分配的地址做比較，如果地址匹配，則將數(shù)據(jù)以通過數(shù)據(jù)總線發(fā)送到控 制單元?？刂茊卧邮盏綌?shù)據(jù)后，將數(shù)據(jù)進行緩存打包后發(fā)送至通信接口。通信接口可以選 擇有線通信，如USB口，或者無線通信，如藍牙等，發(fā)送到主計算機中的運動參數(shù)估計模塊120。
人體運動獲取子系統(tǒng)的實現(xiàn)方法之二
圖3是本發(fā)明六自由度人體運動獲取子系統(tǒng)實現(xiàn)方法二的詳細的結構示意圖。整個系統(tǒng) 由多個傳感器單元、多個超聲測距單元和一個隨身微計算機組成。與圖2中人體運動獲取子 系統(tǒng)的硬件實現(xiàn)方法一不同，每一個傳感器單元和超聲測距單元都以無線通信的方式和運行在隨身微計算機上的運動參數(shù)估計模塊相聯(lián)。為了降低能源消耗和減小體積，傳感器單元和 超聲測距單元的無線傳輸距離不可太遠，因此，這里選擇將運動參數(shù)估計模塊120運行在隨 身微計算機上。
超聲傳感器加上存儲、控制和通信(無線或有線)構成超聲傳感器單元。三維加速度傳 感器、三維陀螺儀、三維磁力計和麥克風與它們的前置放大器和模數(shù)轉(zhuǎn)換器共同存在于一個 嵌入式系統(tǒng)之中，加上存儲、控制和通信，形成一個獨立的微型傳感器單元，進行信號的采 集、暫存和傳送。如果該微型傳感器單元有一定的處理能力，也會對微型傳感器信號進行一 定的預處理，甚至進行人體各肢體方位信息估計，從而降低與隨身微計算機的通信信息量。 隨身微計算機實現(xiàn)運動參數(shù)估計模塊120中在傳感單元中沒有實現(xiàn)的功能模塊。
隨身微計算機可以以無線通信的方式與各微型傳感單元連接。如使用藍牙、Zigbee等。 這時，整個系統(tǒng)是一個身體無線傳感網(wǎng)絡。其中隨身微計算機是網(wǎng)關。各微型傳感單元與網(wǎng) 關進行時間同步，在與網(wǎng)關進行通信時，微型傳感單元根據(jù)網(wǎng)關指定的時間與網(wǎng)關通信，或各 微型傳感單元競爭與網(wǎng)關的通信時間。由于這里是一個網(wǎng)關對多個微型傳感單元，分時的通 信方式能比較有效地防止沖突和數(shù)據(jù)丟失。
在前述兩種實現(xiàn)方法中，所述超聲傳感器、磁傳感器、加速度傳感器和陀螺儀都是可選 的。根據(jù)應用的不同，可以選擇其中的一種或兩種，甚至不選擇其中的任何一種，刪減相應 的硬件，構成新的實現(xiàn)方法。
使用傳感器數(shù)據(jù)估計人體運動參數(shù)分三個方面進行1)使用一個或多個傳感器數(shù)據(jù)估計 該肢體的運動參數(shù)，2)根據(jù)人體運動模型融合所有肢體運動參數(shù)和各肢體之間的相互限制和 運動邊界條件，推導出人體整體姿態(tài)；3)推導人體在全局坐標系中的位置。
當主計算機中的運動參數(shù)估計模塊120接收到微型傳感器運動測量模塊110采集的數(shù)據(jù) 后，首先利用三維加速度數(shù)據(jù)、三維陀螺儀測得的角速度數(shù)據(jù)來估計人體各肢體的方位、速 度和加速度。這里，為了提高估計精度，本發(fā)明采用多運動模型和多噪聲模型的貝葉斯估值 方法。為了解決非線性運動問題，同時不至于過分復雜，本發(fā)明采用擴展的卡爾曼濾波(Kalman Filter)或Unscented Kalman filter。
為了解決肢體運動的不確定性，本發(fā)明采用多噪聲模型和多運動模型，并將交互多模型
13方法引入人體肢體運動的運動參數(shù)估計。
由于加速度傳感器受地球重力加速度影響，微型陀螺儀的噪聲比較大，在很多情況下， 必須融合進磁力計數(shù)據(jù)，或加入超聲測距來提高估值精度，減少位置和速度估值的漂移。
本發(fā)明融合了人體運動模型中人體肢體間相互位置限制和運動模型的技術， 一是使用機 器人學中的位置運動學的正運動學原理，將幾個人體肢體放到一起來考慮，運用人體運動學 模型中的相關，減少估值參數(shù)的數(shù)量。例如，運用機器人學中關于機器臂的D—H表示方法， 降低人的肩一上臂一小臂一手的自由度和參數(shù)數(shù)目大臂可以有三個自由度，即向兩個方向 的擺動和旋轉(zhuǎn)；小臂只有兩個自由度，即向一個方向的擺動和旋轉(zhuǎn)；手腕也只有兩個自由度， 即向兩個方向的擺動。
另一種方法是利用估計方位信息的時候加入人體肢體之間的限制信息和人體某肢體的運 動規(guī)律。人體肢體之間的限制信息和人體肢體的運動規(guī)律是人體姿態(tài)分析的先驗知識，融合 了這些信息和技術能夠顯著提高人體姿態(tài)估計的準確度，避免違反常規(guī)的運動參數(shù)取值。以 胳膊為例，下臂相對于上臂只能夠做兩種運動，扭轉(zhuǎn)和屈伸。下臂不能夠相對于上臂擺動， 下臂的擺動必然帶動上臂的扭轉(zhuǎn)，同時下臂的扭轉(zhuǎn)和屈伸都必須集中在特定的角度內(nèi)。
有三種方法可以獲得人體在全局坐標中的位置和位移1)使用超聲傳感器測量人體對固 定參考物的距離。在獲得人體離三個或以上固定點(它們必須互相之間有足夠的間隔，以保 證定位精度)的距離后，便可以計算出人體在全局坐標系中的位置了。 2)獲取了人體的姿態(tài) 信息后，有兩種方式計算人體相對于全局坐標系的位移 一是基于步態(tài)分析的方法。當人體 姿態(tài)己知后，可以知道腿部的運動軌跡，從運動軌跡中估計人體整體的位移；二是基于加速 度的方法估計人體相對于全局坐標系的各個時刻的加速度，然后對加速度去漂移和二次積分。 如何利用微型傳感器單元提供的人體姿態(tài)信息(三自由度)和人體相對于已知參考坐標系 的位移信息(三自由度)，將其轉(zhuǎn)化為人體運動模型的輸入?yún)?shù)，實時驅(qū)動虛擬人體模型進行 動畫重現(xiàn)是此人體運動子系統(tǒng)的關鍵。
本發(fā)明子系統(tǒng)的人體三維模型主要包括
1)根據(jù)實際人體的關節(jié)運動特征所建立的模型，人體運動模型釆用基于表面模型的建模 方式，分為骨架層和表面皮膚層，由平面或曲面片組成的表面模擬皮膚，環(huán)繞在骨架周圍。第一層是關節(jié)體結構或稱為骨架，骨架層是人體運動控制的基礎，用于指定人體的精確運動， 表示人體的內(nèi)部結構。其參數(shù)由樹狀層次結構的骨骼、關節(jié)鏈接參數(shù)、關節(jié)角度約束以及物 理屬性組成。本發(fā)明的虛擬人體模型參照虛擬人模型的國際標準VRML/X3D中的H-Anim標 準，并將其改造以滿足本系統(tǒng)的應用需求。虛擬人體模型的骨骼段之間由關節(jié)相聯(lián)，人體重 心、每個骨骼段以及關節(jié)的運動會影響到與它相聯(lián)的其他關節(jié)節(jié)點的狀態(tài)。骨骼的層次結構 是由嵌套的關節(jié)節(jié)點來實現(xiàn)的。以脊柱末端的骶骨關節(jié)作為整個骨架結構的根，并由此分別 向上、下遍歷整個骨架結構，按照遇到各關節(jié)的順序，將所有關節(jié)組織成樹形的繼承結構， 如圖4所示。每一關節(jié)節(jié)點均是排在其后的關節(jié)節(jié)點的父節(jié)點，例如肩關節(jié)的節(jié)點定義中， 又包含有肘關節(jié)、前臂節(jié)點作為它的子節(jié)點，而在肘關節(jié)節(jié)點定義中又有腕關節(jié)作為它的子 節(jié)點等，從而形成了虛擬人體模型的骨架。第二層為表面皮膚層，外部的幾何表面或稱為皮 膚，皮膚的變形由底層的關節(jié)體結構驅(qū)動，可以看作是骨架姿態(tài)的函數(shù)。皮膚模型用于描述 人體的外部形狀，刻畫逼真的人物形象。為便于實現(xiàn)人體動畫及皮膚變形，本系統(tǒng)采用多邊 形模型，按人體生理結構將表面皮膚分成若干個部位，每一部位均附著在人體骨架的某段骨 骼上。虛擬人體模型運動時，運動數(shù)據(jù)文件提供當前時刻人體骨架上各個關節(jié)的角度，驅(qū)動 骨架至某一運動姿態(tài)，再由骨架上的各個骨骼帶動相應部位的人體表面皮膚運動，變形控制 點受底層骨架關節(jié)的位置(角度)和力(關節(jié)扭矩)的約束，最終這些變形共同產(chǎn)生幾何皮 膚環(huán)繞在骨架上的變形效果。該模型運算速度快，可以表示任意的拓撲結構，適用人體這種 復雜的帶分支的結構，不同部位之間可以方便的連接在一起，提供一種快速、逼真的皮膚變 形方法，真實地表現(xiàn)運動狀態(tài)下人體全身皮膚的變形效果。
2)人體運動信息與虛擬人體模型的參數(shù)信息之間實時有效的轉(zhuǎn)化模式，微型傳感器實時 捕獲的人體運動原始信息經(jīng)過運動參數(shù)估計模塊預處理，轉(zhuǎn)化為實際人體運動的參數(shù)信息， 并輸入到虛擬人體模型。在模型中每個人體骨骼都有一個管道，實時接受所依附的傳感器提 供的人體運動的參數(shù)信息。參數(shù)估計模塊得出的運動信息是相應肢體在其獨立坐標系下的運 動信息，而人體虛擬模型中肢體的運動是在樹狀模型下表示的。因此，必須將運動參數(shù)估計 模塊120輸入的參數(shù)信息轉(zhuǎn)化為驅(qū)動模型運動時所需的角度旋轉(zhuǎn)信息和位置移動信息。這些 信息需要根據(jù)骨骼之間的所存在的樹狀結構關系，從最高的父節(jié)點到子節(jié)點依次進行轉(zhuǎn)換，并滿足人體運動的關節(jié)約束和關節(jié)間聯(lián)動限制，才最終轉(zhuǎn)化為驅(qū)動虛擬人體模型的坐標轉(zhuǎn)換 參數(shù)。
為了便于坐標參數(shù)轉(zhuǎn)換，本發(fā)明把運動參數(shù)表示為四元數(shù)(Quaternkm)。這樣，從父節(jié) 點到子節(jié)點的坐標轉(zhuǎn)換就變成簡單的四元數(shù)相乘。
3) 以數(shù)據(jù)驅(qū)動的方式實時再現(xiàn)人體真實的運動姿態(tài)，人體運動姿態(tài)的實時重現(xiàn)，本質(zhì)上 是虛擬人體模型的坐標轉(zhuǎn)化。大致涉及三個彼此嵌套的坐標系子骨骼坐標系、父骨骼坐標
系和全局坐標系。虛擬人體模型的初始姿態(tài)，又稱參考姿勢為兩臂張開平伸，兩眼平視前
方，雙腿微分放松站立。系統(tǒng)中的(1)全局坐標系的定義與顯示坐標系的定義一致。(2)人
體坐標系的設定規(guī)則為取腰部身體段與腰椎身體段項鏈部分的骶骨關節(jié)為人體重心，并在
該關節(jié)處定義人體的基坐標系，其方向與全局坐標系一致，即水平面與矢狀面交線為z軸。
(3)關節(jié)局部坐標系的定義為關節(jié)軸線方向為Z軸正方向，取上一關節(jié)與該關節(jié)連接方向
為X軸正方向，然后按照右手規(guī)則確定Y軸方向。
4) 肢體繞所附關節(jié)轉(zhuǎn)動的角度均相對于初始姿態(tài)坐標系轉(zhuǎn)過的角度，為了便于刻畫人體
姿態(tài)變化，將人體骨骼運動分解成為相對于身體局部坐標系的旋轉(zhuǎn)和平移(一般是先旋轉(zhuǎn)、再 平移)，其旋轉(zhuǎn)、平移通過一個旋轉(zhuǎn)四元組和一個平移矢量來表示?；谝陨线\動分解，可以 將人體姿態(tài)的連續(xù)變換細化為骨骼運動積累變換的計算。對于任何一個骨骼，根據(jù)頂點在該 骨骼局部坐標系中的位置，求出骨骼運動之后其在全局坐標系下的新位置，其變換過程大致
為局部坐標系內(nèi)變換一變換到父坐標系一父坐標系內(nèi)變換一父骨骼的積累變換一…直到變
換到全局坐標系的過程。而依附于骨骼層的表面皮膚層的變化則遵循骨架驅(qū)動變形的原則。 皮膚網(wǎng)格的每一個頂點關聯(lián)一組關節(jié)，稱為影響關節(jié)，并設定相應的權值。對于每一根骨骼， 都存在著一個參考姿勢下的骨骼初始逆變換與之相關聯(lián)，其作用是將參考姿勢下與該骨骼相
關聯(lián)節(jié)點的全局坐標轉(zhuǎn)換成為骨骼的局部坐標。表面皮膚層的變化過程歸結為參考姿勢下 的骨骼初始逆變換一骨骼的運動積累變換(遍歷骨骼樹形結構)一全局坐標轉(zhuǎn)換。同時在變 化過程中，變形控制點受到底層骨架的位置、長度以及關節(jié)的旋轉(zhuǎn)角度的約束和限制，保證 虛擬人體模型滿足正常人的運動約束。
系統(tǒng)初始化包括人體運動捕獲子系統(tǒng)100和人體運動再現(xiàn)子系統(tǒng)200的初始參數(shù)的確
16定以及這兩個子系統(tǒng)的一致性和同步。
首先，若要精確地定位人體各肢體在全局坐標系中的位置，必須精確地測量人體各肢體 的長度，將它們用到運動獲取系統(tǒng)的估值方程中，以及用來賦值人體模型。系統(tǒng)初始化以幾 個簡單的動作為標準，盡量使各肢體的角度為零。這兩個動作是兩腿自然站直，雙臂自然 下垂，或側(cè)平伸直。
人體模型的初始姿態(tài)。在初始標準動作下，確定人體模型的基本參數(shù)，包括關節(jié)位置、 關節(jié)的名稱、肢體(骨骼)長度和角度、皮膚網(wǎng)格數(shù)量、網(wǎng)格類型、關節(jié)運動對網(wǎng)格的影響 度。然后繪制和存儲人體模型。把關節(jié)位置作為再現(xiàn)系統(tǒng)中人體模型的關節(jié)位置，并用樹形 結構把關節(jié)連接起來組成人體骨架結構，父子關節(jié)間的距離定義為關節(jié)間的骨骼長度。模型 的皮膚網(wǎng)格有平面多邊形網(wǎng)格和曲面多邊形網(wǎng)格。把曲面多邊形網(wǎng)格轉(zhuǎn)化為以規(guī)則排列的控 制點構成的數(shù)據(jù)點集(軀干和四肢等變形部位)；平面多邊形網(wǎng)格以多邊形為控制點數(shù)據(jù)點集 (頭、腳和手等部位)。通過把每個網(wǎng)格映射到特定關節(jié)上，獲得隨骨架一起運動的剛性皮膚。 在本發(fā)明中，對每一個肢體而言，估計出它的方位角和旋轉(zhuǎn)角，以及角速度。根據(jù)該肢體 的長度，可以估計出該肢體下端關節(jié)的位置和速度。由此，可以得出人體某部位(如拳)的 運動軌跡和力度。這樣，幾個直接的應用如下-
1、 以附著于某一肢體的單一傳感單元所估計出的方位角、旋轉(zhuǎn)角和角速度，作為人機交 互的參數(shù)。例如，將一傳感器單元，以帽子的形式，戴在頭上。頭的前后、左右運動的角度， 以及旋轉(zhuǎn)角度，可以作為計算機對游戲或其它應用的輸入，也可以用作鼠標。
2、 將一傳感器單元，制成無線手持遙控器的形式。當手持器件指向屏幕時，其上下左右
運動的角度，以及旋轉(zhuǎn)角度，可以作為計算機的輸入，用作鼠標。該遙控器的運動位置、速 度、加速度和力度也可以估計出來，和角度一起，作為游戲(如拳擊、打球等)交互的手段。
3、 根據(jù)對人的腰部、上臂、小臂和手腕的即時角度、以及相應關節(jié)的即時位置和速度， 可以分析拳、劍、球拍的力度和身體主要部位的運動軌跡之間的關系，從而將體育訓練推向 定量化的水平。對腿、腳和其它部位的分析，對相應的運動也有同樣的效果。
4、 步態(tài)是人體某些疾病的表征，也可以作為人的生理特征。附著在大腿、小腿和腳上的 傳感器單元，可以測量出這些肢體的即時角度，以及膝蓋和腳踝和腳掌的位置、速度和受力。這些數(shù)據(jù)為步態(tài)的定量表征和分析提供了技術和方法。
本發(fā)明不限于上述實施例，對于本領域技術人員來說，對本發(fā)明的上述實施例所做出的 任何改進或變更都不會超出僅以舉例的方式示出的本發(fā)明的實施例和所附權利要求的保護范 圍，所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
權利要求
1、人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于，包括人體運動捕獲子系統(tǒng)(100)和人體運動再現(xiàn)子系統(tǒng)(200)，所述人體運動捕獲子系統(tǒng)(100)由微型傳感器運動測量模塊(110)和運動參數(shù)估計模塊(120)組成；所述的微型傳感器運動測量模塊(110)，其由多個附著在人體各肢體的微型傳感器單元，分別測量相應肢體運動數(shù)據(jù)；所述的運動參數(shù)估計模塊(120)，其將每一微型傳感器單元的不同種類的微型傳感器數(shù)據(jù)融合起來，估計出相應肢體的運動參數(shù)，然后整合人體各肢體運動，推導出人體的整體運動，包括人體的整體位移和各肢體的方位；所述人體運動再現(xiàn)子系統(tǒng)(200)用于接收人體運動捕獲子系統(tǒng)(100)所推導出的人體整體運動參數(shù)，驅(qū)動人體三維運動形象，以動畫的形式在虛擬世界再現(xiàn)相應真人運動。
2、 根據(jù)權利要求1所述的人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于所述微型傳感器單 元穿戴和附著于人體的每個被測肢體上。
3、 根據(jù)權利要求1所述的人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于，所述人體運動捕獲 子系統(tǒng)(100)中的微型傳感器運動測量模塊(110)有兩種結構結構一為有線連接結構，微型傳感器運動測量模塊(110)包括多個傳感器單元，以及一 個或幾個控制單元，模塊為每一傳感器單元分配一唯一地址，由一數(shù)據(jù)總線將所有傳感器單 元和模塊中的控制單元連接到一起，控制單元通過地址總線選擇不同的傳感器，向各傳感器 單元發(fā)布控制命令，獲取每個微型傳感器單元的各路測量數(shù)據(jù)，此后控制單元通過無線或有 線方式與便攜式微計算機連接，將所獲取數(shù)據(jù)統(tǒng)一發(fā)往微型傳感器運動測量模塊；結構二為無線連接結構，所有傳感器單元中，除各種微型傳感器外，均包含無線通信芯片和控制器，都能夠獨立進行傳感器數(shù)據(jù)獲取，與便攜式微計算機交互，接受命令，發(fā)送數(shù)據(jù)，便攜式微計算機可以選擇分時或競爭的方式與多個傳感器單元通信。
4、 根據(jù)權利要求3所述的人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于所述無線連接結構的微型傳感器運動測量模塊(110)中的微型傳感器單元包括微型三維加速度計、微型陀螺儀、微型磁力計、微型超聲測距儀、微型電容測距儀；前置放大器和模數(shù)轉(zhuǎn)換器，用以接收微型傳感器所采集的信號，把它放大到模數(shù)轉(zhuǎn)換器所要求的信號幅度動態(tài)范圍，進而轉(zhuǎn)換為數(shù)字信號；控制器，控制對各微型傳感器的數(shù)據(jù)采樣，將所采數(shù)據(jù)打包送往通信芯片，與微計算機交換；無線通信芯片。
5、 根據(jù)權利要求1所述的人體運動捕獲三維再現(xiàn)系統(tǒng)，其特征在于，所述人體運動再現(xiàn)子系統(tǒng)(200)中的人體運動模型采用基于表面模型的建模方式，分為骨架層和表面皮膚層；第一層，即骨架層是人體運動控制的基礎，其參數(shù)由樹狀層次結構的骨骼、關節(jié)鏈接參數(shù)、關節(jié)角度約束以及物理屬性組成；第二層為表面皮膚層，皮膚的變形由底層的關節(jié)體結構驅(qū)動。
6、 人體運動捕獲三維再現(xiàn)的方法，其特征在于所述運動參數(shù)估計模塊(120)融合附著在某一肢體上的所有傳感器數(shù)據(jù)估計該肢體的運動參數(shù)，根據(jù)人體運動模型融合所有肢體的運動和各肢體之間的相互限制和運動邊界條件，推導人體的肢體姿態(tài)；推導人體在全局坐標系中的位移；在所述運動參數(shù)估計模塊(120)中的運動估值算法中，為了降低傳感器噪聲的影響，采用多噪聲模式；為了更準確地估值身體各肢體的非線性和隨機運動，采用多運動模式；在所述運動參數(shù)估計模塊(120)中，為了解決各肢體間運動估計的非一致性問題，使用機械手D —H模型等，運用相鄰肢體間的聯(lián)動性質(zhì)，降低運動參數(shù)數(shù)目，也可以將各相鄰肢體間的連動特點，表示成相互運動制約，應用于估值算法中；真實人體運動時，運動參數(shù)估計模塊(120)提供當前時刻人體骨架上各個關節(jié)的角度，驅(qū)動骨架至某一運動姿態(tài)，再由骨架上的各個骨骼帶動相應部位的人體表面皮膚運動，變形控制點受底層骨架關節(jié)的位置和力的約束，最終這些變形共同產(chǎn)生幾何皮膚環(huán)繞在骨架上的變形效果；所述人體運動再現(xiàn)子系統(tǒng)(200)利用微型傳感器單元提供的人體姿態(tài)信息和人體相對于己知參考坐標系的位移信息，將其轉(zhuǎn)化為人體運動模型的輸入?yún)?shù)，實時驅(qū)動虛擬人體模型進行相應真實人體運動的動畫重現(xiàn)。
7、 根據(jù)權利要求6所述的人體運動捕獲三維再現(xiàn)的方法，其特征在于，在所述運動參數(shù)估計模塊(120)完成了人體姿態(tài)估值之后，可以有三種方法估計或測定其全局坐標中的位置(1) .使用超聲、雷達、激光等測距方法，從幾個參考物的距離中推導出全局坐標；(2) .使用步態(tài)分析方法，推導人體位移；(3) .使用對加速度傳感器讀數(shù)的積分，推導出速度和位移。
8、 根據(jù)權利要求6所述的人體運動捕獲三維再現(xiàn)的方法，其特征在于，所述人體運動再現(xiàn)子系統(tǒng)(200)中的人體運動信息與虛擬人體模型的參數(shù)信息之間實時有效的從父節(jié)點到子節(jié)點的轉(zhuǎn)化方法和四元數(shù)表示形式，把運動參數(shù)估計模塊(120)輸入的參數(shù)信息轉(zhuǎn)化為驅(qū)動模型運動時所需的角度旋轉(zhuǎn)信息和位置移動信；所述人體運動再現(xiàn)子系統(tǒng)(200)以數(shù)據(jù)驅(qū)動的方式實時再現(xiàn)人體真實的運動姿態(tài)，涉及三個彼此嵌套的坐標系全局坐標系與顯示坐標系一致；人體坐標系，取骶骨關節(jié)為人體重心，并在該關節(jié)處定義人體的基坐標系，其方向與全局坐標系一致；關節(jié)局部坐標系，關節(jié)軸線方向為Z軸正方向，取上一關節(jié)與該關節(jié)連接方向為X軸正方向，然后按照右手規(guī)則確定Y軸方向；所述人體運動再現(xiàn)子系統(tǒng)將人體骨骼運動分解成為相對于身體局部坐標系的旋轉(zhuǎn)和平移，其旋轉(zhuǎn)、平移通過一個旋轉(zhuǎn)四元組和一個平移矢量來表示，同時在變化過程中，變形控制點受到底層骨架的位置、長度以及關節(jié)的旋轉(zhuǎn)角度的約束和限制，保證虛擬人體模型滿足正常人的運動約束。
9、根據(jù)權利要求6所述的人體運動捕獲三維再現(xiàn)的方法，其特征在于，系統(tǒng)初始化包括使用人體真實參數(shù)和標準動作進行人體運動捕獲子系統(tǒng)(100)和人體運動再現(xiàn)子系統(tǒng)(200)的初值的設定，以及人體運動捕獲子系統(tǒng)(100)和人體運動再現(xiàn)子系統(tǒng)(200)間的一致性和同步；對每一個肢體可估計出它的方位角、旋轉(zhuǎn)角以及角速度，根據(jù)該肢體的長度，可以進一歩算出出該肢體下端關節(jié)的位置、速度、加速度和力度；以附著于某一肢體的單一傳感單元所估計出的方位角、旋轉(zhuǎn)角和角速度，作為人機交互的參數(shù)。
10、根據(jù)權利要求6所述的人體運動捕獲三維再現(xiàn)的方法，其特征在于，所述單一傳感單元人機交互裝置將單一傳感器單元制成無線手持遙控器的形式，當手持器件指向屏幕時，其上下左右運動的角度，以及旋轉(zhuǎn)角度，作為計算機的輸入，用作鼠標，該遙控器的運動位置、速度、加速度和力度也可以估計出來，和角度一起作為游戲交互的手段；根據(jù)對人的腰部、上臂、小臂和手腕的即時角度、以及相應關節(jié)的即時位置和速度，分析拳、劍、球拍的力度和身體主要部位的運動軌跡之間的關系，將體育訓練推向定量化的水平，對腿、腳和其它部位的分析，對相應的運動也有同樣的效果；附著在大腿、小腿和腳上的傳感器單元可以測量出這些肢體的即時角度、膝蓋、腳踝、腳掌的位置、速度和受力的可用于為步態(tài)的定量表征和分析的數(shù)據(jù)。
全文摘要
本發(fā)明公開了人體運動捕獲三維再現(xiàn)系統(tǒng)及其方法，其特征在于，包括人體運動捕獲子系統(tǒng)和人體運動再現(xiàn)子系統(tǒng)，所述人體運動捕獲子系統(tǒng)由微型傳感器運動測量模塊和運動參數(shù)估計模塊組成；所述的微型傳感器運動測量模塊，其由多個附著在人體各肢體的微型傳感器單元，分別測量相應肢體運動數(shù)據(jù)；所述的運動參數(shù)估計模塊將每一微型傳感器單元的不同種類的微型傳感器數(shù)據(jù)融合起來，推導出人體的整體運動；所述人體運動再現(xiàn)子系統(tǒng)用于接收人體運動捕獲子系統(tǒng)所推導出的人體整體運動參數(shù)；本發(fā)明的優(yōu)點在于結構簡單，精度高，成本低，體積小，功耗低，使用方便，具有便攜性和實時性的特點，在眾多領域具有廣泛應用，具有較強的實用價值和應用前景。
文檔編號A61B5/11GK101579238SQ20091008647
公開日2009年11月18日 申請日期2009年6月15日 優(yōu)先權日2009年6月15日
發(fā)明者吳健康 申請人:吳健康