專利名稱：低成本動作捕捉與演示系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)雙目視覺技術(shù)設(shè)計開發(fā)的低成本動作捕捉與演示系統(tǒng)及方法，利用 兩個攝像機動態(tài)捕捉表演者的運動狀態(tài)，并使用三維動畫模型實時演示表演者的動作。
背景技術(shù)：
動作捕捉技術(shù)出現(xiàn)于20世紀(jì)70年代，當(dāng)時迪斯尼公司期望捕捉演員的動作以改進動畫 制作效果。當(dāng)計算機技術(shù)剛剛得到大規(guī)模應(yīng)用，紐約計算機圖形技術(shù)實驗室的Rebecca Allen 就設(shè)計出一些光學(xué)裝置作為動畫制作的參考，演員的表演姿勢可以被投射在計算機屏幕上。 隨著計算機軟硬件技術(shù)的飛速發(fā)展和動畫制作要求的提高，動作捕捉技術(shù)吸引了越來越多的 研究人員和開發(fā)商的目光，并從試用性研究逐步走向?qū)嵱没５浆F(xiàn)在，市場上大量涌現(xiàn)各種 同類別不同特點動作捕捉系統(tǒng)。但是一套動作捕捉及演示設(shè)備往往價格上百萬，令個人用戶 及相當(dāng)一部分企業(yè)望而卻步，本設(shè)計正是基于Intel Core Duo處理器的EC5-1719CLDNA (嵌 入之星)的系統(tǒng)平臺，開發(fā)出一套低成本動作捕捉及演示系統(tǒng)。
本系統(tǒng)可以應(yīng)用于宣傳展示動畫制作，支持家庭個人娛樂。動作捕捉系統(tǒng)所獲得的表演 者運動狀態(tài)也可以直接應(yīng)用于其它如動作模擬、生物學(xué)研究、人體工程學(xué)等領(lǐng)域。

發(fā)明內(nèi)容
本發(fā)明的目的是解決現(xiàn)有動作捕捉設(shè)備成本高，設(shè)計方法復(fù)雜的特點，開發(fā)了一套面向 用戶的低成本動作捕捉與演示系統(tǒng)及方法。 為達(dá)到上述目的，本發(fā)明的構(gòu)思是
動作捕捉技術(shù)是實時實地捕獲表演者的動作，轉(zhuǎn)化為數(shù)字化的"抽象運動"。動作捕捉 的實質(zhì)就是要跟蹤物體在三維空間中的運動軌跡。在動作捕捉系統(tǒng)中，并不需要捕捉表演者 身上每一處位置，只需要捕捉表演者身上若干個關(guān)鍵點的運動軌跡，再根據(jù)模型中各部分的 物理、生理約束就可以合成最終的運動畫面。
目前，最自然最基礎(chǔ)的方法是仿照人眼，設(shè)立兩個觀察點，即雙目視覺。從兩個觀察點 同時將三維物體二維化以得到雙目圖像，對圖像中目標(biāo)及其屬性的分析，能夠得到該圖像三 維環(huán)境的表述，并能夠恢復(fù)三維信息。在動作捕捉中另一個關(guān)建技術(shù)是立體匹配，即如何確 認(rèn)左攝像機與右攝像機所跟蹤的是同一目標(biāo)，而本發(fā)明采用在表演者身上綁定不同顏色的色 帶作為標(biāo)志點，可以解決這個問題。
根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案一種低成本動作捕捉與演示系統(tǒng)，包括表演者、攝像機和顯示器，其特征在于所述表 演者身穿具有關(guān)節(jié)標(biāo)志點的演示服；所述攝像機為雙CCD攝像機，其攝像頭對準(zhǔn)表演者；所 述雙CCD攝像機的輸出經(jīng)一個圖像采集卡連接到一個嵌入式處理器；所述雙攝像機捕捉到的 運動圖像通過所述圖像采集卡傳輸?shù)剿銮度胧教幚砥?；所述嵌入式處理器連接一個數(shù)據(jù)庫 和一個顯示器；所述嵌入式處理器將實時表演者關(guān)節(jié)處數(shù)據(jù)保存到所述數(shù)據(jù)庫，同時，將處 理后的結(jié)果在所述顯示器上演示。
上述表演服以黑色為底色，在14個主要關(guān)節(jié)處綁上不同顏色的色帶作為標(biāo)志點；所述 14個主要關(guān)節(jié)處為腰關(guān)節(jié)、頸關(guān)節(jié)、左\右肩關(guān)節(jié)、左\右肘、左\右腕、左\右腿跟關(guān)節(jié)、 左\右膝、左\右踝。
上述雙CCD攝像機放置在相對固定位置相對距離50cm土5cm。
一種低成本動作捕捉與演示方法，采用上述系統(tǒng)進行捕捉和演示，其特征在于操作步 驟如下
第一步驟，對動作捕捉與演示系統(tǒng)進行初始化。
第二步驟，所述嵌入式處理器計算出各關(guān)節(jié)處色帶中心位置二維數(shù)據(jù)；
第三步驟，所述嵌入式處理器比較所述雙CCD攝像機傳輸?shù)臄?shù)據(jù)，計算出各關(guān)節(jié)處色
帶中心位置的三維數(shù)據(jù)；
第四步驟，所述嵌入式處理器將所述的關(guān)節(jié)處色帶中心位置三維數(shù)據(jù)存儲到所述數(shù)據(jù)
庫中；
第五步驟，所述嵌入式處理器將所述存儲的數(shù)據(jù)顯示于所述顯示器。 上述初始化包括對所述雙CCD攝像機的標(biāo)定。
上述第五步驟將存儲的數(shù)據(jù)以骨架姿態(tài)模型和三維動畫模型兩種形式同時顯示于所述顯 示器。
本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯而易見的突出實質(zhì)性特點和顯著優(yōu)點-
(1) 成本低廉，設(shè)備簡單，易于普及，有較大升級空間。本發(fā)明使用的設(shè)備主要有嵌入 式主板，兩臺CCD攝像機、圖像采集卡和顯示器。相比同類產(chǎn)品動輒幾十萬以至百萬的價格， 具有很大優(yōu)勢。
(2) 演示條件簡單，使用被動光學(xué)捕捉系統(tǒng)。徹底取消了市場上出現(xiàn)的電磁式，機電式 等捕捉系統(tǒng)復(fù)雜，沉重的演示裝備。演示者只需站在黑色幕布前，穿上黑色為底，綴有色帶 的演示服即可表演，方便快捷。
(3) 適應(yīng)條件好，本發(fā)明利用統(tǒng)計模型跟蹤標(biāo)志點，對光照變化有一定的魯棒性，具有一定的環(huán)境適應(yīng)性，不用特意控制光照等條件。使用的場合較廣，無論公眾場合，或是私人 家庭娛樂，本系統(tǒng)都可以得到應(yīng)用。


圖1是表示本發(fā)明的一個實施方式中的動作捕捉系統(tǒng)的結(jié)構(gòu)框圖。 圖2是表演者關(guān)節(jié)模型標(biāo)志點分布圖。 圖3是算法主流程圖。 圖4色帶中心三維坐標(biāo)獲取流程圖。 圖5是骨架結(jié)構(gòu)的二叉樹模型。 圖6是三維模型重現(xiàn)流程圖。 表l是人體關(guān)節(jié)運動范圍。
具體實施例方式
下面，參照附圖詳細(xì)說明本發(fā)明的一個優(yōu)選實施例-
參見圖1，本低成本動作捕捉與演示系統(tǒng)構(gòu)成具備以下部分安裝在相對固定位置上(相 對距離50cm士5cm)的兩臺CCD攝像機1L、 1R;通過DH-VT121圖像采集卡2將攝像機采集的 圖像傳遞給EC5-1719CLDNA嵌入式處理器3，保存實時關(guān)節(jié)點數(shù)據(jù)的數(shù)據(jù)庫4，嵌入式處理器 3提取數(shù)據(jù)庫中關(guān)節(jié)點重現(xiàn)人體姿態(tài)模型和三維動畫人物姿態(tài)于顯示器5。
標(biāo)志點表演者6身穿特制的純黑表演服，在服裝上合理位置處綁定14塊不同顏色的色 帶，作為標(biāo)志點。色帶綁定關(guān)節(jié)位置如圖2所示。把人體的運動看成這些關(guān)節(jié)點所帶動的骨 骼運動，只要捕捉這些關(guān)節(jié)點的運動，就可以確定骨架的運動。由此來確定表演者當(dāng)前的運 動狀態(tài)，降低了對硬件捕捉信息速度的要求，提高了捕捉信息的抗干擾性，并在一定程度上 保證了捕捉信息的精度和數(shù)據(jù)轉(zhuǎn)換速度，提高了重構(gòu)質(zhì)量，并滿足了實時性的要求。
圖3是本發(fā)明方法的算法主流程圖，算法的實現(xiàn)在嵌入式處理器3中完成。
以下作進一步詳細(xì)說明本低成本動作捕捉與演示方法是采用上述系統(tǒng)進行的，具體操
作步驟如下
第一步驟，對動作捕捉與演示系統(tǒng)進行初始化。
第二步驟，所述嵌入式處理器3計算出各關(guān)節(jié)處色帶中心位置二維數(shù)據(jù)；
第三步驟，所述嵌入式處理器3比較所述雙CCD攝像機1L、 1R傳輸?shù)臄?shù)據(jù)，計算出
各關(guān)節(jié)處色帶中心位置的三維數(shù)據(jù)；
第四步驟，所述嵌入式處理器3將所述的關(guān)節(jié)處色帶中心位置三維數(shù)據(jù)存儲到所述數(shù)
據(jù)庫中；
5第五步驟，所述嵌入式處理器3將所述存儲的數(shù)據(jù)顯示于所述顯示器5。 初始化對CCD攝像機1L、 1R進行標(biāo)定，標(biāo)定一個雙目立體系統(tǒng)的方法有好幾種。首先， 標(biāo)定每個攝像機，以確定攝像機常數(shù)、主點位置、透鏡形變的修正表以及它固有的參數(shù)，完 成標(biāo)定后，使用立體系統(tǒng)中的攝像機有三種方法
(1) 求解相對定位問題，并通過其他的方法確定基線。例如使用立體攝像機測定 己知距離的一個點，從而實現(xiàn)兩個攝像機之間的剛體變換標(biāo)定。
(2) 求解相對定位問題，并得到任意測量系統(tǒng)中的點在單位基線距離意義上的測量 值。除了比較系數(shù)為未知系數(shù)外，所有點測量值都可以得到修正，甚至在未知 距離單位的情況下，距離比值和角度也可以得到修正。
(3) 求解每個立體攝像機的外部定位問題，從而實現(xiàn)從左、右攝像機坐標(biāo)系到絕對 坐標(biāo)系的變換。
本實施方式例中采用了上述的第一種方法。 自適應(yīng)跟蹤算法本發(fā)明采用了自適應(yīng)中心跟蹤算法確定色帶中心，自適應(yīng)中心算法的 具體實時步驟是-
(1) 將圖像的R、 G、 B (紅色、綠色、藍(lán)色)依次進行適當(dāng)?shù)姆謱?，然后將所有的像?br> 點統(tǒng)計到相應(yīng)的子層中。
(2) 對每個色帶，找出其屬于的子層，計算該層的質(zhì)心，并初步認(rèn)為質(zhì)心在色帶內(nèi)，或
色帶附近。
(3) 以質(zhì)心為中心，半徑為R對圖像掃描來查找顏色RGB值與已標(biāo)志好的色帶RGB值在 顏色空間距離小于閾值Tl的所有像素，并進行統(tǒng)計。R和T的值由所屬色帶RGB確定。
(4) 判斷當(dāng)前幀中備選像素點與上幀色帶中心位置的距離是否小于閾值T2，大于T2的 值被排除。T2的值由所屬色帶RGB確定。
(5) 判斷剩下的備選像素點離本色帶主色的顏色空間距離是否小于離其它任意一個色帶 主色的距離，是則排除該點。
(6) 求取剩余備選像素點RGB均值作為備選更新色帶中心值，在進入下一幀處理的時候 進行判斷，如果符合以下條件則將色帶中心值更新。
具體條件為如果下一幀通過色帶主色RGB值計算得到的中心跟上一幀的備選更新色帶中心 值之差小于閾值T3，則更新為色帶主色；或者下一幀用色帶主色RGB值識別不到中心，而備 選更新色帶中心值可以識別到中心，則更新色帶主色。T3的值由所屬色帶RGB確定。
(7) 進入下一幀循環(huán)。色帶中心三維坐標(biāo)確定通過雙目視覺原理求取色帶中心點深度信息，從二維圖像獲得 色帶中心點的三維數(shù)據(jù)，色帶中心點的三維數(shù)據(jù)作為關(guān)節(jié)點數(shù)據(jù)存儲到數(shù)據(jù)庫4中。色帶中 心三維坐標(biāo)求取流程圖如圖4所示。
三維動畫演示包括骨架姿態(tài)重現(xiàn)和三維動畫重現(xiàn)，完成最后的效果展示。骨架姿態(tài)重 現(xiàn)模塊由OpenGL實現(xiàn)骨架模型姿態(tài)重現(xiàn)，直觀地展現(xiàn)了表演者的各個標(biāo)志點位置，三維動畫 重現(xiàn)則由3ds max來實現(xiàn)，特制的動畫模型可以實時地跟隨表演者運動。
OpenGL是SGL公司開發(fā)的一套高性能的圖形處理系統(tǒng)，是圖形硬件的軟件界面，GL即代 表圖形庫(Graphics Library)。在實時的三維仿真領(lǐng)域，由于其對環(huán)境及實體的渲染達(dá)到了 高度逼真的視覺效果，從而顯示出強大的生命力。
3ds max是Autodesk公司開發(fā)的一套應(yīng)用廣泛的三維建模、動畫渲染軟件，可以完全滿 足制作高質(zhì)量動畫、最新游戲、設(shè)計效果等領(lǐng)域的需要。
重現(xiàn)骨架姿態(tài)模型的順序如圖5所示。表演者可以被看成多個剛體的連接，而關(guān)節(jié)處則 被看成是有自由度限制的球體。為了進行有效的控制，需要建立至少兩個坐標(biāo)系，即固定不 動的全局坐標(biāo)系和原點變化的每個關(guān)節(jié)上的局部坐標(biāo)系。采用運動捕捉數(shù)據(jù)直接驅(qū)動的方法， 即運動捕捉數(shù)據(jù)的空間坐標(biāo)賦給三維模型，經(jīng)過三維模型骨架本身的剛體約束修正數(shù)據(jù)后， 讓模型根據(jù)修正的數(shù)據(jù)運動。為了避免誤差產(chǎn)生的影響，在姿態(tài)重現(xiàn)部中添加了關(guān)節(jié)生理約 束，即人體的生理結(jié)構(gòu)決定骨骼上關(guān)節(jié)的動作活動范圍與角度的限制，人體關(guān)節(jié)運動范圍如 表1所示。
表l
關(guān)節(jié)名稱運動角度范圍關(guān)節(jié)名稱運動角度范圍
(度)(度)
腕關(guān)節(jié)140-200腰關(guān)節(jié)168-195
肘關(guān)節(jié)45-180髖關(guān)節(jié)65-120
頭/頸關(guān)節(jié)130-225膝關(guān)節(jié)45-180
肩關(guān)節(jié)0-135腳關(guān)節(jié)70-125
根據(jù)約束對標(biāo)志點空間坐標(biāo)進行有效性判別，越界則自動修正。約束算法的實現(xiàn)過程如
下
1. 給定某父關(guān)節(jié)及子關(guān)節(jié)位置，可以求得關(guān)節(jié)的旋轉(zhuǎn)角度"91。
2. 判斷該旋轉(zhuǎn)角度氏是否超出關(guān)節(jié)的活動范圍"("^ Aax)。如果沒有超出該關(guān)節(jié)的活動范圍，則取"1即可。否則，取"min現(xiàn)^nax。
三維動畫重現(xiàn)實現(xiàn)流程如圖6所示，利用人體骨骼中14個主要關(guān)節(jié)點，并把人體的運
動看成這些關(guān)節(jié)點的運動，運動捕捉時只要捕捉這些關(guān)節(jié)點的運動，對骨骼關(guān)鍵點進行旋轉(zhuǎn)， 位移，縮放，插值等操作。就可以確定骨架的運動。通過對骨架的設(shè)置進行改進，降低了對 硬件捕捉信息速度的要求，提高了捕捉信息的抗干擾性，并在一定程度上保證了捕捉信息的 精度和數(shù)據(jù)轉(zhuǎn)換速度，提高了重構(gòu)質(zhì)量，并滿足了實時性的要求。
三維動畫重現(xiàn)的關(guān)鍵算法包括骨骼約束和關(guān)鍵幀差值。
骨骼約束模型內(nèi)部骨骼必然是剛體結(jié)構(gòu)，各自長度嚴(yán)格固定，骨骼之間是由關(guān)節(jié)鏈接， 關(guān)節(jié)分成兩部分，腰部以下共七個節(jié)點一部分，頭頸及胳膊部七個節(jié)點一部分。兩部分在一 定程度上獨立計算運動情況。本發(fā)明采用了層次化方法來進行匹配，過程如下
1設(shè)定腰關(guān)節(jié)為根節(jié)點，該節(jié)點附著一個固定坐標(biāo)系，只允許平移運動。其他關(guān)節(jié)處建 立運動坐標(biāo)系。如以腰關(guān)節(jié)為父節(jié)點，與之鏈接的右腿跟關(guān)節(jié)，左腿跟關(guān)節(jié)等相鄰關(guān)節(jié)被視 為子關(guān)節(jié)。
2再次計算運動角度，根據(jù)計算出的關(guān)節(jié)旋轉(zhuǎn)角度，再對三維動畫模型進行匹配，根據(jù) 動畫模型的骨骼計算出動畫模型各個關(guān)節(jié)的坐標(biāo)，用以直接驅(qū)動模型運動。
關(guān)鍵幀差值計算機動畫中通用的有三種插值算法。即線性插值算法，移動點約束條件 插補算法和骨架插補法。
線性插值算法選取兩副關(guān)鍵幀，然后計算機計算出兩副關(guān)鍵幀上的對應(yīng)點間的直線距 離，從而計算出中間的插值點，生成插補中間畫，即中間幀。
移動點約束條件插值算法將一條隨時間和空間變化的曲線與動畫形體上的某些點相聯(lián)系。
骨架結(jié)構(gòu)插值通過對三維骨架結(jié)構(gòu)的運動模擬，生成中間幀。
本發(fā)明方法采用了骨架結(jié)構(gòu)插值法，結(jié)合物體在真實世界的力學(xué)特征、三維動畫模型的 骨架結(jié)構(gòu)等特點，通過關(guān)鍵幀的骨架運動狀態(tài)預(yù)測出中間幀的運動狀態(tài)，而不用考慮動畫模 型的具體運動細(xì)節(jié)。
權(quán)利要求
1. 一種低成本動作捕捉與演示系統(tǒng)，包括表演者(6)、攝像機和顯示器(5)，其特征在于a. 所述表演者(6)身穿具有關(guān)節(jié)標(biāo)志點的演示服；b. 所述攝像機為雙CCD攝像機(1L、1R)，其攝像頭對準(zhǔn)表演者(6)；c. 所述雙CCD攝像機(1L、1R)的輸出經(jīng)一個圖像采集卡(2)連接到一個嵌入式處理器(3)；所述雙攝像機(1L、1R)捕捉到的運動圖像通過所述圖像采集卡(2)傳輸?shù)剿銮度胧教幚砥?3)；d. 所述嵌入式處理器(3)連接一個數(shù)據(jù)庫(4)和一個顯示器(5)；所述嵌入式處理器(3)將實時表演者(6)關(guān)節(jié)處數(shù)據(jù)保存到所述數(shù)據(jù)庫(4)，同時，將處理后的結(jié)果在所述顯示器(5)上演示。
2. 如權(quán)利要求1所述低成本動作捕捉與演示系統(tǒng)，其特征在于所述表演服以黑色為底色，在14個主要關(guān)節(jié)處綁上不同顏色的色帶作為標(biāo)志點；所述14個主要關(guān)節(jié)處為腰關(guān)節(jié)、頸關(guān)節(jié)、左\右肩關(guān)節(jié)、左\右肘、左\右腕、左\右腿跟關(guān)節(jié)、左\右膝、左\右踝。
3. 如權(quán)利要求1所述低成本動作捕捉與演示系統(tǒng)，其特征在于所述雙CCD攝像機(1L、 1R) 放置在相對固定位置相對距離50cm士5cm。
4. 一種低成本動作捕捉與演示方法，采用權(quán)利要求1所述的低成本動作捕捉與演示系統(tǒng)進行 捕捉和演示，其特征在于操作步驟如下第一步驟，對動作捕捉與演示系統(tǒng)進行初始化。第二步驟，所述嵌入式處理器(3)計算出各關(guān)節(jié)處色帶中心位置二維數(shù)據(jù)；第三步驟，所述嵌入式處理器(3)比較所述雙CCD攝像機(1L、 1R)傳輸?shù)臄?shù)據(jù)，計算出各 關(guān)節(jié)處色帶中心位置的三維數(shù)據(jù)；第四步驟，所述嵌入式處理器(3)將所述的關(guān)節(jié)處色帶中心位置三維數(shù)據(jù)存儲到所述數(shù)據(jù)庫 (4)中；第五步驟，所述嵌入式處理器(3)將所述存儲的數(shù)據(jù)顯示于所述顯示器(5)。
5. 如權(quán)利要求4所述的低成本動作捕捉與演示方法，其特征在于，所述初始化包括對所述雙 CCD攝像機(1L、 1R)的標(biāo)定。
6. 如權(quán)利要求4所述的低成本動作捕捉與演示方法，其特征在于，所述第五步驟將存儲的數(shù) 據(jù)以骨架姿態(tài)模型和三維動畫模型兩種形式同時顯示于所述顯示器(5)。
全文摘要
本發(fā)明涉及一種低成本動作捕捉與演示系統(tǒng)及方法。表演者身穿一套具有關(guān)節(jié)標(biāo)志點的演示服，該演示服以黑色為底色，在各主要關(guān)節(jié)處綁上不同顏色的色帶作為標(biāo)志點，雙CCD攝像頭采集到表演者運動圖像信息后，所獲得的數(shù)據(jù)經(jīng)圖像采集卡直接傳遞給嵌入式處理器，嵌入式處理器利用自適應(yīng)算法動態(tài)捕捉標(biāo)志點，通過雙目立體視覺技術(shù)，計算出標(biāo)志點的三維坐標(biāo)存儲在數(shù)據(jù)庫中，根據(jù)數(shù)據(jù)庫中的坐標(biāo)在顯示器上實現(xiàn)骨架模型重現(xiàn)及三維動畫重現(xiàn)，直觀地展現(xiàn)系統(tǒng)采集到的標(biāo)志點當(dāng)前位置，方便調(diào)試及演示。
文檔編號G06T15/70GK101520902SQ20091004651
公開日2009年9月2日 申請日期2009年2月24日 優(yōu)先權(quán)日2009年2月24日
發(fā)明者孫峰杰, 李長遠(yuǎn), 羅珍茜, 雷 薛, 陸士清 申請人:上海大學(xué)