專利名稱：基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法及裝置。
背景技術(shù)：
人體運(yùn)動(dòng)捕捉是計(jì)算機(jī)視覺中的重點(diǎn)以及難點(diǎn)問題。準(zhǔn)確魯棒的運(yùn)動(dòng)捕捉算法在電影制作、電視轉(zhuǎn)播、機(jī)器人控制等方面有著廣泛應(yīng)用。運(yùn)動(dòng)捕捉一般可以分為有標(biāo)記和無標(biāo)記兩類方法。其中有標(biāo)記運(yùn)動(dòng)捕捉是指演員要穿著帶有特殊標(biāo)志物的服裝進(jìn)行表演，算法通過對這些標(biāo)志物的識別，實(shí)時(shí)的獲取演員的動(dòng)作參數(shù)。這種方法準(zhǔn) 確性高，算法復(fù)雜度小，已經(jīng)被廣泛的應(yīng)用于商業(yè)電影的制作過程中。但這種方法中演員必須穿著笨重的緊身道具服進(jìn)行表演，而且該方法也很難應(yīng)用于攝影棚外真實(shí)場景的拍攝環(huán)境。為了解決上述不足，無標(biāo)記動(dòng)作捕捉技術(shù)逐漸成為近年本領(lǐng)域研究熱點(diǎn)?，F(xiàn)有的無標(biāo)記運(yùn)動(dòng)捕捉技術(shù)一般指表演者穿著日常普通服裝，在一間綠幕布攝影棚內(nèi)進(jìn)行表演，由設(shè)在其中的多相機(jī)系統(tǒng)采集其動(dòng)作，由特定的算法對采集的多視角視頻序列進(jìn)行運(yùn)動(dòng)跟蹤。這種方法突破了有標(biāo)記運(yùn)動(dòng)捕捉方法必須穿著帶有標(biāo)記點(diǎn)服裝進(jìn)行采集的不足，但仍然離不開綠幕布的使用，無法適用于一般場景的拍攝。深度相機(jī)是近年來逐漸開始普及的感知三維世界的新方式，對于環(huán)境中的每個(gè)點(diǎn)，深度相機(jī)不但可以返回其顏色信息，還可以返回該點(diǎn)距離深度相機(jī)光心平面的垂直距離。這一開創(chuàng)性的技術(shù)發(fā)明為一般場景的無標(biāo)記運(yùn)動(dòng)捕捉技術(shù)提供了可能性。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的目的在于提出一種無需標(biāo)記設(shè)備、追蹤結(jié)果更優(yōu)魯棒的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法。本發(fā)明的另一目的在于提出一種無需標(biāo)記設(shè)備、追蹤結(jié)果更優(yōu)魯棒的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法包括以下步驟A.對所述多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；B.通過所述多視角的深度相機(jī)采集深度圖和彩色圖；C.根據(jù)所述標(biāo)定參數(shù)和所述深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合；D.根據(jù)所述深度圖和彩色圖中的信息，將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配，得到匹配結(jié)果；E.根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果。在本發(fā)明的一個(gè)實(shí)施例中，所述標(biāo)定參數(shù)包括內(nèi)參矩陣Kc、旋轉(zhuǎn)矩陣Re和平移向量Tc。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)下列計(jì)算公式進(jìn)行三維空間變換得到所述點(diǎn)云集合P = R-1 (K-1OjLdO, j))T — Tc).其中P為所述點(diǎn)云集合中的三維點(diǎn)云點(diǎn)，(i，j)為所述
深度圖中的像素點(diǎn)，i、j表示所述像素點(diǎn)的坐標(biāo)，d(i，j)表示所述像素點(diǎn)(i，j)的深度值。
在本發(fā)明的一個(gè)實(shí)施例中,所述將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配進(jìn)一步包括遍歷地計(jì)算所述三維點(diǎn)云點(diǎn)P與各個(gè)表面網(wǎng)格點(diǎn)V的匹配度量函數(shù)S (V，P)，并選取所述度量函數(shù)最大值的所述V點(diǎn)作為與所述P點(diǎn)匹配成功的點(diǎn)，其中，所述度量函數(shù)的計(jì)
算公式為:S(V, P) =cN),產(chǎn)^ * 產(chǎn)，其中，N(V)、N(P)分
別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的法向信息值，O N表不兩法向內(nèi)積閾值，C(V)、C(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的顏色信息值，O。表不顏色分布?xì)w一化閾值，X (V)、X(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的位置信息值，O x表不距離分布?xì)w一化閾值。在本發(fā)明的一個(gè)實(shí)施例中，所述人體模型符合骨架驅(qū)動(dòng)表面規(guī)律，即滿足所述骨
架驅(qū)動(dòng)表面規(guī)律的定義公式= n|Uexp(0j《j) V，其中V為表面網(wǎng)格點(diǎn)，TxV為表面網(wǎng)格點(diǎn)在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，j為關(guān)節(jié)，叫^為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。在本發(fā)明的一個(gè)實(shí)施例中，所述根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果包括根據(jù)所述匹配結(jié)果，結(jié)合所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式，求解能量函數(shù)MgxminEiWiIITxVi - P1II得到最優(yōu)化的關(guān)節(jié)轉(zhuǎn)角X，即得到追蹤結(jié)果。在本發(fā)明的一個(gè)實(shí)施例中，還包括步驟對所述人體模型進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實(shí)際情況，其中，所述拉普拉斯表面變形的計(jì)算公式為aTinCIIlv — 5Il2 +入丨丨cv — q丨丨2}，其中11LV- s 112為拉普拉斯坐標(biāo)系表面幾何約束，
CV-q I2為運(yùn)動(dòng)約束，入為表面網(wǎng)格變形權(quán)重。根據(jù)本發(fā)明實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，無需借助笨重的標(biāo)志物，能夠更加靈活便捷地進(jìn)行運(yùn)動(dòng)捕捉，具有運(yùn)動(dòng)參數(shù)準(zhǔn)確魯棒、表面網(wǎng)格模型復(fù)原程度高、算法運(yùn)行速度快、系統(tǒng)成本低的優(yōu)點(diǎn)。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法裝置以下部分多視角的深度相機(jī)，用于采集深度圖和彩色圖；標(biāo)定模塊，用于對所述多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；點(diǎn)云轉(zhuǎn)換模塊，用于根據(jù)所述標(biāo)定參數(shù)和所述深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合；匹配模塊，用于根據(jù)所述深度圖和彩色圖中的信息，將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配，得到匹配結(jié)果；運(yùn)動(dòng)捕捉模塊，用于根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果。在本發(fā)明的一個(gè)實(shí)施例中，所述標(biāo)定參數(shù)包括內(nèi)參矩陣Kc、旋轉(zhuǎn)矩陣Re和平移向量Tc。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)下列計(jì)算公式進(jìn)行三維空間變換得到所述點(diǎn)云集合P = R-1- 7ic)，其中P為所述點(diǎn)云集合中的三維點(diǎn)云點(diǎn)，(i，j)為所述
深度圖中的像素點(diǎn)，i、j表示所述像素點(diǎn)的坐標(biāo)，d(i，j)表示所述像素點(diǎn)(i，j)的深度值。在本發(fā)明的一個(gè)實(shí)施例中，在所述匹配模塊中遍歷地計(jì)算所述三維點(diǎn)云點(diǎn)P與各個(gè)表面網(wǎng)格點(diǎn)V的匹配度量函數(shù)S (V，P)，并選取所述度量函數(shù)最大值的所述V點(diǎn)作為與所述P點(diǎn)匹配成功的點(diǎn)，其中，所述度量函數(shù)的計(jì)算公式為[_] S(V,P) = max(N(V)N(P),，其中，麵、應(yīng)分別
表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的法向信息值，O N表不兩法向內(nèi)積閾值，C(V)、C(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的顏色信息值，O c表不顏色分布?xì)w一化閾值，X(V)、X(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的位置信息值，O x表不距離分布?xì)w一化閾值。在本發(fā)明的一個(gè)實(shí)施例中，所述人體模型符合骨架驅(qū)動(dòng)表面規(guī)律，即滿足所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式TXV = []^哪(；0而)V，其中V為表面網(wǎng)格點(diǎn)，TxV為表面網(wǎng)格點(diǎn)在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，j為關(guān)節(jié)，叫^為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。 在本發(fā)明的一個(gè)實(shí)施例中，在所述運(yùn)動(dòng)追蹤模塊中，聯(lián)合所述人體骨架驅(qū)動(dòng)表面模型的定義公式，根據(jù)所述匹配結(jié)果，結(jié)合所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式，求解能量函^arTnSiWiHTxVi - P1Ih得到最優(yōu)化的關(guān)節(jié)轉(zhuǎn)角X，即得到追蹤結(jié)果。在本發(fā)明的一個(gè)實(shí)施例中，還包括優(yōu)化模塊，所述優(yōu)化模塊用于對所述人體模型 進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實(shí)際情況，其中，所述拉普拉斯表面變形的計(jì)算公式為I Ilv-S 112為拉普拉斯坐標(biāo)系表面幾何約束，I |cv-q| I2為運(yùn)動(dòng)約束，入為表面網(wǎng)格變形權(quán)重。根據(jù)本發(fā)明實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，無需借助笨重的標(biāo)志物，能夠更加靈活便捷地進(jìn)行運(yùn)動(dòng)捕捉，具有運(yùn)動(dòng)參數(shù)準(zhǔn)確魯棒、表面網(wǎng)格模型復(fù)原程度高、算法運(yùn)行速度快、系統(tǒng)成本低的優(yōu)點(diǎn)。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得明顯和容易理解，其中，圖I是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法的流程圖；圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法的流程圖；圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置的結(jié)構(gòu)框圖；以及圖4是根據(jù)本發(fā)明另一個(gè)實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置的結(jié)構(gòu)框圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。下面參考附圖描述根據(jù)本發(fā)明實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法及裝置。圖I是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法的流程圖。如圖I所示，該方法包括下述步驟步驟S101，對多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)。具體地，本發(fā)明采用了多臺不同視角的深度相機(jī)，首先需要對這些深度相機(jī)的參數(shù)進(jìn)行標(biāo)定。在本發(fā)明的一個(gè)實(shí)施例中，定義對于相機(jī)C，標(biāo)定參數(shù)包括內(nèi)參矩陣Kc、旋轉(zhuǎn)矩陣Re和平移向量Tc。其中，內(nèi)參數(shù)矩陣反映該深度相機(jī)的一些基本性質(zhì)(相機(jī)焦距、主點(diǎn)位置等)，通常采用棋盤格標(biāo)定方法對深度相機(jī)進(jìn)行內(nèi)參標(biāo)定。外參數(shù)矩陣反映相機(jī)在世界坐標(biāo)系下的位置與姿態(tài)。步驟S102，通過多視角的深度相機(jī)采集深度圖和彩色圖。具體地，多臺不同視角的深度相機(jī)獲得深度視頻和彩色視頻，在具體運(yùn)算操作中，將連續(xù)的視頻分解為多幀沿時(shí)間軸排列的深度圖和彩色圖，逐一進(jìn)行運(yùn)動(dòng)捕捉。步驟S103，根據(jù)標(biāo)定參數(shù)和深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合。具體地，對于將深度圖上的像素點(diǎn)，可以將該像素點(diǎn)的坐標(biāo)信息、該像素點(diǎn)的深度值信息以及相機(jī)的標(biāo)定參數(shù)相結(jié)合，變換得到一個(gè)三維空間點(diǎn)。從而，對多張深度圖進(jìn)行變換并融合，最終得到一個(gè)整體的點(diǎn)云集合。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)下列計(jì)算公式進(jìn)行三維空間變換得到點(diǎn)云集合；
權(quán)利要求
1.一種基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，包括以下步驟 A.對所述多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)； B.通過所述多視角的深度相機(jī)采集深度圖和彩色圖； C.根據(jù)所述標(biāo)定參數(shù)和所述深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合； D.根據(jù)所述深度圖和彩色圖中的信息，將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配，得到匹配結(jié)果； E.根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果。
2.如權(quán)利要求I所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，所述標(biāo)定參數(shù)包括內(nèi)參矩陣Kc、旋轉(zhuǎn)矩陣Re和平移向量Tc。
3.如權(quán)利要求2所述的基于多臺深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，根據(jù)下列計(jì)算公式進(jìn)行三維空間變換得到所述點(diǎn)云集合P = Rc1 (KdiJ.dG, j))T - 7；),其中P為所述點(diǎn)云集合中的三維點(diǎn)云點(diǎn)，(i，j)為所述深度圖中的像素點(diǎn)，i、j表示所述像素點(diǎn)的坐標(biāo)，d(i，j)表示所述像素點(diǎn)(i，j)的深度值。
4.如權(quán)利要求3所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，所述將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配進(jìn)一步包括遍歷地計(jì)算所述三維點(diǎn)云點(diǎn)P與各個(gè)表面網(wǎng)格點(diǎn)V的匹配度量函數(shù)S (V，P)，并選取所述度量函數(shù)最大值的所述V點(diǎn)作為與所述P點(diǎn)匹配成功的點(diǎn)，其中，所述度量函數(shù)的計(jì)算公式為 其中，麵、N(P)分別表示表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的法向信息值，0,表示兩法向內(nèi)積閾值，C(V)、C(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的顏色信息值，O。表不顏色分布?xì)w一化閾值，X (V)、X(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的位置信息值，O x表不距離分布?xì)w一化閾值。
5.如權(quán)利要求4所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，所述人體模型符合骨架驅(qū)動(dòng)表面規(guī)律，即滿足所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式TxV = njLoexp(0i^) V，其中V為表面網(wǎng)格點(diǎn)，TxV為表面網(wǎng)格點(diǎn)在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，j為關(guān)節(jié)，叫^為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。
6.如權(quán)利要求5所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，所述根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果包括根據(jù)所述匹配結(jié)果，結(jié)合所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式，求解能量函WiHTxVi-P1II-H到最優(yōu)化的關(guān)節(jié)轉(zhuǎn)角X，即得到追蹤結(jié)果。
7.如權(quán)利要求6所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法，其特征在于，還包括步驟對所述人體模型進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實(shí)際情況，其中，所述拉普拉斯表面變形的計(jì)算公式為嚴(yán)^inIIILV-6丨|2+A丨丨CV-q||2]、其中LV-6 I I2為拉普拉斯坐標(biāo)系表面幾何約束，I CV-q I2為運(yùn)動(dòng)約束，A為表面網(wǎng)格變形權(quán)重。
8.一種基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，包括以下部分 多視角的深度相機(jī)，用于采集深度圖和彩色圖；標(biāo)定模塊，用于對所述多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)； 點(diǎn)云轉(zhuǎn)換模塊，用于.根據(jù)所述標(biāo)定參數(shù)和所述深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合; 匹配模塊，用于根據(jù)所述深度圖和彩色圖中的信息，將所述點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配，得到匹配結(jié)果； 運(yùn)動(dòng)捕捉模塊，用于根據(jù)所述匹配結(jié)果，通過優(yōu)化能量函數(shù)進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果。
9.如權(quán)利要求8所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，所述標(biāo)定參數(shù)包括內(nèi)參矩陣Kc、旋轉(zhuǎn)矩陣Re和平移向量Tc。
10.如權(quán)利要求9所述的基于多臺深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，根據(jù)下列計(jì)算公式進(jìn)行三維空間變換得到所述點(diǎn)云集合P = Rc1 (K-1OJlCiaj))7 - 其中P為所述點(diǎn)云集合中的三維點(diǎn)云點(diǎn)，(i，j)為所述深度圖中的像素點(diǎn)，i、j表示所述像素點(diǎn)的坐標(biāo)，d(i，j)表示所述像素點(diǎn)(i，j)的深度值。
11.如權(quán)利要求10所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，在所述匹配模塊中 遍歷地計(jì)算所述三維點(diǎn)云點(diǎn)P與各個(gè)表面網(wǎng)格點(diǎn)V的匹配度量函數(shù)S (V，P)，并選取所述度量函數(shù)最大值的所述V點(diǎn)作為與所述P點(diǎn)匹配成功的點(diǎn)，其中，所述度量函數(shù)的計(jì)算公式為娜P) = maX(N(V)M(P), aN) **產(chǎn)與^其中，麵、N(P)分別表示表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的法向信息值，0,表示兩法向內(nèi)積閾值，C(V)、C(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的顏色信息值，O C；表不顏色分布?xì)w一化閾值，X (V)、X(P)分別表不表面網(wǎng)格點(diǎn)V和三維點(diǎn)云點(diǎn)P的位置信息值，O x表不距離分布?xì)w一化閾值。
12.如權(quán)利要求11所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，所述人體模型符合骨架驅(qū)動(dòng)表面規(guī)律，即滿足所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式TxV = n|Lo exp(e^j) V，其中V為表面網(wǎng)格點(diǎn)，TxV為表面網(wǎng)格點(diǎn)在關(guān)節(jié)轉(zhuǎn)角X下變形Tx得到的目標(biāo)位置，j為關(guān)節(jié)，叫^為關(guān)節(jié)旋轉(zhuǎn)參數(shù)。
13.如權(quán)利要求12所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，在所述運(yùn)動(dòng)追蹤模塊中，聯(lián)合所述人體骨架驅(qū)動(dòng)表面模型的定義公式，根據(jù)所述匹配結(jié)果，結(jié)合所述骨架驅(qū)動(dòng)表面規(guī)律的定義公式，求解能量函數(shù)aTin Ei Wi丨丨Tx Vi -削，得到最優(yōu)化的關(guān)節(jié)轉(zhuǎn)角X，即得到追蹤結(jié)果。
14.如權(quán)利要求13所述的基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉裝置，其特征在于，還包括優(yōu)化模塊，所述優(yōu)化模塊用于對所述人體模型進(jìn)行拉普拉斯表面變形，以使所述追蹤結(jié)果更接近實(shí)際情況，其中，所述拉普拉斯表面變形的計(jì)算公式為argfn(HLV — 5II2 + ^IIcv- qll2)'其中11 Lv- s 112為拉普拉斯坐標(biāo)系表面幾何約束，CV-q I2為運(yùn)動(dòng)約束，入為表面網(wǎng)格變形權(quán)重。
全文摘要
本發(fā)明提出一種基于多視角的深度相機(jī)的無標(biāo)記動(dòng)作捕捉方法及裝置，該方法包括步驟對多視角的深度相機(jī)進(jìn)行標(biāo)定，得到標(biāo)定參數(shù)；通過多視角的深度相機(jī)采集深度圖和彩色圖；根據(jù)標(biāo)定參數(shù)和深度圖，進(jìn)行三維空間變換得到點(diǎn)云集合；根據(jù)深度圖和彩色圖中的信息，將點(diǎn)云集合中的每一個(gè)三維點(diǎn)云點(diǎn)P與人體模型上的每一個(gè)表面網(wǎng)格點(diǎn)V進(jìn)行匹配，得到匹配結(jié)果；根據(jù)匹配結(jié)果，按照人體骨架驅(qū)動(dòng)表面模型進(jìn)行運(yùn)動(dòng)捕捉，得到追蹤結(jié)果。根據(jù)本發(fā)明實(shí)施例的方法，無需借助笨重的標(biāo)志物，能夠更加靈活便捷地進(jìn)行運(yùn)動(dòng)捕捉，具有運(yùn)動(dòng)參數(shù)準(zhǔn)確魯棒、表面網(wǎng)格模型復(fù)原程度高、算法運(yùn)行速度快、系統(tǒng)成本低的優(yōu)點(diǎn)。
文檔編號G06T7/20GK102800103SQ201210207809
公開日2012年11月28日 申請日期2012年6月18日 優(yōu)先權(quán)日2012年6月18日
發(fā)明者劉燁斌, 葉亙之, 戴瓊海 申請人:清華大學(xué)