專利名稱：一種高維動(dòng)態(tài)數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高維動(dòng)態(tài)數(shù)據(jù)處理方法，尤其涉及動(dòng)態(tài)紋理圖像序列和3D人體運(yùn)動(dòng)數(shù)據(jù)的分析，合成和控制。

背景技術(shù)：
動(dòng)態(tài)數(shù)據(jù)通常指數(shù)據(jù)單元之間具有時(shí)序關(guān)系的一類數(shù)據(jù)。典型的動(dòng)態(tài)數(shù)據(jù)包括動(dòng)態(tài)紋理圖像序列，3D人體運(yùn)動(dòng)數(shù)據(jù)等。由于這些動(dòng)態(tài)數(shù)據(jù)維數(shù)較高，如何去處理這些高維數(shù)據(jù)已成為各類應(yīng)用問題的難點(diǎn)。
動(dòng)態(tài)紋理圖像序列是指時(shí)間空間上呈現(xiàn)一種統(tǒng)計(jì)特性的圖像序列。如跳動(dòng)的火焰，飄動(dòng)的旗幟等。一幀長(zhǎng)、寬分別為m和n的圖像Im×n，可以看作是Rm×n圖像空間中的一個(gè)點(diǎn)。m×n的值通常大于1000(例如對(duì)于35×35像素大小的圖像)，所以動(dòng)態(tài)紋理圖像屬于高維數(shù)據(jù)。3D人體運(yùn)動(dòng)數(shù)據(jù)(如圖1所示)是指通過(guò)運(yùn)動(dòng)捕獲設(shè)備得到人體各個(gè)關(guān)節(jié)點(diǎn)的3D運(yùn)動(dòng)數(shù)據(jù)。人體的每一個(gè)姿態(tài)由各個(gè)關(guān)節(jié)彎曲程度決定。在局部的坐標(biāo)系下，每個(gè)關(guān)節(jié)的狀態(tài)可以由3個(gè)參數(shù)描述，而人體運(yùn)動(dòng)的關(guān)節(jié)點(diǎn)數(shù)目j眾多(>70)，人體的一個(gè)姿態(tài)可以由3×j維數(shù)據(jù)描述，所以3D人體運(yùn)動(dòng)數(shù)據(jù)也是高維的動(dòng)態(tài)數(shù)據(jù)。對(duì)于這些高維數(shù)據(jù)的處理在計(jì)算機(jī)圖形、計(jì)算機(jī)動(dòng)畫中有廣泛的應(yīng)用。
高維數(shù)據(jù)的處理包含數(shù)據(jù)分析、合成和控制。動(dòng)態(tài)數(shù)據(jù)的分析是指將高維的動(dòng)態(tài)數(shù)據(jù)投影到低維空間和對(duì)低維空間的動(dòng)態(tài)特性進(jìn)行分析。高維動(dòng)態(tài)數(shù)據(jù)的合成和控制是指根據(jù)不同動(dòng)態(tài)特性的需要選擇一系列的低維空間中的點(diǎn)，然后將這些數(shù)據(jù)點(diǎn)重新映射到高維空間形成新的動(dòng)態(tài)數(shù)據(jù)。
動(dòng)態(tài)紋理圖像序列傳統(tǒng)的分析方法，通常采用具有時(shí)間不變性的線性動(dòng)態(tài)系統(tǒng)(linear dynamical system)。先用主成份分析(principal componentanalysis)將高維數(shù)據(jù)降到低維空間，然后在低維空間中對(duì)自回歸動(dòng)態(tài)模型進(jìn)行系統(tǒng)辨識(shí)。從視覺上看，線性系統(tǒng)生成的動(dòng)態(tài)紋理都不真實(shí)；因?yàn)榇朔椒僭O(shè)動(dòng)態(tài)紋理具有時(shí)間不變性，所以不能處理自然場(chǎng)景下生成的很多動(dòng)態(tài)紋理，如旗幟的隨風(fēng)飄動(dòng)、火焰等。本發(fā)明采用一種非線性的降維方法對(duì)動(dòng)態(tài)紋理圖像序列進(jìn)行建模，同時(shí)在低維空間中進(jìn)行非線性采樣合成，獲得更逼真視覺效果的動(dòng)態(tài)紋理圖像序列，且能夠處理大多數(shù)自然場(chǎng)景中的動(dòng)態(tài)紋理。
3D人體運(yùn)動(dòng)數(shù)據(jù)合成常用的方法是逆動(dòng)力學(xué)(inverse kinematics)。20世紀(jì)90年代初，采用基本的逆動(dòng)力學(xué)方法，尋找各個(gè)關(guān)節(jié)滿足的約束。雖然各個(gè)關(guān)節(jié)滿足自身的約束條件，但是求解出來(lái)滿足約束的動(dòng)作常常是不自然的。后來(lái)人們從樣本中學(xué)習(xí)更真實(shí)的人體運(yùn)動(dòng)數(shù)據(jù)，常用的方法是將已經(jīng)存在的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行直接復(fù)制、混合或在多個(gè)運(yùn)動(dòng)數(shù)據(jù)之間直接進(jìn)行插值。這種方法雖然能合成更真實(shí)的運(yùn)動(dòng)數(shù)據(jù)，但是不能合成滿足用戶指定的某種動(dòng)作約束的運(yùn)動(dòng)數(shù)據(jù)，例如原來(lái)只是“走”的運(yùn)動(dòng)數(shù)據(jù)，需要合成走的過(guò)程中，一只手突然舉起然后放下。本發(fā)明方法能夠合成這種用戶指定約束的人體運(yùn)動(dòng)數(shù)據(jù)。


發(fā)明內(nèi)容
本發(fā)明目的是提供一種高維動(dòng)態(tài)數(shù)據(jù)處理方法，此方法可以處理動(dòng)態(tài)紋理圖像序列和3D人體運(yùn)動(dòng)數(shù)據(jù)等高維動(dòng)態(tài)數(shù)據(jù)，通過(guò)對(duì)現(xiàn)有數(shù)據(jù)的分析，形成具有不同動(dòng)態(tài)特性的新的數(shù)據(jù)。
為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種高維動(dòng)態(tài)數(shù)據(jù)處理的方法，包括下列步驟 計(jì)算高維動(dòng)態(tài)數(shù)據(jù)對(duì)應(yīng)的低維變量； 計(jì)算所述低維變量張成的低維空間到所述高維數(shù)據(jù)所在的高維空間的映射； 在所述低維空間采集樣本，利用所述映射將樣本映射到所述高維空間，形成新的高維動(dòng)態(tài)數(shù)據(jù)。
根據(jù)本發(fā)明的又一方面，提供了一種動(dòng)態(tài)紋理圖像序列處理方法，包括下列步驟 計(jì)算動(dòng)態(tài)紋理圖像序列對(duì)應(yīng)的低維變量； 計(jì)算所述低維變量張成的低維空間到所述動(dòng)態(tài)紋理圖像序列所在高維空間的映射； 在所述低維空間采集樣本，利用所述映射將樣本映射到高維空間，形成新的動(dòng)態(tài)紋理圖像。
根據(jù)本發(fā)明的又一方面，提供了一種3D人體運(yùn)動(dòng)數(shù)據(jù)處理方法，包括下列步驟 計(jì)算3D人體運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的低維變量； 計(jì)算所述低維變量張成的低維空間到所述3D人體運(yùn)動(dòng)數(shù)據(jù)所在高維空間的映射； 在所述低維空間采集樣本，利用所述映射將樣本映射到高維空間，形成新的3D人體運(yùn)動(dòng)數(shù)據(jù)。
根據(jù)本發(fā)明的又一方面，計(jì)算原始數(shù)據(jù)對(duì)應(yīng)的低維變量進(jìn)一步包括建立高斯過(guò)程隱藏變量模型，并根據(jù)此模型計(jì)算低維變量。
根據(jù)本發(fā)明的又一方面，在低維空間采集樣本可以采用Metropolis-Hastings采樣算法自動(dòng)采集樣本，也可以通過(guò)人機(jī)交互方式選擇樣本。
本方法應(yīng)用于動(dòng)態(tài)紋理圖像序列方面，可以獲得更逼真視覺效果且能夠處理大多數(shù)自然場(chǎng)景中的動(dòng)態(tài)紋理；應(yīng)用于3D人體運(yùn)動(dòng)捕獲數(shù)據(jù)處理方面，能夠合成用戶指定約束的人體運(yùn)動(dòng)數(shù)據(jù)。



以下，結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其中 圖1是3D人體運(yùn)動(dòng)數(shù)據(jù)(以“走”動(dòng)作為例)可視化后的示意圖。
圖2是動(dòng)態(tài)紋理圖像序列低維空間的示意圖。
圖3是3D人體運(yùn)動(dòng)數(shù)據(jù)(以“走”動(dòng)作為例)低維空間的示意圖。

具體實(shí)施例方式 本發(fā)明用約束的高斯隱藏變量模型分析，合成和控制高維動(dòng)態(tài)數(shù)據(jù)，下面進(jìn)一步描述具體實(shí)施步驟。
首先將t時(shí)刻的高維數(shù)據(jù)

，非線性映射到低維變量

，其中t為時(shí)間標(biāo)志，表示數(shù)據(jù)之間的時(shí)間相關(guān)性。D和d分別是高維空間和低維空間的維數(shù)。由高斯過(guò)程(Gaussian process)可得 其中Y≡[y1，...，yN]T是N組不同時(shí)刻數(shù)據(jù)組成的高維動(dòng)態(tài)數(shù)據(jù)，X＝[x1，...，xN]T是對(duì)應(yīng)的低維變量，也稱為隱藏變量。K是核矩陣，其每個(gè)元素是Ki，j＝k(xi，xj)。為了得到非線性映射，采用徑向基核函數(shù)(RBF) 其中A＝{α，β，γ}為核參數(shù)，α表示點(diǎn)xi和xj之間的相關(guān)性，γ是徑向基函數(shù)的寬度，β表示噪聲大小，δi，j表示德爾塔函數(shù)，當(dāng)xi和xj相等時(shí)，函數(shù)值為1，反之為0。
低維變量具有的流形結(jié)構(gòu)是用近鄰信息描述。首先獲得高維數(shù)據(jù)之間的近鄰關(guān)系 其中，Ωi表示數(shù)據(jù)點(diǎn)yi的k近鄰點(diǎn)的集合。在均方誤差最小的意義下求得權(quán)重wij。低維空間也應(yīng)該保持這種流形結(jié)構(gòu)，最小化低維數(shù)據(jù)之間近鄰關(guān)系的目標(biāo)函數(shù) 其中M是關(guān)系矩陣，其元素是 為了避免模型過(guò)擬合，對(duì)核參數(shù)采用簡(jiǎn)單的先驗(yàn)概率p(A)∝α-1·β-1·γ-1。在最大后驗(yàn)概率的意義下求解核參數(shù)和隱藏變量，即在等式(7)條件約束下，計(jì)算L取最小值時(shí)的核參數(shù)和隱藏變量。
s.t:XTMX-η＝0 (7) 等式(6)可以轉(zhuǎn)化為拉格朗日乘子等式(8)，用梯度下降法對(duì)隱藏變量和核參數(shù)進(jìn)行優(yōu)化求解，其中η對(duì)最終結(jié)果沒有影響，所以其數(shù)值大小可以隨意，λ選擇在0.9-1之間。
其中 根據(jù)隱藏變量和核參數(shù)就可以計(jì)算從低維空間到高維空間的映射。將低維空間中的采樣點(diǎn)x*映射為高維空間中的點(diǎn)y*，映射函數(shù)可以表示成高斯函數(shù) 其中 kI，*＝[k(x1，x*)，...，k(xN，x*)]T (18) 對(duì)應(yīng)的高維空間中的點(diǎn)y*為 高維數(shù)據(jù)y*的重構(gòu)誤差σ2可以表示成下面的函數(shù) 為了采樣具有某種動(dòng)態(tài)特性的樣本點(diǎn)，可以使用Metropolis-Hastings采樣算法自動(dòng)采集樣本點(diǎn)或通過(guò)人機(jī)交互的方式人工選擇樣本點(diǎn)。
對(duì)于自動(dòng)選擇樣本點(diǎn)，首先利用系統(tǒng)辨識(shí)方法對(duì)隱藏變量的線性狀態(tài)作估計(jì)xt+1＝Axt+vt，vt～N(0，∑)，計(jì)算狀態(tài)轉(zhuǎn)移矩陣A和系統(tǒng)噪聲∑。然后以Axt作為均值，系統(tǒng)噪聲∑作為方差組成高斯函數(shù)N(xt+1；Axt，∑)。A和∑的具體計(jì)算過(guò)程為設(shè)X2，N等于X的第2個(gè)數(shù)據(jù)到第N個(gè)數(shù)據(jù)組成的矩陣，X1，N-1等于X的第1個(gè)數(shù)據(jù)到第N-1個(gè)數(shù)據(jù)組成的矩陣。那么A等于矩陣X2，N與矩陣X1，N-1的Moore-Penrose逆矩陣的乘積。假設(shè)矩陣W等于X2，N減去矩陣A乘以矩陣X1，N-1的乘積。系統(tǒng)噪聲∑可用通過(guò)對(duì)矩陣W做奇異值(singular value decomposition)分解獲得。對(duì)W做奇異值分解W＝U*S*V，系統(tǒng)噪聲∑等于正交矩陣U乘以對(duì)角矩陣S。本發(fā)明將高斯分布N(xt+1；Axt，∑)作為提議密度，其中以Axt作為均值，∑作為方差。利用Metropolis-Hastings采樣算法去選擇一系列的樣本。合成第t+1時(shí)刻的動(dòng)態(tài)數(shù)據(jù)的具體方法實(shí)現(xiàn)如下 1.從提議密度

中隨機(jī)的產(chǎn)生樣本候選樣本點(diǎn)
2.根據(jù)下面的式子計(jì)算數(shù)值a 如果a≥1，那么接受新的樣本點(diǎn)；否則，以概率a接受新的樣本點(diǎn)。
3.如果第2中樣本點(diǎn)被接受，那么否則，回到第1步，重新采樣直到新的樣本點(diǎn)被接受。
4.將新的樣本點(diǎn)xt+1利用公式(18)映射回高維空間得到第t+1時(shí)刻的樣本點(diǎn)。
其中，隱藏變量的概率密度p(x)可以通過(guò)帕仁(Parzen)窗估計(jì)。
對(duì)于人機(jī)交互的方式選擇樣本點(diǎn)，只須將高維的動(dòng)態(tài)數(shù)據(jù)投影到2維平面上，根據(jù)對(duì)動(dòng)態(tài)模型的需要，用鼠標(biāo)人工的選擇一系列的樣本點(diǎn)，然后將這些樣本點(diǎn)映射到高維空間，形成新的動(dòng)態(tài)數(shù)據(jù)。
下面以動(dòng)態(tài)紋理圖像序列為例，具體描述高維動(dòng)態(tài)數(shù)據(jù)處理過(guò)程。
首先將t時(shí)刻的紋

，非線性映射到隱藏變量(低維變量)

(如圖2所示，其中2維空間每一個(gè)點(diǎn)代表一個(gè)紋理圖像)，其中t為時(shí)間標(biāo)志，表示數(shù)據(jù)之間的時(shí)間相關(guān)性。D和d分別是高維空間和低維空間的維數(shù)。對(duì)于動(dòng)態(tài)紋理圖像而言，D＝圖像長(zhǎng)×圖像高。由高斯過(guò)程可得 其中Y≡[y1，...，yN]T為動(dòng)態(tài)數(shù)據(jù)，為N個(gè)不同時(shí)刻動(dòng)態(tài)紋理圖像組成的圖像序列，X＝[x1，...，xN]T為對(duì)應(yīng)的低維變量，也稱為隱藏變量。K是核矩陣，其中核矩陣的每個(gè)元素Ki，j＝k(xi，xj)。為了得到非線性映射采用徑向基核函數(shù) 其中A＝{α，β，γ}為核參數(shù)，α表示點(diǎn)xi和xj之間的相關(guān)性，γ是徑向基函數(shù)的寬度，β表示噪聲大小，δi，j表示德爾塔函數(shù)，當(dāng)xi和xj相等時(shí)，函數(shù)值為1，反之為0。
低維變量具有的流形結(jié)構(gòu)是用近鄰信息描述。首先獲得高維數(shù)據(jù)之間的近鄰關(guān)系 其中，Ωi表示數(shù)據(jù)點(diǎn)yi的k近鄰點(diǎn)的集合。在均方誤差最小的意義下求得權(quán)重wij。低維空間也應(yīng)該保持這種流形結(jié)構(gòu)，最小化低維數(shù)據(jù)之間近鄰關(guān)系的目標(biāo)函數(shù) 其中M是關(guān)系矩陣，其元素是 為了避免模型過(guò)擬合，對(duì)核參數(shù)采用簡(jiǎn)單的先驗(yàn)概率p(A)∝α-1·β-1·γ-1。在最大后驗(yàn)概率的意義下求解模型參數(shù)和低維變量，即在等式(27)條件約束下當(dāng)L取最小值時(shí)，解得的核參數(shù)和隱藏變量。
s.t:XTMX-η＝0 (28) 等式(26)可以轉(zhuǎn)化為拉格朗日乘子等式，如上所述用梯度下降法計(jì)算隱藏變量和核參數(shù)求解。
根據(jù)計(jì)算得到隱藏變量和核參數(shù)就可以計(jì)算從低維空間到紋理的映射。將低維空間中的采樣點(diǎn)x*映射為紋理y*，映射函數(shù)可以表示成高斯函數(shù) 其中 kI，*＝[k(x1，x*)，...，k(xN，x*)]T (31) 對(duì)應(yīng)的紋理y*為 紋理y*的重構(gòu)誤差σ2可以表示成下面的函數(shù) 為了合成具有某種動(dòng)態(tài)特性的動(dòng)態(tài)紋理圖像序列，可以在低維空間中，使用Metropolis-Hastings采樣算法自動(dòng)采集樣本點(diǎn)或通過(guò)人機(jī)交互的方式人工選擇樣本點(diǎn)。
對(duì)于自動(dòng)選擇樣本點(diǎn)，首先利用系統(tǒng)辨識(shí)方法對(duì)隱藏變量的線性狀態(tài)作估計(jì)xt+1＝Axt+vt，vt～N(0，∑)，求得狀態(tài)轉(zhuǎn)移矩陣A和系統(tǒng)噪聲∑。然后以Axt作為均值，系統(tǒng)噪聲∑作為方差組成高斯函數(shù)N(xt+1；Axt，∑)。本發(fā)明將N(xt+1；Axt，∑)作為提議密度，其中以Axt作為均值，∑作為方差。利用Metropolis-Hastings采樣算法去選擇一系列的樣本。合成第t+1時(shí)刻的紋理具體方法實(shí)現(xiàn)如下 1.從提議密度

中隨機(jī)的產(chǎn)生樣本候選樣本點(diǎn)
2.根據(jù)下面的式子計(jì)算數(shù)值a 如果a≥1，那么接受新的樣本點(diǎn)；否則，以概率a接受新的樣本點(diǎn)。
3.如果第2中樣本點(diǎn)被接受，那么否則，回到第1步，重新采樣直到新的樣本點(diǎn)被接受。
4.將新的樣本點(diǎn)xt+1利用公式(32)映射回高維空間得到第t+1時(shí)刻的紋理。
其中，隱藏變量的概率密度p(x)可以通過(guò)Parzen窗估計(jì)。
對(duì)于人機(jī)交互的方式選擇樣本點(diǎn)，只須將動(dòng)態(tài)紋理圖像投影到2維平面上，根據(jù)對(duì)動(dòng)態(tài)模型的需要，用鼠標(biāo)人工的選擇一系列的樣本點(diǎn)，然后將這些樣本點(diǎn)映射到高維空間，形成新的動(dòng)態(tài)紋理圖像。
對(duì)于3D人體運(yùn)動(dòng)數(shù)據(jù)而言(如圖3所示，其中3維空間每一個(gè)點(diǎn)代表一個(gè)3D人體運(yùn)動(dòng)數(shù)據(jù))，其維數(shù)為D＝3×關(guān)節(jié)點(diǎn)數(shù)，如上所述也屬于高維動(dòng)態(tài)數(shù)據(jù)，也可采用本發(fā)明方法進(jìn)行類似處理。
應(yīng)該注意到并理解，在不脫離后附的權(quán)利要求所要求的本發(fā)明的精神和范圍的情況下，能夠?qū)ι鲜鲈敿?xì)描述的本發(fā)明做出各種修改和改進(jìn)。因此，要求保護(hù)的技術(shù)方案的范圍不受所給出的任何特定示范教導(dǎo)的限制。
權(quán)利要求
1.一種高維動(dòng)態(tài)數(shù)據(jù)處理方法，包括下列步驟
計(jì)算高維動(dòng)態(tài)數(shù)據(jù)對(duì)應(yīng)的低維變量；
計(jì)算所述低維變量張成的低維空間到所述高維數(shù)據(jù)所在的高維空間的映射；
在所述低維空間采集樣本，利用所述映射將樣本映射到所述高維空間，形成新的高維動(dòng)態(tài)數(shù)據(jù)。
2.一種動(dòng)態(tài)紋理圖像序列處理方法，包括下列步驟
計(jì)算動(dòng)態(tài)紋理圖像序列對(duì)應(yīng)的低維變量；
計(jì)算所述低維變量張成的低維空間到所述動(dòng)態(tài)紋理圖像序列所在高維空間的映射；
在所述低維空間采集樣本，利用所述映射將樣本映射到高維空間，形成新的動(dòng)態(tài)紋理圖像。
3.一種3D人體運(yùn)動(dòng)數(shù)據(jù)處理方法，包括下列步驟
計(jì)算3D人體運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的低維變量；
計(jì)算所述低維變量張成的低維空間到所述3D人體運(yùn)動(dòng)數(shù)據(jù)所在高維空間的映射；
在所述低維空間采集樣本，利用所述映射將樣本映射到高維空間，形成新的3D人體運(yùn)動(dòng)數(shù)據(jù)。
4.如權(quán)利要求1至3中任一所述方法，其特征在于所述計(jì)算低維變量包括建立高斯過(guò)程隱藏變量模型，并根據(jù)此模型計(jì)算低維變量。
5.如權(quán)利要求4所述的方法，其特征在于所述高斯過(guò)程隱藏變量模型的核矩陣元素用徑向基核函數(shù)表示。
6.如權(quán)利要求1至3中任一所述方法，其特征在于所述根據(jù)低維變量計(jì)算低維空間到高維空間映射的函數(shù)用高斯函數(shù)表示。
7.如權(quán)利要求1至3中任一所述方法，其特征在于所述在低維空間采集樣本采用Metropolis-Hastings采樣算法自動(dòng)采集樣本。
8.如權(quán)利要求1至3中任一所述方法，其特征在于所述在低維空間采集樣本通過(guò)人機(jī)交互方式選擇樣本。
全文摘要
本發(fā)明提供一種高維動(dòng)態(tài)數(shù)據(jù)處理方法。首先計(jì)算高維動(dòng)態(tài)數(shù)據(jù)對(duì)應(yīng)的低維變量；然后計(jì)算低維變量張成的低維空間到高維數(shù)據(jù)所在的高維空間的映射；最后在低維空間采集樣本，利用所述映射將樣本映射到所述高維空間，形成新的高維動(dòng)態(tài)數(shù)據(jù)。本方法應(yīng)用于動(dòng)態(tài)紋理圖像序列方面，獲得更逼真視覺效果且可以處理大多數(shù)自然場(chǎng)景中的動(dòng)態(tài)紋理；應(yīng)用于3D人體運(yùn)動(dòng)捕獲數(shù)據(jù)處理方面，能夠合成用戶指定約束的人體運(yùn)動(dòng)數(shù)據(jù)。
文檔編號(hào)G06T11/00GK101364307SQ20071012012
公開日2009年2月11日 申請(qǐng)日期2007年8月9日 優(yōu)先權(quán)日2007年8月9日
發(fā)明者龐俊彪, 黃慶明, 蔣樹強(qiáng) 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所