本發(fā)明涉及虛擬現(xiàn)實領域，尤其涉及虛擬人運動數據處理領域，用于在虛擬場景中虛擬人的運動表達。

背景技術：

隨著多媒體技術與互聯(lián)網的發(fā)展，人們對以影視和游戲為代表的媒體內容提出了更高的要求。其中以計算機動畫技術為基礎的虛擬現(xiàn)實技術得到了較快的發(fā)展，現(xiàn)在被廣泛應用于影視制作、游戲開發(fā)、醫(yī)學和教育培訓等相關領域，成為了計算機科學研究的熱點方向之一。虛擬人骨骼動畫是現(xiàn)代計算機動畫領域十分流行的技術，隨著現(xiàn)代運動捕獲設備的使用，目前已經能夠較為容易的獲取反映人體運動真實狀態(tài)的三維數據，這些數據有助于提高人體骨骼動畫的真實感，但數量龐大的運動數據給后期的數據調整和編輯帶來困難，因此，需要利用關鍵幀提取技術從大量的運動數據中提取反映人體運動特征的關鍵時間點的數據作為關鍵幀，在動畫合成階段，運用關鍵幀插值算法補充原有的運動數據，合成虛擬人動畫。人體運動數據的關鍵幀序列是整個運動序列的概括表示，是存儲、瀏覽、檢索、合成與編輯等人體運動捕獲數據操作的基礎。

在基于關鍵幀動畫的人體骨骼動畫中，關鍵幀的質量直接影響動畫的真實感，根據運動數據的內容特征快速自適應提取最優(yōu)關鍵幀是關鍵幀提取的關鍵所在。

關鍵幀提取方法最初采用簡單的等間隔采樣方案，此方案忽略了人體的運動特征，造成激烈運動的數據丟失和平緩運動的數據冗余。為了改善關鍵幀提取的質量，研究人員提出了各種自適應的關鍵幀提取方法。例如Lim等人將人體關節(jié)運動簡化為一連串的線性變換，提出了通過簡化運動曲線獲取關鍵幀的方法(Lim,I.S.,Thalmann,D.:Key-posture extraction out of human motion data by curve simplification.In:Proceedings of the 23rd Annual International Conference of the IEEE,Engineering in Medicine and Biology Society,vol.2(2),pp.1167–1169(2001))。Yang等提出了基于分層曲線簡化的關鍵幀提取方案(Yang,T.,Xiao,J.,Wu,F.,Zhuang,Y.:Extraction of keyframe of motion capture data based on layered curve simplification.J.Comput.-Aided Des.Comput.Graph.18(11),1691–1697(2006))，這類方法較容易實施，能夠快速有效的獲取關鍵幀，然而這類方法采用歐拉距離的度量方式，沒能反應數據幀間的真實差別，因而難以保證較高的誤差精度。Liu等人提出一種基于聚類的關鍵幀提取方法(Liu,F.,Zhuang,Y.T.,Wu,F.,et al.:3D motion retrieval with motion index tree.Comput.Vis.Image Underst.92(2),265–284(2003))，基于聚類的算法的運算量會隨著運動序列長度的增加變得非常大，且聚類很難保證所聚類和所選幀為最優(yōu)。有研究人員通過矩陣分解的方法提取運動序列的關鍵幀，如(Huang,K.S.,Chang,C.F.,Hsu,Y.Y.,Yang,S.N.:Keyprobe:a technique for animationkeyframe extraction.Vis.Comput.21(8–10),532–541(2005))，這類方法也具有較大的計算成本，速度較慢。目前最為流行的方法是采用基于優(yōu)化的方法，如Liu等人利用基因算法來提取關鍵幀(Liu X,Hao A,Zhao D.Optimization-based key frame extraction formotion capture animation[J].The visual computer,2013,29(1):85-95.)，這類基于優(yōu)化的算法具有較強的搜索能力，然而其收斂速度容易受到維度間干擾的影響。

技術實現(xiàn)要素：

發(fā)明目的：為了克服現(xiàn)有技術中存在的不足，本發(fā)明提供一種虛擬人運動數據關鍵幀抽取的方法，用于解決原始采集數據難以直接用于虛擬人運動生成的情況。

技術方案：為實現(xiàn)上述目的，本發(fā)明采用的技術方案為：

一種虛擬人運動數據關鍵幀抽取的方法，用于抽取真實人體運動數據中關鍵幀，可用于重構原虛擬人運動序列，減少虛擬人運動數據存儲量，便于進行運動合成等相關編輯操作，包括如下步驟：

步驟一、將虛擬人多維運動數據量化為一維數據；

步驟二、用獲得的一維數據中包含的信息確定初始關鍵幀集合；

步驟三、優(yōu)化初始關鍵幀集合中關鍵幀為最優(yōu)關鍵幀。

進一步地，所述步驟一將虛擬人多維運動數據量化為一維數據，具體包括步驟：

(1.1)確定并選取虛擬人主要運動關節(jié)；

(1.2)由主要運動關節(jié)的數據生成一個一維數據序列。

其中：

N為原始運動數據的維度；

I為原始運動數據的序列長度；

為位于第k幀的第n維數據；

ω為窗口參數；

∈為預設參數。

所述虛擬人主要運動關節(jié)包含通常情況下表達虛擬人運動的基本關節(jié)，為了能夠更準確的表達某些特殊運動，主要關節(jié)也可依據運動表達需求進行調整。生成的一維數據序列包含運動過程整體運動幅度變化的信息。

進一步地，所述步驟二用獲得的一維數據中包含的信息確定初始關鍵幀集合，具體包括步驟：

(2.1)選出一維數據中的所有頂點，將所有頂點分為兩個集合，第一集合包含顯著頂點，第二集合包含其它頂點；其中顯著頂點與多個重要關節(jié)同時運動變化較大點對應，運動變化較大指骨骼關節(jié)角變化較快，當多個關節(jié)運動變化較大就會在MAI中形成較高的頂點；由于多個重要關節(jié)同時運動變化較大點選出作為關鍵幀為行業(yè)公知，因此本發(fā)明中的顯著頂點取自一維數據中的明顯高點，且與多個重要關節(jié)同時變化較大點對應；一般情況下，可通過設定百分位數的方式從所有頂點中選出，依據經驗，通常采用大于等于較大四分位數部分的頂點作為顯著頂點。

(2.2)第一集合顯著頂點的對應幀加上原始運動數據的首尾幀直接選入初始關鍵幀集合；

(2.3)接著，利用現(xiàn)有的初始關鍵幀集合將原始運動數據分段，用已有初始關鍵幀將原始運動數據分段，針對每一分段計算用關鍵幀重構后的運動數據與原始運動數據間的差作為重構誤差信息，根據重構誤差信息為每個分段從第二集合中選出新的初始關鍵幀；

(2.4)所有選出的初始關鍵幀合并構成完整的初始關鍵幀集合。

上述過程中，重構誤差是將原始運動數據和關鍵幀數據轉換為四元數后計算獲得的原始運動與重構運動間的差。

具體的，從第二集合中選出新的初始關鍵幀包含以下過程：

步驟1、判斷利用現(xiàn)有的初始關鍵幀集合獲得的原始運動數據分段的每一段的寬度是否大于δ×e_l×r_wm，其中e _l為給定誤差閾值，r_wm為已有分段寬度與其最大局部誤差比值的平均值，δ為給定調節(jié)參數；將大于上述標準的分段進行步驟2中的處理，其余分段進行步驟3中的處理；

步驟2、從第二集合中選出與待處理的分段對應的相對顯著頂點，所述相對顯著頂點為從待處理的分段內除顯著頂點以外的頂點的一維數據中選出大于等于較大四分位數部分的頂點，利用相對顯著頂點將待處理的分段進一步細分成寬度滿足于小于等于δ×e_l×r_wm要求的分段，然后將細分后獲得的分段進行步驟3中的處理；

步驟3、依據和三個參數的值在給定閾值區(qū)間內投票來決定每個分段中應選擇的關鍵幀數量，按照如下方式進行投票：

對應每個參數設置各自的閾值區(qū)間，閾值區(qū)間的形式按照從小到大的a₁，a₂和a₃3個區(qū)間點對應形成(-∞，a₁]、(a₁,a₂]、(a₂,a₃]、(a₃，+∞)4段，a₁，a₂和a₃的值根據參數分別設置；以0、1、2、3作為4個投票選項，將參數值與各自的閾值區(qū)間進行比較，當參數值落在(-∞，a₁]則投票0，落在(a₁,a₂]內則投票1，落在(a₂,a₃]內則投票3，落在(a₃，+∞)則投票4；按照上述三個參數各自的投票結果采取少數服從多數的原則選出最終結果，當投票選項的票數相同時選取票數相同的投票選項中的較小值作為最終結果；按照最終結果決定每個分段中應選擇的關鍵幀的數量；

其中：MLRE為每一分段的最大局部重構誤差，ALRE為每一分段的累加重構誤差，LSW為每一分段寬度，r_sm為各個分段的累加重構誤差與對應分段的最大局部重構誤差比值的平均值；然后針對每個分段，從第二集合中選出使得當前處理的該分段的重構誤差最小的關鍵幀。

進一步地，所述步驟三優(yōu)化初始關鍵幀集合中關鍵幀為最優(yōu)關鍵幀，具體包括步驟：

(3.1)在完整的初始關鍵幀集合中，在當前關鍵幀的前一關鍵幀和后一關鍵幀所形成的當前區(qū)間內通過局部搜索的方法調整當前關鍵幀的位置，使得當前區(qū)間內的運動序列的重構誤差為最小，依次處理所有初始關鍵幀后獲得新的初始關鍵幀集合；

(3.2)重復優(yōu)化過程直到優(yōu)化過程收斂到所有關鍵幀位置不再變化。

優(yōu)化某一幀的時候會影響其前一幀的優(yōu)化結果，有可能使得前一幀的優(yōu)化結果發(fā)生變化，但這一過程通過多次循環(huán)進行后最終將會收斂，所有關鍵幀都將穩(wěn)定不變，即獲得最優(yōu)關鍵幀組合。

有益效果：

本發(fā)明公開了一種虛擬人運動數據關鍵幀抽取的方法，總體上可認為是兩個步驟，首先利用運動數據本身的信息獲取初始關鍵幀，然后對初始關鍵幀進行優(yōu)化獲得最優(yōu)關鍵幀結合。本方法采用運動數據分析與優(yōu)化相結合的方法，使得計算速度較快，同時又能以盡量少的關鍵幀滿足誤差要求。

該方法獲取的關鍵幀數據可用于虛擬人運動中數據壓縮存儲、瀏覽、檢索、合成與編輯等后續(xù)操作。

附圖說明

圖1為本發(fā)明虛擬人運動數據關鍵幀抽取方法流程圖；

圖2為本發(fā)明將虛擬人多維關節(jié)運動數據量化為一維數據的步驟流程圖；

圖3為本發(fā)明用獲得的一維數據中包含的信息確定初始關鍵幀集合的步驟流程圖；

圖4為本發(fā)明優(yōu)化初始關鍵幀集合中關鍵幀為最優(yōu)關鍵幀的步驟流程圖。

具體實施方式

下面結合附圖對本發(fā)明作更進一步的說明。

本發(fā)明為了快速抽取虛擬人運動數據的關鍵幀，首先充分利用運動數據本身的信息，將多維數據量化為包含整體運動變化程度信息的一維數據，然后利用這一信息并根據誤差要求生成一個初始關鍵幀集合，最后再通過優(yōu)化方法使得所獲得的關鍵幀為最優(yōu)關鍵幀集合。具體實施方法如圖1所示，包括以下步驟：

步驟101、將虛擬人多維運動數據量化為一維數據。

原始運動數據為多維數據，并不容易由這些數據直接確定關鍵幀，本方法由原始運動數據轉換為一個一維數據，能夠更加直接的表現(xiàn)出運動中包含的變化信息，更加便于提取所需關鍵幀集合。

步驟102、用獲得的一維數據中包含的信息確定初始關鍵幀集合。

在給定誤差條件下，通常很難一次性獲得較好的初始關鍵幀，本方法中充分利用獲得的一維數據信息，采用兩次操作先選出一部分較容易確定的關鍵幀，在滿足誤差要求前提下，再利用已有關鍵幀盡量少的選出其余所需關鍵幀。

步驟103、優(yōu)化初始關鍵幀集合中關鍵幀為最優(yōu)關鍵幀。

通過初始關鍵幀重構后的運動數據與原始運動數據的差已經相對較小，但仍有進一步減少的空間，通過局部搜索的方法進一步對所有關鍵幀在小范圍內調整能夠獲得更優(yōu)的關鍵幀集合。

為了更好的體現(xiàn)并利用原始運動數據中包含的信息來選取關鍵幀，本發(fā)明將虛擬人多維運動數據量化為一維數據，如圖2所示，包括如下步驟：

步驟201、確定并選取虛擬人主要運動關節(jié)。

真實人體運動數據包含很多關節(jié)的運動軌跡，然而表達運動變化并不需要所有關節(jié)的運動數據，如手指等關節(jié)變化的數據多數情況下對人體運動變化影響不大，因此只需選出能夠決定運動變化的主要關節(jié)數據來生成一維數據。

步驟202、由主要運動關節(jié)的數據生成一個一維數據序列。

具體的，對于維度為N、序列長度為I的原始運動數據，一維運動數據可由如下公式獲得：

其中：

為位于第k幀的第n維數據，

ω為窗口參數，

∈為預設參數，用來過濾過于小的值，可依據經驗賦值，也可直接設為零。

在生成上述一維數據后，本發(fā)明根據預先給出的誤差要求，利用獲得的一維數據確定初始關鍵幀集合，如圖3所示，包括如下步驟：

步驟301、平滑處理獲得的一維數據后選出其所有頂點，將所有頂點分為兩個集合，第一集合包含顯著頂點，第二集合包含其它頂點；

一維數據頂點對應局部區(qū)域內相對較大的運動變化，顯著頂點通常是某些重要關節(jié)的運動同時發(fā)生較大變化，這些點是運動中的特殊點，應該被作為關鍵幀被選出。

步驟302、第一集合中顯著頂點對應幀加上原始運動數據的首尾幀直接選入初始關鍵幀集合。

步驟303、用已有初始關鍵幀將原始運動數據分段，針對每一分段計算用現(xiàn)有的初始關鍵幀重構后的運動數據與原始運動數據間的差作為重構誤差信息，根據重構誤差信息為每個分段從第二集合中選出新的初始關鍵幀；

利用已獲取的初始關鍵幀將整體運動數據分為多個小段，在每一小段中再選出合適的關鍵幀要比整體上考慮關鍵幀選擇容易。為每一小段計算重構誤差將作為下一步選擇關鍵幀的主要信息之一。根據重構誤差信息選出新的初始關鍵幀分為兩個階段：

第一步，首先找出寬度過大的分段，并從第二集合中選擇新的關鍵幀對寬度過大的分段進行拆分，判斷分段是否過大的依據為其寬度是否大于δ×e_l×r_wm，其中e_l為給定誤差閾值，用于判斷每個分段的整體誤差是否超過給定值，r_wm為已有分段寬度與其最大局部誤差比值的平均值，δ為給定調節(jié)參數；拆分后的分段以及原先寬度符合要求的分段形成新的分段形式；

以該段最大單幀誤差，寬度，累加誤差三方面作為衡量標準，投票方式確定應選去多少幀；由于之前已經對與寬度過大的區(qū)段進行過拆分，此處選出的新幀數量不會大多，通常依據誤差閾值基本確定在3幀內；確定需要多少幀后就再從第二集合中選出合適關鍵幀。

第二步，在獲得新的分段形式的基礎上，針對每個分段是否需要選取新的關鍵幀以及應該選出多少新的關鍵幀都需要根據重新計算每個分段的重構誤差來確定：

具體是依據和三個參數的值在給定閾值區(qū)間內投票來決定每個分段中應選擇的關鍵幀數量；具體按照如下方式進行投票：

對應每個參數設置各自的閾值區(qū)間，閾值區(qū)間的形式按照從小到大的a₁，a₂和a₃3個區(qū)間點對應形成(-∞，a₁]、(a₁,a₂]、(a₂,a₃]、(a₃，+∞)4段，a₁，a₂和a₃的值根據參數分別設置；以0、1、2、3作為4個投票選項，將參數值與各自的閾值區(qū)間進行比較，當參數值落在(-∞，a₁]則投票0，落在(a₁,a₂]內則投票1，落在(a₂,a₃]內則投票3，落在(a₃，+∞)則投票4；按照上述三個參數各自的投票結果采取少數服從多數的原則選出最終結果，當投票選項的票數相同時選取票數相同的投票選項中的較小值作為最終結果；按照最終結果決定每個分段中應選擇的關鍵幀的數量；

由于之前已經對與寬度過大的區(qū)段進行過拆分，此處選出的新幀數量不會太多，通常依據誤差閾值基本確定在3幀內；然后針對每個分段，從第二集合中選出使得當前處理的該分段的重構誤差最小的關鍵幀。

其中：

MLRE為每一分段的最大局部重構誤差，即在該分段內重構誤差最大的幀的重構誤差；

ALRE為每一分段的累加重構誤差，即該分段內所有幀各自的重構誤差之和；

LSW為每一分段寬度，即每一分段包含的總幀數；

r_sm為各個分段的累加重構誤差與對應分段的最大局部重構誤差比值的平均值。

上述過程中重構誤差相關計算公式如下：

原始運動數據中第k幀數據可表達為S_k＝[p_k,0,q_k,0,...,q_k,j,...q_k,J]，

其中：

為跟關節(jié)的位置，表示三維位置空間；

為跟關節(jié)的轉動數據，表示三維方向空間；

為關節(jié)j的轉動數據；

J為總體關節(jié)數；

重構后的運動數據通過四元數插值的方式獲得，具體通過下列2個公式，用K₁和K₂幀的原始運動數據插值獲得第k幀的重構后的運動數據：

其中：

u_k為第k幀對應的插值參數，K₁<k<K₂；

slerp()為插值函數spherical linear interpolation的簡稱；

θ為兩個四元數q_K1,j,q_K2,j間的夾角。

重構后的運動數據的每一幀與對應的原始運動數據的差為每一幀的重構誤差

可用原始運動數據與重構后的運動數據在第k幀處的距離進行表達：

其中：

o表示原始運動數據；

r表示重構后的運動數據；

表示原始運動數據在第k幀處的跟關節(jié)位置；

表示重構后的運動數據在第k幀處的跟關節(jié)位置；||·||表示取模；

ω_j表示對應關節(jié)的給定權值；

表示原始運動數據中關節(jié)j的轉動數據；

表示重構后的運動數據中關節(jié)j的轉動數據；

的上標-1表示求逆；

所有幀的重構誤差的平均和為整個序列的重構誤差Do-r，可用原始運動數據與重構后的運動數據的整體誤差進行表達：

其中：

I為運動數據的總體幀數。

步驟304、所有選出的初始關鍵幀合并構成完整的初始關鍵幀集合。

為了最終獲得最優(yōu)的關鍵幀集合，本發(fā)明優(yōu)化初始關鍵幀集合中關鍵幀為最優(yōu)關鍵幀，如圖4所示，包括如下步驟：

步驟401、用每一幀的前一幀與后一幀間的運動數據依次優(yōu)化除首尾幀外的所有關鍵幀；具體的，對除首尾幀外的任意一個關鍵幀作為當前關鍵幀，在其前一關鍵幀與后一關鍵幀包含的原始運動數據所形成的運動序列內的幀，采用局部搜索的方法判斷選擇當前幀是否使得該運動序列的重構誤差為最小，若選擇其它幀后獲得的重構誤差更小則該幀替換當前關鍵幀為新關鍵幀；接著按照上述方法再確定新關鍵幀的后一關鍵幀是否為最優(yōu)，這樣可以依次完成所有關鍵幀的判斷與替換。

步驟402、重復優(yōu)化過程直到優(yōu)化過程收斂到所有關鍵幀位置不再變化。

當前關鍵幀的后一關鍵幀發(fā)生變化則又會反過來影響前一關鍵幀的結果，因此優(yōu)化過程需要重復進行，最終所有幀都將固定不再變化，即獲得所需的最優(yōu)關鍵幀。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出：對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。