專利名稱：用于人體運動捕捉數(shù)據(jù)的動態(tài)時空耦合降噪處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人體運動捕捉技術(shù)領(lǐng)域，特別涉及光學人體運動捕捉數(shù)據(jù)中噪 聲數(shù)據(jù)和缺失數(shù)據(jù)的處理方法。
背景技術(shù)：
近年來，人體運動數(shù)據(jù)獲取與重構(gòu)技術(shù)逐漸發(fā)展成為虛擬現(xiàn)實、計算機視 覺、影視動畫制作等領(lǐng)域一種重要的數(shù)據(jù)獲取手段，是數(shù)學、計算機圖形學、 圖像處理、數(shù)據(jù)處理等多個學科相互滲透、相互交叉的新興學科，拓展了計算 機應用領(lǐng)域，豐富了計算機動畫、虛擬現(xiàn)實領(lǐng)域研究內(nèi)容，具有重要的理論價 值。同時，人體運動數(shù)據(jù)獲取與重構(gòu)技術(shù)還具有廣泛的實際應用價值，可應用 于工業(yè)、農(nóng)業(yè)、交通、文教衛(wèi)生和體育等許多行業(yè)，特別是在醫(yī)學、體育科學 研究、運動訓練指導、現(xiàn)代影視、動畫和游戲制作等領(lǐng)域的應用，有重要的作 用和意義。因此，提高運動捕捉的精度、效率，降低設備成本，對推動影視制 作、游戲娛樂、動漫產(chǎn)業(yè)的快速發(fā)展，構(gòu)建相互支撐的動漫產(chǎn)業(yè)鏈，促進國家 文化產(chǎn)業(yè)發(fā)展進而帶動國民經(jīng)濟增長具有重要的作用和深刻意義。人體運動數(shù)據(jù)獲取與重構(gòu)技術(shù)作為人體運動數(shù)據(jù)最重要獲取源的運動捕捉 系統(tǒng)正受到越來越多的重視，按工作原理進行分類，目前常用的方式主要有 機械式、聲學式、電磁式以及光學式。與其它運動捕捉方式相比，光學運動捕 捉具有數(shù)據(jù)獲取方便、采樣精度、頻率高、使用范圍廣等優(yōu)點。光學運動捕捉 系統(tǒng)是目前運用相對廣泛的一種人體運動捕捉系統(tǒng)，該類系統(tǒng)一般基于計算機 視覺原理，對運動物體上特定標志或發(fā)光點進行監(jiān)視和跟蹤并進行數(shù)據(jù)處理， 處理后的數(shù)據(jù)一般是以點位置為基礎的數(shù)據(jù)流。通常，人體光學運動捕捉系統(tǒng) 設備包括高速紅外攝像機、視頻釆集卡、視頻控制器、圖形工作站和反射式特 征標記球，拍攝速率一般達到每秒60幀以上。光學運動捕捉系統(tǒng)的處理過程分 為三個主要部分原始數(shù)據(jù)獲取，包括對多個攝相機進行定標，設置表演者標 記點，圖像采集和三維空間數(shù)據(jù)重構(gòu)；對采集的原始數(shù)據(jù)進行數(shù)據(jù)處理，包括 噪聲數(shù)據(jù)處理和缺失數(shù)據(jù)處理；最后是人體運動重構(gòu)，即使用運動數(shù)據(jù)驅(qū)動虛 擬人體模型。由于運動捕捉設備和圖像多目匹配算法等方面固有的原因，導致獲取的特 征標記點的三維空間位置出現(xiàn)誤差和偽數(shù)據(jù)，統(tǒng)稱為噪聲數(shù)據(jù)。例如，特征標記點的滯留投影、特征標記點的重疊投影、攝像機采集圖像的時序誤差以及圖 像多目匹配誤差均會導致采集到的運動數(shù)據(jù)出現(xiàn)噪聲。另一方面，在捕捉目標 運動過程中，經(jīng)常會出現(xiàn)特征標記點被遮擋或特征標記點重疊的情況，導致獲 取的人體運動數(shù)據(jù)缺失，而要實現(xiàn)符合人體拓撲結(jié)構(gòu)的運動模型重構(gòu)必須依賴 完整、正確的運動數(shù)據(jù)。因此，為了恢復數(shù)據(jù)的完整性、準確性和連續(xù)性，設 計噪聲數(shù)據(jù)和缺失數(shù)據(jù)檢測和處理方法，對數(shù)據(jù)進行處理十分必要。在傳統(tǒng)的方法中，進行數(shù)據(jù)處理有兩大類方法。 一類是從時間序列角度， 跟蹤每一個特征標記點的軌跡，針對特征點軌跡建立曲線模型，并在軌跡曲線 基礎上進行噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的恢復。這種方法符合運動捕捉數(shù)據(jù)的 主要特征，處理效率較高，處理的過程中保證了數(shù)據(jù)的連續(xù)性。然而也存在固 有的缺陷，即該方法要求數(shù)據(jù)的起始幀必須正確，通常需要進行必要的手工初 始化工作。其次，對于運動過程中的特征標記點軌跡重合的情況即兩個不同特 征標記點之間的距離過小，跟蹤會出現(xiàn)錯誤，需要手動糾正。此外，這種方法 還忽略了三維空間中的人體約束關(guān)系。因而，這種方法無論在處理效率和精度 上均難以達到令人滿意的效果。另一類方法是在空間角度，基于人體運動學和 動力學原理，建立人體運動學和動力學方程，并根據(jù)人體拓撲結(jié)構(gòu)進行優(yōu)化。 這種方法的好處是結(jié)合人體運動的物理特性，提高數(shù)據(jù)處理的準確性，局限性 在于處理過程中計算量往往較大，從而導致處理效率較低，同時忽略了時間序 列上的有效信息。發(fā)明內(nèi)容本發(fā)明的目的在于通過對以上兩類方法優(yōu)點和局限性的分析，采用優(yōu)化、 協(xié)調(diào)時間序列中提取的連續(xù)性信息和三維空間中提取的人體拓撲結(jié)構(gòu)信息來提 高數(shù)據(jù)處理的質(zhì)量和效率，設計一種綜合協(xié)調(diào)時域約束條件和空域約束條件的， 具有高處理效率、良好魯棒性的數(shù)據(jù)處理方法。本發(fā)明的技術(shù)解決方案是這樣實現(xiàn)的一種用于人體運動捕捉數(shù)據(jù)的動態(tài)時空耦合降噪處理方法，包括將基于〔++和openGL圖形庫開發(fā)的光學人體運動捕捉數(shù)據(jù)處理系統(tǒng)裝入計算機和通過 人體光學運動捕捉系統(tǒng)設備獲取原始數(shù)據(jù)、對原始數(shù)據(jù)的處理和人體運動重構(gòu) 的步驟，其特征在于還包括以下步驟(1) 針對原始采集的運動數(shù)據(jù)中存在的噪聲數(shù)據(jù)和缺失數(shù)據(jù)，建立基于備 選語義塊的動態(tài)脈沖噪聲模型；(2) 、基于剛性結(jié)構(gòu)匹配算法生成備選語義塊，并定義為五種基本匹配類 型，即線段型結(jié)構(gòu)、三角形結(jié)構(gòu)、自由四邊形結(jié)構(gòu)、對角四邊形結(jié)構(gòu)和剛性四 邊形結(jié)構(gòu)；(3) 、定義語義塊和備選語義塊，并將所有特征標記點按照人體結(jié)構(gòu)特征 劃分為ll個語義塊，包括頭、胸、腰、左臂、右臂、左手、右手、左腿、右腿、 左腳和右腳，其中頭、胸、腰、左手、右手、左腳和右腳為剛性四邊形結(jié)構(gòu)； 左臂、右臂、左腿和右腿為線段型結(jié)構(gòu)；(4) 、定義語義節(jié)點及其各屬性參數(shù)，并基于該定義建立22個語義節(jié)點的人體語義模型描述人體柘撲結(jié)構(gòu)關(guān)系，語義節(jié)點的屬性參數(shù)包括序號、名稱、 度、級、父節(jié)點、長度、方向和位置，其中序號、名稱、度、級和父節(jié)點定義 為從屬關(guān)系屬性；長度、方向和位置定義為空間位置屬性；(5) 、根據(jù)人體語義模型構(gòu)造三種類型的語義約束條件，即距離約束、角 度約束和方向約束，判定歩驟(2)中生成的備選語義塊是否符合約束條件；根 據(jù)判定結(jié)果分別返回是或否兩種狀態(tài)；對于缺失數(shù)據(jù)，賦值為錯誤標識值e，利 用它將缺失數(shù)據(jù)轉(zhuǎn)化為噪聲數(shù)據(jù)，為將后續(xù)處理統(tǒng)一為降噪處理提供必要前提；(6) 、生成最合理的人體結(jié)構(gòu)，即最合理的一組語義塊；(7) 、建立基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型，將每一個語義塊都以三維空間中的位置和姿態(tài)來表述，其中剛性四邊形結(jié)構(gòu)的 位置可以由中心點p(c,s)來定義，姿態(tài)可以由一個法向量w(l^，o和一個指向向量o(A,z^A)來確定；線段型結(jié)構(gòu)可以由中心點P(C^)和一個指向向量Z)(A,A,Z)J來定義，使每一幀中每一個語義塊由6個或9個參數(shù)來表示；在時域范圍內(nèi)，所有幀中對應的參數(shù)的值構(gòu)成一個時間序列，每個語義塊可以由6個或9個子時間序列來表示；將所有語義塊都使用子時間序列來表示，就構(gòu)造 了基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型；(8) 、將5點線性平滑算法應用到步驟(7)所建立的時間序列上，實現(xiàn)噪 聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)處理。所述的重構(gòu)處理，是將處理后的各語義塊的子序列在各時間點上的值反向 重構(gòu)為語義塊在三維空間中的位置和姿態(tài)，從而得到處理后的運動數(shù)據(jù)。與現(xiàn)有技術(shù)相比較，本發(fā)明的優(yōu)點是顯而易見的，主要表現(xiàn)在通過優(yōu)化協(xié) 調(diào)時間序列中提取的連續(xù)性信息和三維空間提取的人體拓撲結(jié)構(gòu)信息來提高數(shù) 據(jù)處理的質(zhì)量和效率，并使其獲得了良好的魯棒性。


圖1本發(fā)明的流程框圖。圖2特征標記點語義塊劃分示意圖。圖3三幀不同數(shù)據(jù)中語義塊"腰"的備選語義塊截圖。圖4木發(fā)明中定義的5類基本匹配關(guān)系的結(jié)構(gòu)示意圖。圖5剛性結(jié)構(gòu)匹配方法示意圖。圖6本發(fā)明中定義的22節(jié)點語義模型的空間關(guān)系和拓撲結(jié)構(gòu)關(guān)系圖。 圖7方向約束示例示意圖，(a)為肩部點判別，(b)為左右腳判別。 圖8剛性四邊形語義塊的位置和姿態(tài)示意圖。圖9 一組動作中頭部語義塊的中心點p(c,。所生成的序列的處理前狀態(tài) (含峰值的噪聲序列)和處理后的狀態(tài)示意圖。圖10 —組舞蹈動作運動數(shù)據(jù)處理的截圖，左部為處理前的特征標記點數(shù) 據(jù)，右部為處理后的結(jié)果。圖11運動數(shù)據(jù)中部分幀的處理結(jié)果，自左而右分別為跳越、跳繩、舞蹈1、 舞蹈2和走的動作。在圖中，1、原始運動數(shù)據(jù)的獲取及初期動態(tài)噪聲模型的建立，2、剛性結(jié) 構(gòu)匹配模型的建立，3、備選語義塊的定義，4、人體語義模型的定義，5、語義 約束條件的建立，6、最合理人體結(jié)構(gòu)語義模型的建立，7、動態(tài)時間序列的脈 沖噪聲模型的建立，8、噪聲數(shù)據(jù)的濾除及缺失數(shù)據(jù)的重構(gòu)。
具體實施方式
如圖l一圖11所示。 一種用于光學人體運動捕捉數(shù)據(jù)中噪聲和缺失數(shù)據(jù)處 理的動態(tài)時空耦合處理方法，包括原始數(shù)據(jù)獲取、原始數(shù)據(jù)處理和人體運動重 構(gòu)的步驟，旨在針對原始采集的運動數(shù)據(jù)中存在的噪聲數(shù)據(jù)和缺失數(shù)據(jù)，建立 基于備選語義塊的動態(tài)脈沖噪聲模型，其特征在于還包括基于剛性結(jié)構(gòu)匹配的 備選語義塊生成、基于語義節(jié)點的人體拓撲結(jié)構(gòu)模型的建立、基于空間語義約 束的最合理人體結(jié)構(gòu)的生成、基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈 沖噪聲模型建立、以及噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)的步驟。在本發(fā)明中，為建立人體拓撲結(jié)構(gòu)的模型，假設(1)人體結(jié)構(gòu)是剛性鉸接結(jié)構(gòu)；(2)運動 捕捉過程中，特征標記點位置符合人體剛性鉸接結(jié)構(gòu)關(guān)系。所述各步驟的具體 內(nèi)容包括1、基于剛性結(jié)構(gòu)匹配的備選語義塊生成的步驟，其中包括兩個基本定義。 定義1語義塊固定在同一個人體剛性結(jié)構(gòu)上的特征標記點的組合成為語義塊。 如附圖2所示，將所有特征標記點分為ll個語義塊頭、胸、腰、左臂、右臂、 左手、右手、左腿、右腿、左腳和右腳。定義2備選語義塊在采集的某一幀 原始運動數(shù)據(jù)中，有可能屬于語義塊的特征標記點的組合。如附圖3所示為三 幀不同數(shù)據(jù)中語義塊"腰"的備選語義塊?；谝陨蟽蓚€基本定義，定義了 5 類基本匹配關(guān)系線段匹配、三角形匹配、自由四邊形匹配、對角四邊形匹配 和剛性四邊形匹配以適應不同語義塊的匹配，如附圖4所示。首先，選取一組標準姿態(tài)的靜態(tài)模版數(shù)據(jù)作為匹配的參照，通常選取直立、雙臂伸展姿態(tài)作為 模版，如圖2所示，并且模版數(shù)據(jù)與運動數(shù)據(jù)采集在同一次特征標記點穿戴中完成，以保證匹配的精確性。以圖5所示的剛性四邊形為例，由語義塊生成備選語義塊的步驟如下歩驟1:取模版中處于同一語義塊P上的特征標記點P,，&，&,P,;步驟2:計算每兩點之間距離d,，d2,d,A,d;A;步驟3:設定誤差允許范圍"以適應剛體形狀偏差；步驟4:在給定某一幀運動數(shù)據(jù)中搜索并計算，如果存在一組點P,，,P/,V,P,'， 滿足方程(1)，則認為P'是語義塊P的備選語義塊。在給定的一幀運動數(shù)據(jù)中， 某語義塊的備選語義塊個數(shù)N,可能為0 (特征標記點缺失)，也可能大于1 (其 他類似結(jié)構(gòu))，主要取決于運動數(shù)據(jù)質(zhì)量和誤差允許范圍"|d,'-i = 1,2,3,4,5,6 (1)其中，d,'是與d,相對應的點之間的距離。步驟5:循環(huán)步驟4，搜索所有符合條件的備選語義塊。同理適用于其他匹配類型，將匹配應用到所有語義塊，生成所有語義塊的備 選語義塊。此外，對于剛性四邊形匹配，有同一剛性結(jié)構(gòu)上的三個點可見而缺失另外一 個點的情況，可根據(jù)模版和剛性結(jié)構(gòu)關(guān)系在局部坐標系內(nèi)重構(gòu)缺失點。2.基于語義節(jié)點的人體拓撲結(jié)構(gòu)模型的建立的步驟，包括定義3和定義4， 其中定義3語義節(jié)點描述人體拓撲結(jié)構(gòu)的最小單元，由以下屬性參數(shù)表征序號節(jié)點編號，如圖6所示，指定根節(jié)點"序號"為l;名稱節(jié)點物理標識；度該節(jié)點的子節(jié)點的個數(shù)，如根節(jié)點度為3;級該節(jié)點與根節(jié)點之間的節(jié)點個數(shù)(包括該節(jié)點本身)，特別指定根節(jié)點 "級"為0;父節(jié)點該節(jié)點所從屬的節(jié)點的序號。特別指定根節(jié)點"父節(jié)點"為0;長度該節(jié)點至其父節(jié)點的距離。特別指定根節(jié)點"長度"為0.0cm;方向該節(jié)點父節(jié)點到該節(jié)點指向的單位向量。特別指定根節(jié)點"方向"為 "o =(0.0,0.0,0.0);位置節(jié)點空間位置，可根據(jù)根節(jié)點"位置"、"長度"和"方向"參數(shù)計算 得到。根節(jié)點"位置"須初始化；其中"序號"、"名稱"、"度"、"級"、"父節(jié)點"定義謂之從屬關(guān)系屬性，"長 度"、"方向"和"位置"定義謂之空間位置屬性。定義4語義模型由所有語義節(jié)點組成的樹型結(jié)構(gòu)模型。基于上述定義3的22節(jié)點語義模型，用以分別確定語義模型的從屬關(guān)系屬 性和空間位置屬性。3.基于空間語義約束的最合理人體結(jié)構(gòu)的生成的步驟，其中依據(jù)人體物理結(jié)構(gòu)特征分析和語義模型基礎來構(gòu)造一系列語義約束條件，旨在判斷備選語義塊是否滿足約束條件，滿足返回"是"，否則返回"否"。其約束條件為(1) 距離約束判斷兩相鄰備選語義塊中心之間距離與相應標準語義塊中 心間距離相比是否在誤差允許范圍之內(nèi)，如果是返回"是"，反之返回"否"。(2) 角度約束判斷兩相鄰備選語義塊之間夾角與相應標準語義塊間夾角 相比是否在誤差允許范圍之內(nèi)，如果是返回"是"，反之返回"否"。(3) 方向約束判斷兩相鄰備選語義塊之間方向關(guān)系與相應標準語義塊間 方向即規(guī)范化向量關(guān)系相比是否相同，如果是返回"是"，反之返回"否"。如 圖7所示，(a)為左右肩點與胸部四點方向判定關(guān)系，向量玩與平面p,，s,p,法 向方向一致則返回"是"，表示&為左肩點，反之為右肩點；(b)為左右腳的結(jié) 構(gòu)分辨，向量玩與平面p"p"p,法向方向一致為左腳，反之為右腳。為建立統(tǒng)一的噪聲模型，對于備選語義塊為空的情況，針對三種判定條件，分別制定錯誤標識值e，錯誤標識值e是一個能夠被系統(tǒng)明顯識別的值。距離約 束e謂Gcm;角度約束e-360。；方向約束^U，同時，語義約束可以實現(xiàn)運動數(shù) 據(jù)的自動初始化，無須將運動數(shù)據(jù)的起始幀進行手工標定。經(jīng)過語義約束可以得到一組滿足所有語義約束條件的備選語義塊，稱為最合 理人體結(jié)構(gòu)。4.基于語義塊動態(tài)時間序列的脈沖噪聲模型建立的步驟，其中，在經(jīng)過上述方 法步驟處理之后，對于大多數(shù)幀數(shù)據(jù)，能夠正確識別出最合理結(jié)構(gòu)中的語義塊， 但是，仍然存在噪聲和缺失。對于缺失數(shù)據(jù)，已進行了錯誤值標示處理，因此 將缺失數(shù)據(jù)轉(zhuǎn)化為突變的噪聲值。在此基礎上，可構(gòu)造一種基于語義塊位置和姿態(tài)的噪聲脈沖模型。如圖8所示，以剛性四邊形語義塊為例，每一個語義塊 都可以由三維空間中的位置和姿態(tài)來表征；其中位置可以由中心點p",/;，o來定義(可選取其中一條對角線中點替代)，姿態(tài)可以由一個法向量W^,K,乂)和一個指向向量D(AA,化)來確定。這樣，每一幀中每一個語義塊可以由9個參數(shù)來 表征；在時域范圍內(nèi)，所有幀中對應的參數(shù)的值構(gòu)成一個時間序列，每一個語 義塊可以由9個時間序列來表征。將所有語義塊都用時間序列來表示，就構(gòu)造 了基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型，如圖9所示，分別為某一語義塊的中心點P(C,。所生成的噪聲模型。經(jīng)實際分析，該噪聲模 型符合脈沖噪聲模型特征，因此可以使用脈沖噪聲處理方法進行處理。同理， 對于其他類型的匹配關(guān)系，亦可相應地設置不同的參數(shù)建立相應的脈沖噪聲模 型。5. 噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)步驟，其中使用了 5點線性平滑算法對每一個子序列進行降噪處理，平滑算法可以由公式(2)來表示其中x(")為待處理的源序列，w( 為;c(W的權(quán)重系數(shù)，并且Z 是平 滑范圍，此處取"2， ；^)為處理后的序列。 "'"圖9顯示了某一語義塊的中心點戶",^/^所生成的序列的處理前狀態(tài)(含峰值的噪聲序列)和處理后的狀態(tài)，實驗表明，5點線性平滑算法能夠有效地實現(xiàn)脈沖噪聲模型的降噪處理。6. 將降噪處理后的序列反向重構(gòu)為語義塊在三維空間中的位置和姿態(tài)，實現(xiàn) 運動捕捉數(shù)據(jù)的噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)處理。圖IO所示為某一組動 作的運動數(shù)據(jù)處理的實驗結(jié)果，左部為處理前的特征標記點數(shù)據(jù)，右部為處理 后的結(jié)果。圖ll顯示了運動數(shù)據(jù)中部分幀的處理結(jié)果，自左而右分別為跳越、跳繩、舞蹈l、舞蹈2和走的動作。當采集的原始數(shù)據(jù)滿足如下條件時(1) 采集的運動數(shù)據(jù)同一特征標記點連續(xù)缺失幀數(shù)小于10;(2) 同一剛性結(jié)構(gòu)體上連續(xù)缺失兩個以上特征標記點的幀數(shù)小于10;本發(fā) 明中提出的數(shù)據(jù)處理方法能夠?qū)崿F(xiàn)所有幀數(shù)據(jù)的準確處理，處理率達到100%。下面結(jié)合附圖中的實例，以一組32特征標記點的舞蹈動作運動數(shù)據(jù)為數(shù)據(jù) 源，對本發(fā)明的具體實施方式
作進一步闡述。首先，通光學捕捉系統(tǒng)設備采集數(shù)據(jù)為300幀，時間持續(xù)約5秒，采樣頻 率60fps。然后按本發(fā)明所提出的方法在一臺CPU主頻為3. 0GHz，內(nèi)存1G的PC 機上實現(xiàn)。操作系統(tǒng)為WindowsXP。基于0++語言和0penGL圖形庫開發(fā)光學人 體運動捕捉數(shù)據(jù)處理系統(tǒng)，實例驗證數(shù)據(jù)處理結(jié)果。具體實施步驟為步驟l:采集原始數(shù)據(jù)和模版數(shù)據(jù)。原始數(shù)據(jù)存儲格式如下FRAME1MARKER0 -268. 434253 -140. 386279 1649. 468816 MARKER1 -265.47517 200.876734 1408.155767 MARKER2 -373.405425 -232.048548 1400.100957MARKER3 -216.285255 -32.192661 1366.558122FRAME2其中FRAMEn表示為第n幀數(shù)據(jù)MARKERm表示第m個特征標記點，隨后的三個數(shù)分別表示其x， y， z坐標， 單位謹。手工標定模版數(shù)據(jù)中特征標記點序號。步驟2:載入模版數(shù)據(jù)，并計算生成標準語義塊和標準語義模型。所有32個 特征標記點被劃分為ll個標準語義塊，如圖2所示，其中，語義塊頭、胸、左 手、右手、腰、左腳和右腳為剛性四邊形結(jié)構(gòu)，左臂、右臂、左腿和右腿四個 語義塊為線段型結(jié)構(gòu)。步驟3:載入運動數(shù)據(jù)。步驟4:循環(huán)所有幀數(shù)據(jù)，循環(huán)所有語義塊，應用剛性結(jié)構(gòu)匹配算法，生成 每一個語義塊的所有備選語義塊，并存儲為備選語義塊序列。此過程可用偽碼 描述為FOR i=l to nFrameFOR j=l to 11A=RIGIDMATCHING (j) ADD A TO SEQUENCE[i][j]歩驟5:根據(jù)人體物理結(jié)構(gòu)特性和語義模型，構(gòu)造發(fā)明內(nèi)容中所述的三種類 型的語義約束條件。并應用約束條件檢驗備選語義塊序列中的各個元素，得到 最合理的一組語義塊。例如塊"胸"和塊"腰"中心點之間的距離在運動過程中不會發(fā)生較大變 化，定義誤差允許范圍，判斷這兩部分之間的距離，與標準語義模型相比較， 是否滿足約束條件。同時塊"胸"處于塊"腰"的法向正向一側(cè)，構(gòu)造方向約束條件，判斷備選語義塊中的元素是否滿足條件。同理，構(gòu)造其他語義約束條件。綜合各語義約束條件，最終得到一組具有最合理相互關(guān)系的備選語義塊，將 其作為下一步將要建立的脈沖噪聲模型的基礎。步驟6:按照發(fā)明內(nèi)容第4節(jié)所述方法，針對各語義塊的位置和姿態(tài)，分別 建立參數(shù)的時間序列。其中剛性四邊形結(jié)構(gòu)，如"頭"、"腰"等，以中心點 P(C。，法向量W(《, ,^)和指向向量ZXA,Z^Z^)定義，分別建立9個時間序列， 線段型結(jié)構(gòu)，如"左臂"、"左腿"等，以中心點P(C。和指向向量/XA^,化)， 分別建立6個時間序列。步驟7:應用發(fā)明內(nèi)容第5節(jié)所述5點線性平滑算法，將各語義塊的子序列 進行降噪處理。圖9顯示了 "頭"語義塊的中心點p(c。所生成的序列的處理前狀態(tài)(含峰值的噪聲序列)和處理后的狀態(tài)。步驟8:根據(jù)平滑處理后的各序列中對應于各時間點的值，反向重構(gòu)為語義塊的位置和姿態(tài)，得到噪聲數(shù)據(jù)濾除和缺失數(shù)據(jù)重構(gòu)處理后的運動數(shù)據(jù)，如圖10所示為運動數(shù)據(jù)處理的實驗結(jié)果，左部為處理前的特征標記點數(shù)據(jù)，右部為處理后的結(jié)果。步驟9:處理后的運動數(shù)據(jù)輸出，以文件形式輸出，數(shù)據(jù)格式為FRAME1MARKER0-195. 1916. 161656.13MARKER1-292. 0265. 141614.35MARKER2-357. 60-105.531601.88MARKER3—269. 40-140.621646.24FRAME2此時，各數(shù)據(jù)單元意義與原始采集數(shù)據(jù)相同，不同點為每一幀內(nèi)特征標記點 個數(shù)固定為32個，且標記點順序與模版中標記點順序一致。實例中采集的運動數(shù)據(jù)同一特征標記點連續(xù)缺失幀數(shù)小于10，并且同一剛性 結(jié)構(gòu)體上連續(xù)缺失兩個以上特征標記點的幀數(shù)小于10，數(shù)據(jù)處理方法實現(xiàn)所有 幀數(shù)據(jù)的準確處理，處理率達到100%。
權(quán)利要求
1、一種用于人體運動捕捉數(shù)據(jù)的動態(tài)時空耦合降噪處理方法，包括將基于C++和openGL圖形庫開發(fā)的光學人體運動捕捉數(shù)據(jù)處理系統(tǒng)裝入計算機和通過人體光學運動捕捉系統(tǒng)設備獲取原始數(shù)據(jù)、對原始數(shù)據(jù)的處理和人體運動重構(gòu)的步驟，其特征在于還包括以下步驟(1)針對原始采集的運動數(shù)據(jù)中存在的噪聲數(shù)據(jù)和缺失數(shù)據(jù)，建立基于備選語義塊的動態(tài)脈沖噪聲模型；(2)基于剛性結(jié)構(gòu)匹配算法生成備選語義塊，并定義為五種基本匹配類型，即線段型結(jié)構(gòu)、三角形結(jié)構(gòu)、自由四邊形結(jié)構(gòu)、對角四邊形結(jié)構(gòu)和剛性四邊形結(jié)構(gòu)；(3)定義語義塊和備選語義塊，并將所有特征標記點按照人體結(jié)構(gòu)特征劃分為11個語義塊，包括頭、胸、腰、左臂、右臂、左手、右手、左腿、右腿、左腳和右腳，其中頭、胸、腰、左手、右手、左腳和右腳為剛性四邊形結(jié)構(gòu)；左臂、右臂、左腿和右腿為線段型結(jié)構(gòu)；(4)定義語義節(jié)點及其各屬性參數(shù)，并基于該定義建立22個語義節(jié)點的人體語義模型描述人體拓撲結(jié)構(gòu)關(guān)系，語義節(jié)點的屬性參數(shù)包括序號、名稱、度、級、父節(jié)點、長度、方向和位置，其中序號、名稱、度、級和父節(jié)點定義為從屬關(guān)系屬性；長度、方向和位置定義為空間位置屬性；(5)根據(jù)人體語義模型構(gòu)造三種類型的語義約束條件，即距離約束、角度約束和方向約束，判定步驟(2)中生成的備選語義塊是否符合約束條件；根據(jù)判定結(jié)果分別返回“是”或“否”兩種狀態(tài)；對于缺失數(shù)據(jù)，賦值為錯誤標識值e，所述錯誤標識值e是一個能夠被系統(tǒng)明顯識別的值，從而將缺失數(shù)據(jù)轉(zhuǎn)化為噪聲數(shù)據(jù)，為將后續(xù)處理統(tǒng)一為降噪處理提供必要前提；(6)生成最合理的人體結(jié)構(gòu)，即最合理的一組語義塊；(7)建立基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型，將每一個語義塊都以三維空間中的位置和姿態(tài)來表述，其中剛性四邊形結(jié)構(gòu)的位置可以由中心點P(Px，Py，Pz)來定義，姿態(tài)可以由一個法向量N(Nx，Ny，Nz)和一個指向向量D(Dx，Dy，Dz)來確定；線段型結(jié)構(gòu)可以由中心點P(Px，Py，Pz)和一個指向向量D(Dx，Dy，Dz)來定義，使每一幀中每一個語義塊由6個或9個參數(shù)來表示；在時域范圍內(nèi)，所有幀中對應的參數(shù)的值構(gòu)成一個時間序列，每一個語義塊可以由6個或9個子時間序列來表示；將所有語義塊都使用子時間序列來表示，就構(gòu)造了基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型；(8)將5點線性平滑算法應用到步驟(7)所建立的時間序列上，實現(xiàn)噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)處理。
2、根據(jù)權(quán)利要求1所述的用于人體運動捕捉數(shù)據(jù)的動態(tài)時空耦合降噪處理 方法，其特征在于步驟(8)中所述的重構(gòu)處理，是將處理后的各語義塊的子序 列在各時間點上的值反向重構(gòu)為語義塊在三維空間中的位置和姿態(tài)，從而得到 處理后的運動數(shù)據(jù)。
全文摘要
本發(fā)明公開了一種用于光學人體運動捕捉數(shù)據(jù)中噪聲和缺失數(shù)據(jù)處理的動態(tài)時空耦合處理方法，包括對原始采集的運動數(shù)據(jù)中的噪聲數(shù)據(jù)和缺失數(shù)據(jù)，建立基于備選語義塊的動態(tài)脈沖噪聲模型，其特征在于還包括基于剛性結(jié)構(gòu)匹配的備選語義塊生成、基于語義節(jié)點的人體拓撲結(jié)構(gòu)模型的建立、基于空間語義約束的最合理人體結(jié)構(gòu)的生成、基于語義塊位置和姿態(tài)屬性的動態(tài)時間序列的脈沖噪聲模型建立以及噪聲數(shù)據(jù)的濾除和缺失數(shù)據(jù)的重構(gòu)步驟。本發(fā)明中的處理方法經(jīng)實際測試，適用于滿足局部剛性結(jié)構(gòu)的任意特征點排布方式的運動數(shù)據(jù)的處理，具有良好的實用性和魯棒性。
文檔編號G06T17/00GK101216952SQ200810010170
公開日2008年7月9日 申請日期2008年1月17日 優(yōu)先權(quán)日2008年1月17日
發(fā)明者強 張, 肖伯祥, 魏小鵬 申請人:大連大學