專利名稱：基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種電信技術(shù)領(lǐng)域的方法，具體是一種基于多目相機(jī)的三維人體運(yùn) 動(dòng)跟蹤的方法。
技術(shù)背景三維人體運(yùn)動(dòng)跟蹤是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域研究的一個(gè)熱點(diǎn)和難點(diǎn)。從視頻數(shù)據(jù) 當(dāng)中抽取人體骨架模型是一個(gè)很有效的監(jiān)控和跟蹤方法。從三維體素?cái)?shù)據(jù)得到的人 體骨架主要應(yīng)用領(lǐng)域有監(jiān)控系統(tǒng)，虛擬現(xiàn)實(shí)，高級(jí)用戶接口，智能環(huán)境，娛樂，運(yùn)動(dòng)分析，醫(yī)學(xué)，教育等。三維體素英文單詞為voxel,是Volume Element兩個(gè)單 詞的縮寫，把Voxel叫做"體素"，它就相當(dāng)于二維圖像中的"pixel"——"像 素"，是三維空間中的基本小方塊，包含每個(gè)點(diǎn)的X、 Y和Z三個(gè)坐標(biāo)等信息，通 過多目相機(jī)來獲取三維的人體體素?cái)?shù)據(jù)來進(jìn)行姿態(tài)估計(jì)和人體運(yùn)動(dòng)跟蹤是一種很新 穎的方法。然而僅僅有了三維人體的體素?cái)?shù)據(jù)還不能足以解決許多實(shí)際問題。通過 多目相機(jī)得到的體素?cái)?shù)據(jù)直接進(jìn)行重建并對其跟蹤，由于相機(jī)數(shù)量的不同導(dǎo)致結(jié)果 參差不齊，數(shù)據(jù)量總體來說很大，運(yùn)算速度慢且不易進(jìn)行數(shù)據(jù)實(shí)時(shí)傳輸和網(wǎng)絡(luò)發(fā)布， 達(dá)不到跟蹤和監(jiān)控的效果。人體運(yùn)動(dòng)跟蹤既有二維人體運(yùn)動(dòng)跟蹤，也有三維人體運(yùn) 動(dòng)跟蹤。三維人體運(yùn)動(dòng)跟蹤相對于二維的要復(fù)雜得多。通過體素?cái)?shù)據(jù)來分析人體運(yùn) 動(dòng)已經(jīng)很普遍，但是通過體素?cái)?shù)據(jù)來得到準(zhǔn)確的人體骨架從而對人體運(yùn)動(dòng)進(jìn)行跟蹤 卻很少有人涉及。這個(gè)工作意義比較特殊，既可以將得到的跟蹤結(jié)果用于監(jiān)控系統(tǒng)， 又可以當(dāng)作中間結(jié)果來進(jìn)行人體姿勢和動(dòng)作的識(shí)別，作進(jìn)一步的研究?？偟膩碚f， 人體運(yùn)動(dòng)的準(zhǔn)確跟蹤意義重大，是整個(gè)計(jì)算機(jī)視覺領(lǐng)域的難題。經(jīng)對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，Caillette， F.等人于2004年在《Third IEEE and ACM International Symposium on Mixed and Augmented Reality》(IEEE禾口 ACM第
三屆關(guān)于混合和擴(kuò)展現(xiàn)實(shí)的國際研討會(huì))上發(fā)表的論文"Real-time markerless human body tracking using colored voxels and 3D blobs"，(用彩色體素禾口三 維模塊實(shí)時(shí)跟蹤無標(biāo)記的人體)論文中用帶有顏色的體素信息來對人體進(jìn)行跟蹤， 該方法需要被跟蹤目標(biāo)和場景有比較好的顏色對比差，這就大大限制了它在工程當(dāng) 中的應(yīng)用。 發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于多目相機(jī)的三維人體 運(yùn)動(dòng)跟蹤的方法，使其具有穩(wěn)定性好，快速性好，精度性高，輸出文件小，易于保 存和傳輸?shù)奶攸c(diǎn)。本發(fā)明通過對人體運(yùn)動(dòng)的跟蹤，準(zhǔn)確地判斷和預(yù)測人體的姿態(tài)、 動(dòng)作等，從而可以讓計(jì)算機(jī)進(jìn)行自行分析和判斷，在一個(gè)監(jiān)控系統(tǒng)當(dāng)中，可以將此 信息實(shí)時(shí)地傳送到監(jiān)控終端，從而可以實(shí)時(shí)發(fā)現(xiàn)異常情況并及時(shí)采取相應(yīng)措施。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟第一，提取人體表面的體素?cái)?shù)據(jù)點(diǎn)，對體素?cái)?shù)據(jù)進(jìn)行處理，得到最外層的點(diǎn)；第二，在抽取骨架對人體運(yùn)動(dòng)進(jìn)行跟蹤之前構(gòu)建一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型,用于在跟蹤的過程當(dāng)中對其進(jìn)行動(dòng)態(tài)的姿勢調(diào)整，以實(shí)現(xiàn)它和原始三維圖像的擬合； 第三，構(gòu)建人體骨架抽取方法，根據(jù)在三維人體骨架模型中每段骨頭套筒內(nèi)的體素點(diǎn)個(gè)數(shù)是否為最大調(diào)整骨架模型姿態(tài)；第四，構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，通過改變?nèi)S人體骨架模型中根節(jié)點(diǎn)的空間位置和每段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度來判斷當(dāng)前人體骨架姿態(tài)是否已經(jīng)達(dá)到跟蹤要求。所述提取人體表面的體素?cái)?shù)據(jù)點(diǎn)，對體素?cái)?shù)據(jù)進(jìn)行處理，得到最外層的點(diǎn)，是 指采用16個(gè)攝像機(jī)得到三維人體體素?cái)?shù)據(jù)之后，為了減小數(shù)據(jù)、提升處理速度， 把人體最外面的體素尋找出來。有了三維體素?cái)?shù)據(jù)，把所有體素都用計(jì)算機(jī)顯示出 來就可以得到三維圖像。為了得到三維圖像最外層的點(diǎn)，本發(fā)明設(shè)計(jì)了 3X3X3的 圖像模板。其中3X3X3是指在三維空間中每個(gè)體素(包括它本身)的前、后、左、 右、上、下六個(gè)方向組成立方體模板的共計(jì)27個(gè)點(diǎn)。不同于二維圖像，這個(gè)模板是何一個(gè)體素，對上、下、左、右、前、后和它歐式距離小于或者 等于VJ的點(diǎn)全部算作是該點(diǎn)的鄰域點(diǎn)，共計(jì)26個(gè)。在判斷過程當(dāng)中判斷該點(diǎn)的鄰 域點(diǎn)是否有背景點(diǎn)，若有則為最外層點(diǎn)。所述構(gòu)建一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型，是指在進(jìn)行骨架抽取對人體運(yùn)動(dòng)進(jìn) 行跟蹤之前，設(shè)計(jì)一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型。在這個(gè)骨架模型當(dāng)中，定義若干 個(gè)節(jié)點(diǎn)，定義一個(gè)根節(jié)點(diǎn)，控制整個(gè)骨架的空間旋轉(zhuǎn)和空間平移。每一個(gè)節(jié)點(diǎn)定義 一個(gè)父節(jié)點(diǎn)，每段骨架都繞著它的父節(jié)點(diǎn)在局部坐標(biāo)系內(nèi)做旋轉(zhuǎn)和平移，最后可以 得出每個(gè)節(jié)點(diǎn)相對于根節(jié)點(diǎn)的空間位置的改變，從而可以確定每個(gè)節(jié)點(diǎn)在三維空間 的坐標(biāo)，進(jìn)而確定每幀的骨架姿勢。對于每段骨頭，它有若干參數(shù)來確定，例如ID 號(hào)、父節(jié)點(diǎn)、長度等。每根骨頭定義唯一的ID號(hào)，通過ID號(hào)可以將當(dāng)前節(jié)點(diǎn)和父 節(jié)點(diǎn)連接起來；每段骨頭的長度均不相同，可以通過設(shè)定或者機(jī)器學(xué)習(xí)來獲得。所述構(gòu)建人體骨架抽取方法，是指通過人體模型和骨架觀測特征的匹配程度 來判斷人體運(yùn)動(dòng)跟蹤的效果。通過前幀的跟蹤結(jié)果并利用此幀根節(jié)點(diǎn)的空間位置和 各段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度參數(shù)來跟蹤下幀的人體運(yùn)動(dòng)。第一幀的參數(shù)通過人 機(jī)交互或者機(jī)器學(xué)習(xí)來獲取。由于人體運(yùn)動(dòng)的漸變性，前后兩幀參數(shù)變化通常在一 定范圍內(nèi)，這個(gè)范圍可以根據(jù)常識(shí)人為指定。采取了一個(gè)簡單卻又行之有效的方法: 給每段骨頭套一個(gè)圓筒，計(jì)算在套筒內(nèi)的體素點(diǎn)的個(gè)數(shù)，只要它達(dá)到最大并且得到 的骨架在人體表層點(diǎn)以內(nèi)，則停止計(jì)算，認(rèn)為這個(gè)骨架姿勢是最優(yōu)骨架姿勢，達(dá)到 了通過骨架姿勢來跟蹤人體運(yùn)動(dòng)的目的。所述構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，是指為使人體骨架和每幀的三維體素達(dá) 到最佳匹配，確定每幀骨架的每個(gè)節(jié)點(diǎn)確切的空間位置，從而必須得到控制整個(gè)骨 架平移和旋轉(zhuǎn)的根節(jié)點(diǎn)的三維坐標(biāo)。在得到第一幀三維人體骨架之后，下一幀骨架 姿態(tài)以前一幀骨架作為基準(zhǔn)進(jìn)行調(diào)整。改變每幀骨架姿勢的參數(shù)主要是每根骨頭繞 它父節(jié)點(diǎn)所在局部坐標(biāo)系分別繞X、 Y、 Z坐標(biāo)軸做旋轉(zhuǎn)變換，在這個(gè)變換的過程當(dāng) 中采用概率遺傳算法來對每根骨頭繞其父節(jié)點(diǎn)的角度進(jìn)行迭代，直到得到的人體骨 架在人體以內(nèi)且能夠代表人體姿態(tài)為止。其中每段骨頭有個(gè)局部最優(yōu)值，所有的骨
頭都達(dá)到局部最優(yōu)值時(shí)整個(gè)骨架姿勢達(dá)到最優(yōu)，對本幀的跟蹤結(jié)束，進(jìn)入下一幀的 跟蹤，直到最后一幀結(jié)束為止。與現(xiàn)有技術(shù)相比，本發(fā)明簡單有效，它的關(guān)鍵在于在已有的人體體素?cái)?shù)據(jù)的基 礎(chǔ)上迅速的得到人體的三維骨架，從而可以很清楚地判斷人體的運(yùn)動(dòng)姿勢以對人體 運(yùn)動(dòng)進(jìn)行跟蹤。利用本發(fā)明進(jìn)行人體運(yùn)動(dòng)跟蹤，既可以作為結(jié)果來利用，又可以作 為下一步的模式識(shí)別的中間結(jié)果。由于每幀人體骨架文件的數(shù)據(jù)量小(小于1K)， 而每幀三維圖像文件的大小很大(5M以上)，所以得到的人體骨架文件可以太大節(jié) 省存儲(chǔ)空間、節(jié)省網(wǎng)絡(luò)當(dāng)中的傳輸時(shí)間和傳輸成本，特別適用于監(jiān)控系統(tǒng)當(dāng)中，同 時(shí)也可以應(yīng)用于計(jì)算機(jī)動(dòng)畫，游戲，虛擬現(xiàn)實(shí)等領(lǐng)域。


圖1為本發(fā)明實(shí)施例相機(jī)和物體的空間位置示意圖 圖2為本發(fā)明實(shí)施例3X3X3圖像模板示意3為本發(fā)明實(shí)施例三維人體體素圖像組圖，其中從左到右每張圖像名稱分 別為第15幀，第45幀，第75幀，第105幀，第135幀，第165幀。 圖4為本發(fā)明實(shí)施例標(biāo)準(zhǔn)骨架模型圖 圖5為本發(fā)明實(shí)施例骨架套筒示意圖 圖6為本發(fā)明實(shí)施例結(jié)果組圖(僅骨架)其中從左到右每張圖像名稱分別為第15幀，第45幀，第75幀，第105幀， 第135幀，第165幀。圖7實(shí)施例結(jié)果組圖(骨架和體素)其中從左到右每張圖像名稱分別為第15幀，第45幀，第75幀，第105幀， 第135幀，第165幀。
具體實(shí)施方式
下面結(jié)合附圖對本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為 前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述 的實(shí)施例。
1. 提取人體表面體素。如圖1所示，在一個(gè)場景當(dāng)中布置16個(gè)攝像機(jī)，圖中 相機(jī)為上下兩層，通過各個(gè)相機(jī)得到人體的二維圖像并通過這些圖像來構(gòu)建三維圖 像，組成三維圖像的每個(gè)基元就是體素。為了減少計(jì)算機(jī)的計(jì)算開支，提高整個(gè)方 法處理速度，降低處理時(shí)間，采用如圖2所示的3X3X3模板對每幀的數(shù)據(jù)點(diǎn)進(jìn)行 處理，圖中實(shí)心圓圈代表當(dāng)前所要檢測的體素，空心圓圈代表它周圍的共計(jì)26個(gè)相 鄰體素。整個(gè)視頻共計(jì)191幀，如圖3所示的最外層體素所組成的圖像為從第15 幀開始隔30幀取一幀的圖像。為了更加清晰地顯示實(shí)施結(jié)果，本實(shí)施例采用了隔十 個(gè)點(diǎn)取一個(gè)點(diǎn)的方式顯示原始數(shù)據(jù)。具體步驟如下(1) 先對每幀三維體素?cái)?shù)據(jù)進(jìn)行一次完整掃描，分別找出X、 Y、 Z方向的點(diǎn)的 坐標(biāo)的最大值和最小值。(2) 根據(jù)求出的最大值和最小值，每個(gè)方向的最大值相減分別得到M、 N、 P， 建立一個(gè)MXNXP維的三維網(wǎng)格空間，有體素的地方置l，否則置O。(3) 禾U用3X3X3模板對每幀體素進(jìn)行處理，將非最外層的點(diǎn)的值由1置0， 從而得到目標(biāo)點(diǎn)。2. 構(gòu)建標(biāo)準(zhǔn)人體骨架模型(1) 確定人體骨架基本信息。如圖4所示為本發(fā)明實(shí)施例的標(biāo)準(zhǔn)骨架，它由若 干根骨頭組成，每根骨頭的長度根據(jù)不同的人分別確定不同的長度，標(biāo)注好每段骨 架的ID號(hào)，確定好節(jié)點(diǎn)之間的相互關(guān)系。(2) 在這個(gè)標(biāo)準(zhǔn)骨架模型當(dāng)中，定義若干個(gè)節(jié)點(diǎn)。其中根節(jié)點(diǎn)控制著整個(gè)骨架 在世界坐標(biāo)系的空間旋轉(zhuǎn)和空間平移。每段骨架都繞著它的父節(jié)點(diǎn)在局部坐標(biāo)系內(nèi) 做旋轉(zhuǎn)和平移，最后可以得到每個(gè)節(jié)點(diǎn)相對于根節(jié)點(diǎn)的空間位置的改變。對于繞與 坐標(biāo)軸不重合的軸進(jìn)行旋轉(zhuǎn)的變換矩陣，利用平移和坐標(biāo)軸旋轉(zhuǎn)復(fù)合而得到。針對 一般三維旋轉(zhuǎn)情況平移骨架使其與平行于該骨架的一個(gè)坐標(biāo)軸重合；對于該軸完 成指定的旋轉(zhuǎn)；平移對象將骨架移回到原來的位置。每段骨頭都可以繞父節(jié)點(diǎn)的平 移和旋轉(zhuǎn)來完成姿態(tài)的調(diào)整，從而達(dá)到跟蹤的目的。3. 構(gòu)建人體骨架抽取方法
在人體模型和骨架觀測特征的匹配程度的過程中，通過前幀的跟蹤結(jié)果并利用 此幀根節(jié)點(diǎn)的空間位置和各段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度這些參數(shù)來跟蹤下幀的人 體運(yùn)動(dòng)。第一幀的參數(shù)通過人機(jī)交互或者機(jī)器學(xué)習(xí)來獲取。通過概率遺傳算法，設(shè) 置好種群規(guī)模數(shù)和迭代次數(shù)這兩個(gè)參數(shù)后，以前幀的骨架作為后幀體素?cái)?shù)據(jù)的參考， 進(jìn)行運(yùn)算，可以快速地得到下一幀的骨架，從而對人體運(yùn)動(dòng)進(jìn)行跟蹤。如圖5所示， 給每段骨頭套一個(gè)圓筒，假設(shè)人體骨架總共有N根骨架，則要給骨架套N個(gè)圓筒， 并計(jì)算每段骨架圓筒內(nèi)的體素點(diǎn)的個(gè)數(shù)，定義的骨架觀測函數(shù)如下<formula>formula see original document page 10</formula>K表示定義的骨頭數(shù)目，N表示Voxel數(shù)據(jù)中點(diǎn)的數(shù)量， s = ， s表示整個(gè)骨架，s,表示骨頭，U(s,)表示骨架圓筒內(nèi)的空間。在進(jìn)行優(yōu)化的過程中，當(dāng)在筒內(nèi)的三維點(diǎn)的數(shù)目最大時(shí)就認(rèn)為此時(shí)跟蹤效果最 佳。第t幀的跟蹤等價(jià)于在所有骨架參數(shù)的可行域內(nèi)尋找使骨架效果最佳的骨架參 數(shù)，由于參數(shù)s維數(shù)較高且骨架觀測函數(shù)的地形曲面通常多峰且含有很多局部極值， 傳統(tǒng)優(yōu)化算法難以找到全局最優(yōu)點(diǎn)，故利用概率遺傳算法對骨架觀測函數(shù)進(jìn)行優(yōu)化 以達(dá)到跟蹤的目的。4.構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法確定每幀骨架的每個(gè)節(jié)點(diǎn)的確切的空間位置，根節(jié)點(diǎn)的空間三維坐標(biāo)可以通過 手動(dòng)或者機(jī)器學(xué)習(xí)得到。運(yùn)用概率遺傳算法并且結(jié)合三維人體運(yùn)動(dòng)分析，對每段骨 頭父節(jié)點(diǎn)所在坐標(biāo)系的三個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度進(jìn)行復(fù)合位編碼，步驟如下1) 對人體骨架進(jìn)行分析，結(jié)合人的實(shí)際關(guān)節(jié)運(yùn)動(dòng)的極限確定所要進(jìn)行復(fù)合位編 碼的個(gè)體的個(gè)數(shù)，這樣可以在不影響結(jié)果情況下提升處理速度，節(jié)約時(shí)間；2) 對每根骨頭所必須要用到的參數(shù)(角度)進(jìn)行復(fù)合位編碼；3) 確定種群規(guī)模數(shù)和迭代次數(shù)，種群規(guī)模數(shù)越高，迭代次數(shù)越多，人體骨架姿 勢和原始三維圖像就越匹配；4) 產(chǎn)生初始種群(各根骨頭繞相應(yīng)的父節(jié)點(diǎn)的旋轉(zhuǎn)角度的集合)并對其進(jìn)行觀 測，利用骨架觀測函數(shù)來觀測在圓筒里的體素的個(gè)數(shù)；5) 若此數(shù)量在迭代過程當(dāng)中先增長再趨于平穩(wěn)，則轉(zhuǎn)步驟6);若一直增長則需 要產(chǎn)生新種群，回到上一步驟；6) 迭代結(jié)束。上述實(shí)施例結(jié)果如圖6和圖7所示圖6中從左到右每幀圖像對應(yīng)圖3中從左 到右每幀圖像，為得到的跟蹤骨架，圖7中從左到右每幀圖像也對應(yīng)圖3中從左到 右每幀圖像，但它也同時(shí)顯示得到的跟蹤骨架。在實(shí)施過程中拍攝的是一個(gè)人在一 個(gè)三維空間內(nèi)的基本運(yùn)動(dòng)，包括正常的走路，伸手，拐彎等基本姿勢。每幀圖像包 括大概45000個(gè)三維點(diǎn)。實(shí)施結(jié)果表明，在不用體素顏色信息的情況下不僅能夠很 好的得到骨架信息，而且節(jié)省了因?yàn)槭褂眠@個(gè)而增加的額外計(jì)算開銷。從每幀體素 數(shù)據(jù)得到該幀骨架數(shù)據(jù)需要大概l分鐘的時(shí)間，基本達(dá)到實(shí)時(shí)要求，大大優(yōu)于用其 它方法。從而可以看出本發(fā)明得到的骨架全部都在人體以內(nèi)并且能夠100%的反應(yīng) 此刻人體的運(yùn)動(dòng)姿勢，能夠?qū)ο乱徊降膭?dòng)作識(shí)別，數(shù)據(jù)傳輸起到關(guān)鍵性的作用。
權(quán)利要求
1、一種基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征在于，包括以下步驟第一，提取人體表面的體素?cái)?shù)據(jù)點(diǎn)，對體素?cái)?shù)據(jù)進(jìn)行處理，得到最外層的點(diǎn)；第二，在進(jìn)行骨架抽取對人體運(yùn)動(dòng)進(jìn)行跟蹤之前構(gòu)建一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型，用于在跟蹤的過程當(dāng)中對其進(jìn)行動(dòng)態(tài)的姿勢調(diào)整，以實(shí)現(xiàn)它和原始三維圖像的擬合；第三，構(gòu)建人體骨架抽取方法，根據(jù)在三維人體骨架模型中每段骨頭套筒內(nèi)的體素點(diǎn)個(gè)數(shù)是否為最大調(diào)整骨架模型姿態(tài)；第四，構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，通過改變?nèi)S人體骨架模型中根節(jié)點(diǎn)的空間位置和每段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度來判斷當(dāng)前人體骨架姿態(tài)是否已經(jīng)達(dá)到跟蹤要求。
2、 根據(jù)權(quán)利要求1所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述提取人體表面的體素?cái)?shù)據(jù)點(diǎn)，對體素?cái)?shù)據(jù)進(jìn)行處理，得到最外層的點(diǎn)，是 指通過16個(gè)攝像機(jī)得到三維人體體素?cái)?shù)據(jù)并用計(jì)算機(jī)顯示得到三維圖像，然后 采用3X3X3的圖像模板得到三維圖像最外層的點(diǎn)，其中3X3X3是指在三維空間 中每個(gè)體素、包括它本身的前、后、左、右、上、下六個(gè)方向組成立方體模板的共 計(jì)27個(gè)點(diǎn)，這個(gè)模板是26連通域，對于任何一個(gè)體素，對上、下、左、右、前、 后和它歐式距離小于或者等于V^的點(diǎn)全部算作是該點(diǎn)的鄰域點(diǎn)，共計(jì)26個(gè)，在判 斷過程當(dāng)中判斷該點(diǎn)的鄰域點(diǎn)是否有背景點(diǎn)，若有則為最外層點(diǎn)。
3、 根據(jù)權(quán)利要求2所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述構(gòu)建一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型，是指在三維人體骨架模型當(dāng)中，定 義若干個(gè)節(jié)點(diǎn)和一個(gè)根節(jié)點(diǎn)，控制整個(gè)骨架的空間旋轉(zhuǎn)和空間平移，每一個(gè)節(jié)點(diǎn)定 義一個(gè)父節(jié)點(diǎn)，每段骨架都繞著它的父節(jié)點(diǎn)在局部坐標(biāo)系內(nèi)做旋轉(zhuǎn)和平移，最后得 出每個(gè)節(jié)點(diǎn)相對于根節(jié)點(diǎn)的空間位置的改變，從而確定每個(gè)節(jié)點(diǎn)在三維空間的坐標(biāo)，進(jìn)而確定每幀的骨架姿勢。
4、 根據(jù)權(quán)利要求3所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述每段骨頭，它有若干參數(shù)來確定，包括ID號(hào)、父節(jié)點(diǎn)、長度，每根骨頭 定義唯一的ID號(hào)，通過ID號(hào)將當(dāng)前節(jié)點(diǎn)和父節(jié)點(diǎn)連接起來，每段骨頭的長度均不 相同，通過設(shè)定或者機(jī)器學(xué)習(xí)來獲得。
5、 根據(jù)權(quán)利要求4所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述每段骨架都繞著它的父節(jié)點(diǎn)在局部坐標(biāo)系內(nèi)做旋轉(zhuǎn)和平移，其中對于繞 與坐標(biāo)軸不重合的軸進(jìn)行旋轉(zhuǎn)的變換矩陣，利用平移和坐標(biāo)軸旋轉(zhuǎn)復(fù)合而得到；旋 轉(zhuǎn)和平移情況包括平移骨架使其與平行于該骨架的一個(gè)坐標(biāo)軸重合、對于該軸完 成指定的旋轉(zhuǎn)、以及平移對象將骨架移回到原來的位置。
6、 根據(jù)權(quán)利要求1所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述構(gòu)建人體骨架抽取方法，是指根據(jù)人體模型和骨架觀測特征的匹配程度 來判斷人體運(yùn)動(dòng)跟蹤的效果，通過前幀的跟蹤結(jié)果并利用此幀根節(jié)點(diǎn)的空間位置和 各段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度參數(shù)來跟蹤下幀的人體運(yùn)動(dòng)，第一幀的參數(shù)通過人 機(jī)交互或者機(jī)器學(xué)習(xí)來獲取，前后兩幀參數(shù)變化范圍采用以下方法確定給每段骨 頭套一個(gè)圓筒，計(jì)算在套筒內(nèi)的體素點(diǎn)的個(gè)數(shù)，只要它達(dá)到最大并且得到的骨架在人體表層點(diǎn)以內(nèi)，則停止計(jì)算，認(rèn)為這個(gè)骨架姿勢是最優(yōu)骨架姿勢，達(dá)到了通過骨 架姿勢來跟蹤人體運(yùn)動(dòng)的目的。
7、 根據(jù)權(quán)利要求1所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，是指在得到第一幀三維人體骨架之后， 下一幀骨架姿態(tài)以前一幀骨架作為基準(zhǔn)進(jìn)行調(diào)整，改變每幀骨架姿勢的參數(shù)即每根 骨頭繞它父節(jié)點(diǎn)所在局部坐標(biāo)系分別繞X、 Y、 Z坐標(biāo)軸做旋轉(zhuǎn)變換，在這個(gè)變換的過程當(dāng)中采用概率遺傳算法來對每根骨頭繞其父節(jié)點(diǎn)的角度進(jìn)行迭代，直到得到的 人體骨架在人體以內(nèi)且能夠代表人體姿態(tài)為止，其中每段骨頭有個(gè)局部最優(yōu)值，所 有的骨頭都達(dá)到局部最優(yōu)值時(shí)整個(gè)骨架姿勢達(dá)到最優(yōu)，對本幀的跟蹤結(jié)束，進(jìn)入下 一幀的跟蹤，直到最后一幀結(jié)束為止。
8、 根據(jù)權(quán)利要求1或6所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征是，所述構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，具體為先確定每幀骨架的每個(gè)節(jié)點(diǎn) 的確切的空間位置，根節(jié)點(diǎn)的空間三維坐標(biāo)通過手動(dòng)或者機(jī)器學(xué)習(xí)得到，然后運(yùn)用 概率遺傳算法對每段骨頭父節(jié)點(diǎn)所在坐標(biāo)系的三個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度進(jìn)行復(fù)合位 編碼1) 結(jié)合人的實(shí)際關(guān)節(jié)運(yùn)動(dòng)的極限確定所要進(jìn)行復(fù)合位編碼的個(gè)體的個(gè)數(shù)；2) 對每根骨頭所要用到的參數(shù)即每段骨頭父節(jié)點(diǎn)所在坐標(biāo)系的三個(gè)坐標(biāo)軸的 旋轉(zhuǎn)角度進(jìn)行復(fù)合位編碼；3) 確定種群規(guī)模數(shù)和迭代次數(shù)，種群規(guī)模數(shù)越高，迭代次數(shù)越多，人體骨架姿 勢和原始三維圖像就越匹配；4) 產(chǎn)生初始種群即各根骨頭繞相應(yīng)的父節(jié)點(diǎn)的旋轉(zhuǎn)角度的集合，并對其進(jìn)行觀 測，利用骨架觀測函數(shù)來觀測在圓筒里的體素的個(gè)數(shù)；5) 若此數(shù)量在迭代過程當(dāng)中先增長再趨于平穩(wěn)，則轉(zhuǎn)步驟6);若一直增長則需 要產(chǎn)生新種群，回到上一步驟；6) 迭代結(jié)束。
9、根據(jù)權(quán)利要求8所述的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，其特征 是，所述骨架觀測函數(shù)，具體如下<formula>formula see original document page 4</formula>K表示定義的骨頭數(shù)目，N表示Voxel數(shù)據(jù)中點(diǎn)的數(shù)量， s-h,^,...,^] ， s表示整個(gè)骨架，s,表示骨頭，UU,)表示骨架圓筒內(nèi)的空間。
全文摘要
一種計(jì)算機(jī)視覺技術(shù)領(lǐng)域的基于多目相機(jī)的三維人體運(yùn)動(dòng)跟蹤的方法，步驟為第一，提取人體表面的體素?cái)?shù)據(jù)點(diǎn)，對體素?cái)?shù)據(jù)進(jìn)行處理，得到最外層的點(diǎn)；第二，在進(jìn)行骨架抽取對人體運(yùn)動(dòng)進(jìn)行跟蹤之前構(gòu)建一個(gè)標(biāo)準(zhǔn)的三維人體骨架模型，用于在跟蹤的過程當(dāng)中對其進(jìn)行動(dòng)態(tài)的姿勢調(diào)整，以實(shí)現(xiàn)它和原始三維圖像擬合；第三，構(gòu)建人體骨架觀測方法，根據(jù)在每段骨頭套筒內(nèi)的體素點(diǎn)個(gè)數(shù)是否為最大調(diào)整骨架模型姿態(tài)；第四，構(gòu)建最優(yōu)匹配骨架的實(shí)現(xiàn)方法，通過改變根節(jié)點(diǎn)的空間位置和每段骨頭繞其父節(jié)點(diǎn)的旋轉(zhuǎn)角度來判斷當(dāng)前人體骨架姿態(tài)是否已經(jīng)達(dá)到跟蹤要求。本發(fā)明在已有的人體體素?cái)?shù)據(jù)的基礎(chǔ)上迅速的得到人體的三維骨架，從而對人體運(yùn)動(dòng)進(jìn)行跟蹤。
文檔編號(hào)G06T7/00GK101154289SQ200710044219
公開日2008年4月2日 申請日期2007年7月26日 優(yōu)先權(quán)日2007年7月26日
發(fā)明者劉允才, 申抒含, 鄧浩龍 申請人:上海交通大學(xué)