一種基于三維骨骼信息的人體動作識別方法
【專利摘要】本發(fā)明公開了一種基于三維骨骼信息的人體動作識別方法，該方法首先對多個不同性別和身高的個體樣本分別作出多種動作時得到的彩色數(shù)據(jù)流、深度數(shù)據(jù)流和骨骼數(shù)據(jù)流進(jìn)行處理，以構(gòu)建得到分別對應(yīng)每種動作的SVM模型，之后再采集被識別目標(biāo)在Kinect深度傳感器的采集范圍內(nèi)作出任一動作時的骨骼數(shù)據(jù)流，并由該骨骼數(shù)據(jù)流得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離以及14個向量夾角，將上述數(shù)據(jù)分別輸入多個SVM模型，輸出概率最大的SVM模型對應(yīng)的動作即為該識別目標(biāo)作出的動作。本發(fā)明采用Kinect深度傳感器進(jìn)行圖像獲取，受光照條件、陰影等因素影響較小，能夠?qū)崟r獲取人體動作的深度圖和骨骼信息，從而準(zhǔn)確地定位場景中的人體目標(biāo)。
【專利說明】
-種基于H維骨骼信息的人體動作識別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及人體動作識別領(lǐng)域，具體而言，設(shè)及一種基于=維骨骼信息的人體動 作識別方法。
【背景技術(shù)】
[0002] 動作識別的主要任務(wù)是從深度圖上提取出表征不同動作的特征數(shù)據(jù)，而不同人體 在表達(dá)相同動作時，存在著形狀、穿著W及運(yùn)動習(xí)慣等差異性。因此，如何選取有效的動作 特征描述是動作識別的關(guān)鍵問題之一。由于人體的動作可W簡單地劃分為上肢動作、下肢 動作、軀干動作，而且人體自身運(yùn)動過程中存在自遮擋問題，運(yùn)使得提取出的特征數(shù)據(jù)存在 信息冗余，也會影響后續(xù)的動作識別結(jié)果。因此，選擇合適的動作特征數(shù)據(jù)區(qū)分不同動作類 型就顯得尤為重要。
[0003] 人體動作識別技術(shù)融合了圖像處理和分析、信號處理、模式識別、機(jī)器學(xué)習(xí)、人工 智能等諸多學(xué)科的內(nèi)容，由于存在著人體外形和運(yùn)動習(xí)慣的差異，一直是計(jì)算機(jī)視覺領(lǐng)域 研究的熱點(diǎn)與難點(diǎn)。另外，人體動作識別技術(shù)在許多領(lǐng)域中具有重要的實(shí)用價(jià)值，例如智能 視頻監(jiān)控、高級人機(jī)交互、智能機(jī)器人、醫(yī)療監(jiān)護(hù)、體育運(yùn)動分析、虛擬現(xiàn)實(shí)等。其中，在當(dāng)前 的醫(yī)療系統(tǒng)中，隨著社會老齡化問題的加劇，傳統(tǒng)的專人照料不能完全解決問題。而W動作 識別技術(shù)為基礎(chǔ)構(gòu)建的智能化醫(yī)療監(jiān)護(hù)系統(tǒng)也就應(yīng)運(yùn)而生，通過自動檢測老人獨(dú)立完成某 項(xiàng)日?；顒樱σ恍┩蝗凰さ沟犬惓Ｐ袨榧皶r準(zhǔn)確地發(fā)出警報(bào)。用戶在室內(nèi)進(jìn)行的動作 行為是沒有被人為控制的自然行為，如果運(yùn)些特殊行為能夠被系統(tǒng)所理解，運(yùn)將給醫(yī)療監(jiān) 控節(jié)省了大量的人力、物力，也更加符合人類的生活需求。
[0004] 人體動作識別的最終目標(biāo)是，在完成人體動作捕獲、動作特征提取的前提下，無人 為干預(yù)地識別出人體動作的類型。傳統(tǒng)的動作識別算法大多數(shù)是通過單目視覺攝像頭獲取 到有關(guān)人體動作的彩色圖像序列，而且提取出的動作特征大多是基于二維輪廓信息，識別 的實(shí)時性與準(zhǔn)確性依賴于檢測與動作分類算法。同時，目前多數(shù)識別算法只是對簡單或周 期性重復(fù)的動作進(jìn)行研究，還不能滿足現(xiàn)實(shí)的需求。
[0005] 人體動作運(yùn)動過程其實(shí)可W看成是=維關(guān)節(jié)點(diǎn)之間的剛性運(yùn)動，如頭與軀干是由 肩關(guān)節(jié)連接，下肢由膝關(guān)節(jié)連接的上下關(guān)節(jié)臂等等，而且每個關(guān)節(jié)的空間位置是相互獨(dú)立 的。因此，基于人體=維信息的識別方法給動作識別帶來新的思路。獲取人體的=維信息的 方法主要有標(biāo)記式和無標(biāo)記式。其中標(biāo)記式需要在人身上附加一些特殊的標(biāo)志，運(yùn)種方法 限制了運(yùn)動目標(biāo)的自然運(yùn)動，在實(shí)際生活中佩戴標(biāo)記不方便，難W廣泛應(yīng)用。無標(biāo)記式主要 是通過深度設(shè)備，如雙目立體視覺、TOF相機(jī)、Kinect結(jié)構(gòu)光傳感器等。其中雙目立體視覺是 W左右相機(jī)獲取不同視覺下的兩幅圖像位置偏差來估計(jì)出物體的空間=維幾何信息，但該 設(shè)備對光照十分敏感，增加了立體匹配的難度。TOF相機(jī)是W計(jì)算發(fā)射與接收脈沖的時間差 來評估物體與相機(jī)的深度值，但相機(jī)價(jià)格較高、分辨率較低，不適合實(shí)際的應(yīng)用。
[0006] 傳統(tǒng)的動作識別方法大多是基于二維圖像序列的人體動作識別，很容易受到光照 條件、遮擋與陰影的影響，只有在人體衣服顏色和背景顏色差別很大或者不存在遮擋的情 況下，才能得到較好的識別結(jié)果。雖然有些深度相機(jī)能夠獲取到=維信息，但是立體相機(jī)的 有效距離只取決于基線的設(shè)置W及場景中環(huán)境光質(zhì)量，TOF相機(jī)依賴于光線的反射，其有效 距離取決于光線發(fā)出W及接受的范圍，并且設(shè)備成本較高。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明提供一種基于=維骨骼信息的人體動作識別方法，用W對人體動作進(jìn)行識 別。
[0008] 為了達(dá)到上述目的，本發(fā)明提供了一種基于=維骨骼信息的人體動作識別方法， 其包括W下步驟：
[0009] SI:將Kinect深度傳感器固定于與地面平行的相機(jī)支架上，保證Kinect深度傳感 器與地面水平線平行且具有一定的垂直高度，并能拍攝到場景中完整的人體目標(biāo)；
[0010] S2:使用Kinect深度傳感器分別采集多個不同性別和身高的個體樣本分別做出彎 腰、單手舉手、水平舉手、雙手舉手、拍手、叉腰、踢腿、喝水、站立、抱頭、坐、打拳12種動作時 的彩色數(shù)據(jù)流、深度數(shù)據(jù)流和骨骼數(shù)據(jù)流；
[0011] S3:采用計(jì)算機(jī)中的化enCV分別將每個個體樣本作出12種動作時采集到的彩色數(shù) 據(jù)流、深度數(shù)據(jù)流W及骨骼數(shù)據(jù)流轉(zhuǎn)換為彩色圖像、深度圖像和骨骼圖像，并將彩色圖像、 深度圖像和骨骼圖像在計(jì)算機(jī)屏幕上進(jìn)行顯示；
[0012] S4:分別從每個個體樣本作出12種動作時采集到的骨骼數(shù)據(jù)流中獲取到相對應(yīng)的 人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值，其中，人體骨骼關(guān)節(jié)點(diǎn)為人體中的W下20個骨骼關(guān)節(jié)點(diǎn)： 頭、肩膀中屯、、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中屯、、左 臀、左膝、左腳踩、左腳、右臀、右膝、右腳踩和右腳；
[001；3]S5:分另時良據(jù)每一個個體樣本于站立時，頭的空間位置坐標(biāo)(x日,H，y日,H，z日,H)，左腳 踩的空間坐標(biāo)(X0, AL, yo, AL, ZO, AL)，右腳踩的空間坐標(biāo)(X0, AR, yo, AR, ZO, AR)計(jì)算出每個個體樣本 的身高H，其中，身高H的計(jì)算公式如下：
[0014]
[001 引 （2)
[0016] 其中，（xo，yo，zo)為左腳踩與右腳踩中屯、點(diǎn)的坐標(biāo)；
[0017] S6: W臀部中屯、為參考點(diǎn)，分別計(jì)算出每個個體樣本作出12種動作時的其余19個 人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離；
[0018] S7:將計(jì)算出的每個個體樣本作出12種動作時的其余19個人體骨骼關(guān)節(jié)點(diǎn)與參考 點(diǎn)之間的距離分別除W相應(yīng)的個體樣本的身高H，得到歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考 點(diǎn)之間的距離；
[0019] S8:根據(jù)S4中得到的人體骨骼關(guān)節(jié)點(diǎn)的；維坐標(biāo)值，計(jì)算W下14對向量之間的向 量夾角：【（肩膀中屯、，頭），（肩膀中屯、，左肩）】、【（肩膀中屯、，頭），（肩膀中屯、，右肩）】、【（肩膀 中屯、，脊柱），（肩膀中屯、，左肩）】、【（肩膀中屯、，脊柱），（肩膀中屯、，右肩）】、【（肩膀中屯、，左 肩），（左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕)】、【（肩膀中屯、，右肩），（右肩，右 手肘)】、【（右肩，右手肘），（右手肘，右手腕)】、【(脊柱，臀部中屯、），（臀部中屯、，左臀)】、【(脊 柱，臀部中屯、），（臀部中屯、，右臀）】、【（臀部中屯、，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踩）】、【（臀部中屯、，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踩）】，分別得 到每一個體樣本在每一種動作時的14個向量夾角；
[0020] S9:將S7中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離W及S8中得到 的向量夾角經(jīng)過多分類SVM模型訓(xùn)練，得到12種動作的SVM模型，其中，通過S3步驟中顯示在 計(jì)算機(jī)屏幕上的彩色圖像、深度圖像和骨骼圖像與SVM模型進(jìn)行對應(yīng)；
[0021] Sio:當(dāng)識別目標(biāo)出現(xiàn)在Kinect深度傳感器的采集范圍內(nèi)時，該識別目標(biāo)作出站立 動作，并使用Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流；
[0022] Sll:從采集到的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的頭、左腳踩和右腳踩的=維坐 標(biāo)值；
[0023] S12:根據(jù)步驟S5中的方法計(jì)算得到該識別目標(biāo)的身高化；
[0024] S13:在時刻t，當(dāng)該識別目標(biāo)在Kinect深度傳感器的采集范圍內(nèi)作出任一動作時， Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流；
[0025] S14:從該識別目標(biāo)的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的 =維坐標(biāo)值，20個人體骨骼關(guān)節(jié)點(diǎn)分別為:頭、肩膀中屯、、左肩、左手肘、左手腕、左手、右肩、 右手肘、右手腕、右手、脊柱、臀部中屯、、左臀、左膝、左腳踩、左腳、右臀、右膝、右腳踩和右 腳；
[0026] S15:根據(jù)該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值和S12中得到的該識別 目標(biāo)的身高Hl，按照步驟S6和S7中的方法計(jì)算出該識別目標(biāo)的歸一化后的人體骨骼關(guān)節(jié)點(diǎn) 與參考點(diǎn)之間的距離；
[0027] S16:根據(jù)S14中得到的人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值，計(jì)算W下14對向量之間的 向量夾角：【（肩膀中屯、，頭），（肩膀中屯、，左肩）】、【（肩膀中屯、，頭），（肩膀中屯、，右肩）】、【（肩 膀中屯、，脊柱），（肩膀中屯、，左肩）】、【（肩膀中屯、，脊柱），（肩膀中屯、，右肩）】、【（肩膀中屯、，左 肩），（左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕)】、【（肩膀中屯、，右肩），（右肩，右 手肘)】、【（右肩，右手肘），（右手肘，右手腕)】、【(脊柱，臀部中屯、），（臀部中屯、，左臀)】、【(脊 柱，臀部中屯、），（臀部中屯、，右臀）】、【（臀部中屯、，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踩）】、【（臀部中屯、，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踩）】，得到該 識別目標(biāo)在時刻t時的14個向量夾角；
[0028] S17:將S15中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離W及S16中 的得到的14個向量夾角分別輸入至12種動作的SVM模型；
[0029] S18:比較每種SVM模型的輸出概率，輸出概率最大的SVM模型對應(yīng)的動作即為該識 別目標(biāo)在時刻t作出的動作。
[0030] 本發(fā)明提供的基于=維骨骼信息的人體動作識別方法具有W下有益技術(shù)效果：
[0031] (1)采用Kinect深度傳感器進(jìn)行圖像獲取，受光照條件、陰影等因素影響較小，能 夠?qū)崟r獲取人體動作的深度圖和骨骼信息，從而準(zhǔn)確地定位場景中的人體目標(biāo)；
[0032] (2)采用歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離與關(guān)節(jié)角度表征不同動 作的特征，使得動作數(shù)據(jù)具有平移和縮放不變性；
[0033] (3)通過多分類SVM模型來完成特征數(shù)據(jù)的訓(xùn)練與分類識別，運(yùn)行成本較低。
【附圖說明】
[0034] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可W 根據(jù)運(yùn)些附圖獲得其他的附圖。
[0035] 圖1為20個骨骼關(guān)節(jié)點(diǎn)的示意圖；
[0036] 圖2為深度圖像坐標(biāo)系、骨骼坐標(biāo)系、屏幕坐標(biāo)系和彩色圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān) 系；
[0037] 圖3a為一彩色圖像的示意圖；
[0038] 圖3b為一深度圖像的示意圖；
[0039] 圖3c為一骨骼圖像的示意圖；
[0040] 圖4a為人體擺手運(yùn)動過程中臀部中屯、與左肩關(guān)節(jié)的相對位置變化曲線；
[0041] 圖4b為人體擺手運(yùn)動過程中臀部中屯、與左肘關(guān)節(jié)的相對位置變化曲線；
[0042] 圖4c為人體擺手運(yùn)動過程中臀部中屯、與左腕關(guān)節(jié)的相對位置變化曲線；
[0043] 圖4d為人體擺手運(yùn)動過程中（左肩，左手肘）與（左手肘，左手腕)運(yùn)兩個向量之間 的角度的變化曲線。
【具體實(shí)施方式】
[0044] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有付出創(chuàng)造性勞動前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0045] 本發(fā)明提供的基于=維骨骼信息的人體動作識別方法包括W下步驟：
[0046] SI:將Kinect深度傳感器固定于與地面平行的相機(jī)支架上，保證Kinect深度傳感 器與地面水平線平行且具有一定的垂直高度，并能拍攝到場景中完整的人體目標(biāo)；
[0047] S2:使用Kinect深度傳感器分別采集多個不同性別和身高的個體樣本分別做出彎 腰、單手舉手、水平舉手、雙手舉手、拍手、叉腰、踢腿、喝水、站立、抱頭、坐、打拳12種動作時 的彩色數(shù)據(jù)流、深度數(shù)據(jù)流和骨骼數(shù)據(jù)流；
[0048] 其中，個體樣本應(yīng)盡量覆蓋較寬的人體身高范圍W及覆蓋男性和女性兩種性別， 例如，應(yīng)選擇身高在155-170之間的女性W及身高在165-180之間的男性作為個體樣本，且 個體樣本的身高在上述范圍內(nèi)盡量均勻分布。另外，個體樣本所作的動作不限于上述12種 動作，可根據(jù)被識別目標(biāo)可能做出的動作進(jìn)行調(diào)整，W提高成功識別幾率。
[0049] S3:采用計(jì)算機(jī)中的化enCV分別將每個個體樣本作出12種動作時采集到的彩色數(shù) 據(jù)流、深度數(shù)據(jù)流W及骨骼數(shù)據(jù)流轉(zhuǎn)換為彩色圖像、深度圖像和骨骼圖像，并將彩色圖像、 深度圖像和骨骼圖像在計(jì)算機(jī)屏幕上進(jìn)行顯示；
[0050] 其中，在深度圖像中，每個像素用2個字節(jié)表示，其中低3位表示用戶索引編號，高 13位表示Kinect深度傳感器與個體樣本的深度距離，本發(fā)明W偽灰度圖像（灰度值為0- 255)來表示獲取到的深度圖像。
[0051] 圖2為深度圖像坐標(biāo)系、骨骼坐標(biāo)需、屏幕坐標(biāo)系和彩色圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān) 系，如圖所示，骨骼空間坐標(biāo)系與深度圖像坐標(biāo)系都是S維坐標(biāo)系，W紅外攝像頭為原點(diǎn)， 與紅外攝像頭和彩色攝像頭平行的方向?yàn)閄軸，與它們垂直的方向?yàn)閅軸，紅外攝像頭的光 軸方向?yàn)閆軸;彩色圖像坐標(biāo)系為二維坐標(biāo)系。計(jì)算機(jī)屏幕坐標(biāo)系是W窗口的左上角為原 點(diǎn)，水平向右為X軸，垂直向下為Y軸。當(dāng)采集到某時刻的動作圖像帖時，將它們顯示到屏幕 中需要進(jìn)行空間坐標(biāo)的轉(zhuǎn)換。
[0052] 圖3曰、圖3b和圖3c分別為一彩色圖像、一深度圖像和一骨骼圖像的示意圖，如圖所 示，由彩色圖像、深度圖像和骨骼圖像均能分辨出個體樣本所作出的動作為哪一種。
[0053] S4:分別從每個個體樣本作出12種動作時采集到的骨骼數(shù)據(jù)流中獲取到相對應(yīng)的 人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值，其中，圖1為20個骨骼關(guān)節(jié)點(diǎn)的示意圖，如圖所示，人體骨骼 關(guān)節(jié)點(diǎn)為人體中的W下20個骨骼關(guān)節(jié)點(diǎn)：頭、肩膀中屯、、左肩、左手肘、左手腕、左手、右肩、 右手肘、右手腕、右手、脊柱、臀部中屯、、左臀、左膝、左腳踩、左腳、右臀、右膝、右腳踩和右 腳；
[0054] 其中，為了減少圖像帖中關(guān)節(jié)點(diǎn)的抖動情況W及人體自身的關(guān)節(jié)點(diǎn)遮擋，設(shè)置了 平滑處理參數(shù)W獲取較準(zhǔn)確的骨骼關(guān)節(jié)點(diǎn)坐標(biāo)值。
[00對 S5:分別根據(jù)每一個個體樣本于站立時，頭的空間位置坐標(biāo)(x日,H，y日,H，z日,H)，左腳 踩的空間坐標(biāo)(X0, AL, yo, AL, ZO, AL)，右腳踩的空間坐標(biāo)(X0, AR, yo, AR, ZO, AR)計(jì)算出每個個體樣本 的身高H，其中，身高H的計(jì)算公式如下：
[0化6]
[0057] ( 2 )
[0化引其中，（xo，yo，zo)為左腳踩與右腳踩中屯、點(diǎn)的坐標(biāo)；
[0059] S6: W臀部中屯、為參考點(diǎn)，分別計(jì)算出每個個體樣本作出12種動作時的其余19個 人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離；
[0060] S7:將計(jì)算出的每個個體樣本作出12種動作時的其余19個人體骨骼關(guān)節(jié)點(diǎn)與參考 點(diǎn)之間的距離分別除W相應(yīng)的個體樣本的身高H，得到歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考 點(diǎn)之間的距離；
[0061 ] S8:根據(jù)S4中得到的人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值，計(jì)算W下14對向量之間的向 量夾角：【（肩膀中屯、，頭），（肩膀中屯、，左肩）】、【（肩膀中屯、，頭），（肩膀中屯、，右肩）】、【（肩膀 中屯、，脊柱），（肩膀中屯、，左肩）】、【（肩膀中屯、，脊柱），（肩膀中屯、，右肩）】、【（肩膀中屯、，左 肩），（左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕)】、【（肩膀中屯、，右肩），（右肩，右 手肘)】、【（右肩，右手肘），（右手肘，右手腕)】、【(脊柱，臀部中屯、），（臀部中屯、，左臀)】、【(脊 柱，臀部中屯、），（臀部中屯、，右臀）】、【（臀部中屯、，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踩）】、【（臀部中屯、，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踩）】，分別得 到每一個體樣本在每一種動作時的14個向量夾角；
[0062] S9:將S7中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離W及S8中得到 的向量夾角經(jīng)過多分類SVM模型訓(xùn)練，得到12種動作的SVM模型，其中，通過S3步驟中顯示在 計(jì)算機(jī)屏幕上的彩色圖像、深度圖像和骨骼圖像與SVM模型進(jìn)行對應(yīng)；
[0063] 其中，由顯示在計(jì)算機(jī)屏幕上的彩色圖像、深度圖像和骨骼圖像能夠看出每一個 體樣本的動作，將其與相應(yīng)的SVM模型對應(yīng)后，可W觀察構(gòu)建出的SVM模型的是否與實(shí)際動 作相符。
[0064] S10:當(dāng)識別目標(biāo)出現(xiàn)在Kinect深度傳感器的采集范圍內(nèi)時，該識別目標(biāo)作出站立 動作，并使用Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流；
[0065] 讓識別目標(biāo)作出站立動作的目的是為了計(jì)算其身高，W便于后續(xù)的歸一化計(jì)算。
[0066] Sll:從采集到的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的頭、左腳踩和右腳踩的=維坐 標(biāo)值；
[0067] S12:根據(jù)步驟S5中的方法計(jì)算得到該識別目標(biāo)的身高化；
[0068] S13:在時刻t，當(dāng)該識別目標(biāo)在Kinect深度傳感器的采集范圍內(nèi)作出任一動作時， Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流；
[0069] S14:從該識別目標(biāo)的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的 =維坐標(biāo)值，20個人體骨骼關(guān)節(jié)點(diǎn)分別為:頭、肩膀中屯、、左肩、左手肘、左手腕、左手、右肩、 右手肘、右手腕、右手、脊柱、臀部中屯、、左臀、左膝、左腳踩、左腳、右臀、右膝、右腳踩和右 腳；
[0070] S15:根據(jù)該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值和S12中得到的該識別 目標(biāo)的身高Hl，按照步驟S6和S7中的方法計(jì)算出該識別目標(biāo)的歸一化后的人體骨骼關(guān)節(jié)點(diǎn) 與參考點(diǎn)之間的距離；
[0071] S16:根據(jù)S14中得到的人體骨骼關(guān)節(jié)點(diǎn)的=維坐標(biāo)值，計(jì)算W下14對向量之間的 向量夾角：【（肩膀中屯、，頭），（肩膀中屯、，左肩）】、【（肩膀中屯、，頭），（肩膀中屯、，右肩）】、【（肩 膀中屯、，脊柱），（肩膀中屯、，左肩）】、【（肩膀中屯、，脊柱），（肩膀中屯、，右肩）】、【（肩膀中屯、，左 肩），（左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕)】、【（肩膀中屯、，右肩），（右肩，右 手肘)】、【（右肩，右手肘），（右手肘，右手腕)】、【(脊柱，臀部中屯、），（臀部中屯、，左臀)】、【(脊 柱，臀部中屯、），（臀部中屯、，右臀）】、【（臀部中屯、，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踩）】、【（臀部中屯、，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踩）】，得到該 識別目標(biāo)在時刻t時的14個向量夾角；
[0072] S17:將S15中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離W及S16中 的得到的14個向量夾角分別輸入至12種動作的SVM模型；
[0073] 特征提取與描述是從運(yùn)動序列中提取合理的數(shù)據(jù)來描述人體動作的不同類型，直 接決定著機(jī)器學(xué)習(xí)分類結(jié)果，是動作識別的主要內(nèi)容。人體之間存在體型的差異，在做相同 動作時存在較大的差異性，若直接W采集到關(guān)節(jié)點(diǎn)坐標(biāo)作為特征數(shù)據(jù)，很難做到特征數(shù)據(jù) 的有效性。對于=維數(shù)據(jù)信息的人體動作識別，本發(fā)明采用歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與 參考點(diǎn)之間的距離與向量夾角兩類信息來進(jìn)行特征提取與描述，減少人體肢體長度、體型 W及身高的影響。
[0074] S18:比較每種SVM模型的輸出概率，輸出概率最大的SVM模型對應(yīng)的動作即為該識 別目標(biāo)在時刻t作出的動作。
[0075] 本發(fā)明中的計(jì)算機(jī)應(yīng)采用較高性能的計(jì)算機(jī)，配置Win7系統(tǒng)或W上，W滿足大量 數(shù)據(jù)的實(shí)時處理要求。
[0076] 圖4a、圖4b和圖4c分別為人體擺手運(yùn)動過程中-臀部中屯、與左肩關(guān)節(jié)、臀部中屯、與 左肘關(guān)節(jié)、臀部中屯、與左腕關(guān)節(jié)之間的相對位置變化曲線。其中，橫軸標(biāo)注的數(shù)字表示數(shù)據(jù) 流中圖像帖的順序，對相對位置的描述采用的是骨骼坐標(biāo)系，參考點(diǎn)為臀部中屯、，W圖4a為 例，圖4a中的S條曲線分別表示人體擺手運(yùn)動過程，左肩關(guān)節(jié)在X軸、y軸和Z軸方向相對于 參考點(diǎn)的位置變化，如圖所示，在人體擺手運(yùn)動過程中，上述變化曲線呈現(xiàn)一定的規(guī)律性， 從而能夠用于人體動作識別。
[0077] 圖4d為人體擺手運(yùn)動過程中（左肩，左手肘）與（左手肘，左手腕)運(yùn)兩個向量之間 的角度的變化曲線，如圖所示，在人體擺手運(yùn)動過程中，（左肩，左手肘)與(左手肘，左手腕） 運(yùn)兩個向量之間的角度呈現(xiàn)先增加后降低的規(guī)律，從而能夠作為動作特征用于動作識別。
[0078] 本發(fā)明提供的基于=維骨骼信息的人體動作識別方法具有W下有益技術(shù)效果：
[0079] (1)采用Kinect深度傳感器進(jìn)行圖像獲取，受光照條件、陰影等因素影響較小，能 夠?qū)崟r獲取人體動作的深度圖和骨骼信息，從而準(zhǔn)確地定位場景中的人體目標(biāo)；
[0080] (2)采用歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離與關(guān)節(jié)角度表征不同動 作的特征，使得動作數(shù)據(jù)具有平移和縮放不變性；
[0081 ] (3)通過多分類SVM模型來完成特征數(shù)據(jù)的訓(xùn)練與分類識別，運(yùn)行成本較低。
[0082] 本領(lǐng)域普通技術(shù)人員可W理解:附圖只是一個實(shí)施例的示意圖，附圖中的模塊或 流程并不一定是實(shí)施本發(fā)明所必須的。
[0083] 本領(lǐng)域普通技術(shù)人員可W理解:實(shí)施例中的裝置中的模塊可W按照實(shí)施例描述分 布于實(shí)施例的裝置中，也可W進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個或多個裝置中。上 述實(shí)施例的模塊可W合并為一個模塊，也可W進(jìn)一步拆分成多個子模塊。
[0084] 最后應(yīng)說明的是：W上實(shí)施例僅用W說明本發(fā)明的技術(shù)方案，而非對其限制;盡管 參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可 W對前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換;而 運(yùn)些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范 圍。
【主權(quán)項(xiàng)】
1. 一種基于三維骨骼信息的人體動作識別方法，其特征在于，包括以下步驟： Sl:將Kinect深度傳感器固定于與地面平行的相機(jī)支架上，保證Kinect深度傳感器與 地面水平線平行且具有一定的垂直高度，并能拍攝到場景中完整的人體目標(biāo)； S2:使用Kinect深度傳感器分別采集多個不同性別和身高的個體樣本分別做出彎腰、 單手舉手、水平舉手、雙手舉手、拍手、叉腰、踢腿、喝水、站立、抱頭、坐、打拳12種動作時的 彩色數(shù)據(jù)流、深度數(shù)據(jù)流和骨骼數(shù)據(jù)流； S3:采用計(jì)算機(jī)中的OpenCV分別將每個個體樣本作出12種動作時采集到的彩色數(shù)據(jù) 流、深度數(shù)據(jù)流以及骨骼數(shù)據(jù)流轉(zhuǎn)換為彩色圖像、深度圖像和骨骼圖像，并將彩色圖像、深 度圖像和骨骼圖像在計(jì)算機(jī)屏幕上進(jìn)行顯示； S4:分別從每個個體樣本作出12種動作時采集到的骨骼數(shù)據(jù)流中獲取到相對應(yīng)的人體 骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)值，其中，人體骨骼關(guān)節(jié)點(diǎn)為人體中的以下20個骨骼關(guān)節(jié)點(diǎn)：頭、肩 膀中心、左肩、左手肘、左手腕、左手、右肩、右手肘、右手腕、右手、脊柱、臀部中心、、左臀、左 膝、左腳踝、左腳、右臀、右膝、右腳踝和右腳； 35:分別根據(jù)每一個個體樣本于站立時，頭的空間位置坐標(biāo)(1〇,[1，5^,11，2(),[〇，左腳踝的 空間坐標(biāo)(XQ, AL, y〇, AL, ZQ, AL)，右腳踝的空間坐標(biāo)(XQ, AR, y〇, AR, ZQ, AR)計(jì)算出每個個體樣本的身 高H，其中，身高H的計(jì)算公式如下：其中，（XQ，yQ，Z())為左腳踝與右腳踝中心點(diǎn)的坐標(biāo)； S6:以臀部中心為參考點(diǎn)，分別計(jì)算出每個個體樣本作出12種動作時的其余19個人體 骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離； S7:將計(jì)算出的每個個體樣本作出12種動作時的其余19個人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之 間的距離分別除以相應(yīng)的個體樣本的身高H，得到歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之 間的距離； S8:根據(jù)S4中得到的人體骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)值，計(jì)算以下14對向量之間的向量夾 角：【（肩膀中心，頭），（肩膀中心，左肩）】、【（肩膀中心，頭），（肩膀中心，右肩）】、【（肩膀中 心，脊柱），（肩膀中心、，左肩）】、【（肩膀中心、，脊柱），（肩膀中心、，右肩）】、【（肩膀中心、，左肩）， (左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕）】、【（肩膀中心，右肩），（右肩，右手 肘）】、【（右肩，右手肘），（右手肘，右手腕）】、【（脊柱，臀部中心），（臀部中心，左臀）】、【（脊 柱，臀部中心），（臀部中心，右臀）】、【（臀部中心，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踝）】、【（臀部中心，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踝）】，分別得 到每一個體樣本在每一種動作時的14個向量夾角； S9:將S7中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離以及S8中得到的向 量夾角經(jīng)過多分類SVM模型訓(xùn)練，得到12種動作的SVM模型，其中，通過S3步驟中顯示在計(jì)算 機(jī)屏幕上的彩色圖像、深度圖像和骨骼圖像與SVM模型進(jìn)行對應(yīng)； SlO :當(dāng)識別目標(biāo)出現(xiàn)在Kinect深度傳感器的采集范圍內(nèi)時，該識別目標(biāo)作出站立動 作，并使用Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流； Sll:從采集到的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的頭、左腳踝和右腳踝的三維坐標(biāo) 值； S12:根據(jù)步驟S5中的方法計(jì)算得到該識別目標(biāo)的身高Hl; S13 :在時刻t，當(dāng)該識別目標(biāo)在Kinect深度傳感器的采集范圍內(nèi)作出任一動作時， Kinect深度傳感器采集該識別目標(biāo)的骨骼數(shù)據(jù)流； S14:從該識別目標(biāo)的骨骼數(shù)據(jù)流中獲取到該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的三維 坐標(biāo)值，20個人體骨骼關(guān)節(jié)點(diǎn)分別為:頭、肩膀中心、左肩、左手肘、左手腕、左手、右肩、右手 肘、右手腕、右手、脊柱、臀部中心、左臀、左膝、左腳踝、左腳、右臀、右膝、右腳踝和右腳； S15:根據(jù)該識別目標(biāo)的20個人體骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)值和S12中得到的該識別目標(biāo) 的身高H1，按照步驟S6和S7中的方法計(jì)算出該識別目標(biāo)的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參 考點(diǎn)之間的距離； S16:根據(jù)S14中得到的人體骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)值，計(jì)算以下14對向量之間的向量 夾角:【（肩膀中心，頭），（肩膀中心，左肩）】、【（肩膀中心，頭），（肩膀中心，右肩）】、【（肩膀中 心，脊柱），（肩膀中心、，左肩）】、【（肩膀中心、，脊柱），（肩膀中心、，右肩）】、【（肩膀中心、，左肩）， (左肩，左手肘）】、【（左肩，左手肘），（左手肘，左手腕）】、【（肩膀中心，右肩），（右肩，右手 肘）】、【（右肩，右手肘），（右手肘，右手腕）】、【（脊柱，臀部中心），（臀部中心，左臀）】、【（脊 柱，臀部中心），（臀部中心，右臀）】、【（臀部中心，左臀），（左臀，左膝）】、【（左臀，左膝），（左 膝，左腳踝）】、【（臀部中心，右臀），（右臀，右膝)】、【（右臀，右膝），（右膝，右腳踝）】，得到該 識別目標(biāo)在時刻t時的14個向量夾角； Sl 7:將Sl 5中得到的歸一化后的人體骨骼關(guān)節(jié)點(diǎn)與參考點(diǎn)之間的距離以及Sl 6中的得 到的14個向量夾角分別輸入至12種動作的SVM模型； Sl8:比較每種SVM模型的輸出概率，輸出概率最大的SVM模型對應(yīng)的動作即為該識別目 標(biāo)在時刻t作出的動作。
【文檔編號】G06K9/00GK106022213SQ201610289796
【公開日】2016年10月12日
【申請日】2016年5月4日
【發(fā)明人】葉青, 張麗, 張永梅
【申請人】北方工業(yè)大學(xué)