一種人體運動姿態(tài)校正系統(tǒng)的制作方法
【專利摘要】一種人體運動姿態(tài)校正系統(tǒng)，包括影像采集模塊、影像標(biāo)準(zhǔn)庫模塊、影像對比模塊、影像校正輸出模塊；影像采集模塊為kinect攝像頭，用于采集具有深度信息的人體影像，構(gòu)建人體骨架數(shù)據(jù)和人體關(guān)節(jié)點數(shù)據(jù)；影像標(biāo)準(zhǔn)庫模塊中存儲有人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)，人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)包括人體骨架數(shù)據(jù)和人體關(guān)節(jié)點數(shù)據(jù)；影像對比模塊將構(gòu)建的人體骨架和人體姿態(tài)歐式距離數(shù)據(jù)與標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)進行比對，得出姿態(tài)是否正確的結(jié)果，并且得出人體姿態(tài)相對正確的姿態(tài)之間的誤差；影像校正輸出模塊，將采集的人體姿態(tài)與影像標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)對比的結(jié)果及偏差信息輸出。本發(fā)明能實現(xiàn)對錯誤的人體運動姿態(tài)進行提醒，以糾正習(xí)練者的動作。
【專利說明】一種人體運動姿態(tài)校正系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及姿態(tài)校正系統(tǒng)，特別是人體運動姿態(tài)校正系統(tǒng)。

【背景技術(shù)】
[0002]當(dāng)前對人體運動姿態(tài)的校正，比如教習(xí)太極拳、五禽戲、高爾夫、網(wǎng)球等等運動項目的基礎(chǔ)動作的教學(xué)，主要是通過教練采用示范動作音傳聲教，教練當(dāng)場進行語音、肢體校正。這種傳統(tǒng)的校正方式，以教練個人的主觀判斷為基準(zhǔn)，很難作到統(tǒng)一規(guī)范。囿于教練自身的水平，比如教練本身的動作錯誤或不標(biāo)準(zhǔn)，造成學(xué)員的動作學(xué)習(xí)的不準(zhǔn)確；而且當(dāng)場校正易受教練當(dāng)時的心情、情緒、練習(xí)環(huán)境等主客觀因素的影響，使得每次校正的標(biāo)準(zhǔn)也會不同。對人體運動的姿態(tài)校正目前還沒有一個相應(yīng)可以標(biāo)準(zhǔn)應(yīng)用的方法。


【發(fā)明內(nèi)容】

[0003]本發(fā)明為解決目前人體運動姿態(tài)校正的問題，提供一種人體運動姿態(tài)校正系統(tǒng)，這種校正系統(tǒng)，能對錯誤的人體運動姿態(tài)進行提醒以使之糾正。
[0004]為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案，包括:
一種人體運動姿態(tài)校正系統(tǒng)，包括影像采集模塊、影像標(biāo)準(zhǔn)庫模塊、影像對比模塊、影像校正輸出模塊；所述的影像采集模塊為kinect攝像頭，用于采集具有深度信息的人體影像，并對采集的影像進行分析，構(gòu)建人體骨架數(shù)據(jù)和人體關(guān)節(jié)點歐氏距離數(shù)據(jù)，以得出人體運動姿態(tài)信息；影像標(biāo)準(zhǔn)庫模塊中存儲有人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)，人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)包括人體骨架數(shù)據(jù)和人體關(guān)節(jié)點數(shù)據(jù)；影像對比模塊將kinect攝像頭構(gòu)建的人體骨架和人體關(guān)節(jié)點歐式距離數(shù)據(jù)與標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)進行比對，得出姿態(tài)是否正確的結(jié)果，并且得出人體姿態(tài)相對正確的姿態(tài)之間的誤差；影像校正輸出模塊，將采集的人體姿態(tài)與影像標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)對比的結(jié)果及誤差信息輸出。
[0005]上述的一種人體運動姿態(tài)校正系統(tǒng)，所述的影像對比模塊按下列步驟對比人體骨架和關(guān)節(jié)點歐氏距離數(shù)據(jù):
第一步、取人體頸、肩、肘、腕、髖、膝、踝為對比節(jié)點；
第二步、從kinect攝像頭取得各個節(jié)點的三維歐氏距離數(shù)據(jù)；
第三步、將從kinect攝像頭取得的節(jié)點數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)庫中的節(jié)點數(shù)據(jù)進行比對，以歐氏距離作為對比單位；
第四步、計算出每個時間段內(nèi)各動作的數(shù)據(jù)與標(biāo)準(zhǔn)動作數(shù)據(jù)間的誤差，即計算出各動作各節(jié)點上的誤差；
第五步、如誤差超出規(guī)定范圍，則判定使用者此時間段內(nèi)動作未達到標(biāo)準(zhǔn)；誤差未超出規(guī)定范圍，則表示使用者當(dāng)前時間段內(nèi)的動作達到標(biāo)準(zhǔn)。
[0006]上述的的一種人體運動姿態(tài)校正系統(tǒng)，所述的誤差規(guī)定范圍為5%。
[0007]上述的一種人體運動姿態(tài)校正系統(tǒng)，所述的人體關(guān)節(jié)點為頸、肩、肘、腕、髖、膝、踝。
[0008]上述的一種人體運動姿態(tài)校正系統(tǒng)，所述的影像校正輸出模塊包括顯示輸出，在顯示屏或通過投影儀在投影幕布上顯示標(biāo)準(zhǔn)運動姿態(tài)影像和采集到的運動姿態(tài)影像，以不同色彩顯示兩種影像，并顯示錯誤節(jié)點。
[0009]上述的一種人體運動姿態(tài)校正系統(tǒng)，所述的運動姿態(tài)影像以人體輪廓顯示或者人體骨架顯示。
[0010]上述的一種人體運動姿態(tài)校正系統(tǒng)，所述的影像校正輸出模塊還包括語音輸出。
[0011]上述的一種人體運動姿態(tài)校正系統(tǒng)，影像標(biāo)準(zhǔn)庫模塊中存儲的人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)，是通過kinect攝像頭采集標(biāo)準(zhǔn)運動姿態(tài)來獲得。
[0012]上述的一種人體運動姿態(tài)校正系統(tǒng)，kinect攝像頭對標(biāo)準(zhǔn)運動姿態(tài)的采集按以下方式進行:對每一能作標(biāo)準(zhǔn)動作的教員，每個動作需采集3次以上的姿態(tài)數(shù)據(jù)，共采集10個教員的數(shù)據(jù)，對這些數(shù)據(jù)取平均值生成運動姿態(tài)標(biāo)準(zhǔn)數(shù)據(jù)。
[0013]本發(fā)明通過具有采集影像深度信息的kinect攝像頭采集習(xí)練者的三維運動姿態(tài)，將之與標(biāo)準(zhǔn)數(shù)據(jù)庫中的標(biāo)準(zhǔn)運動姿態(tài)進行比對，在習(xí)練者動作錯誤時，通過顯示展示和語音提醒進行提示，使習(xí)練者脫離教練員，達到訓(xùn)練標(biāo)準(zhǔn)動作的目的。
[0014]Kinect是微軟在2010年6月14日對XB0X360體感周邊外設(shè)正式發(fā)布的名字?！癒inect”為kinetics (動力學(xué))加上connect1n (連接)兩字所自創(chuàng)的新詞匯，讀音為con-nect (/ken，skt/)，并非 k1-nect (/kin，skt/)或 Kir-nect。
[0015]Kinect攝像頭使用的是一種光編碼(light coding)技術(shù)。不同于傳統(tǒng)的ToF或者結(jié)構(gòu)光測量技術(shù)，light coding使用的是連續(xù)的照明(而非脈沖),也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，這讓方案的成本大大降低。
[0016]Kinect共有三個攝像頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭分別是紅外線發(fā)射器和紅外線CMOS攝像機。此外，kinect還搭配了追焦技術(shù)，底座馬達會隨著對焦物體的移動而轉(zhuǎn)動。
[0017]Light coding,顧名思義就是用光源照明給需要測量的空間編上碼,說到底還是結(jié)構(gòu)光技術(shù)。但與傳統(tǒng)的結(jié)構(gòu)光方法不同的是，他的光源打出去的并不是一副周期性變化的二維的圖像編碼，而是一個具有三維縱深的“體編碼”。這種光源叫做激光散斑(laserspeckle)，是當(dāng)激光照射到粗糙物體或穿透毛玻璃后形成的隨機衍射斑點。
[0018]這些散斑具有高度的隨機性，而且會隨著距離的不同變換圖案。也就是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了標(biāo)記，把一個物體放進這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。當(dāng)然，在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源的標(biāo)定。標(biāo)定的方法是這樣的:每隔一段距離，取一個參考平面，把參考平面上的散斑圖案記錄下來。假設(shè)用戶活動空間是距離kinect攝像頭I米到4米的范圍，每隔1cm取一個參考平面，那么標(biāo)定下來我們就已經(jīng)保存了 30幅散斑圖像。需要進行測量的時候，拍攝一副待測場景的散斑圖像，將這幅圖像和我們保存下來的30幅參考圖像依次做互相關(guān)運算，這樣我們會得到30幅相關(guān)度圖像，而空間中有物體存在的位置，在相關(guān)度圖像上就會顯示出峰值。把這些峰值一層層疊在一起，再經(jīng)過一些插值，就會得到整個場景的三維形狀了。
[0019]微軟針對kinect提供了 SDK (Software Development Kit)即軟件開發(fā)工具包作為kinect攝像頭的開發(fā)接口，它主要特色包括: 原始感測數(shù)據(jù)流:開發(fā)人員能夠直接取得距離傳感器、彩色攝影機以及四單元麥克風(fēng)數(shù)組的原始數(shù)據(jù)流。這些數(shù)據(jù)讓開發(fā)人員可以利用Kinect傳感器的低階數(shù)據(jù)流為基礎(chǔ)進行應(yīng)用程序開發(fā)。
[0020]骨架追蹤:此套SDK能夠追蹤Kinect視野內(nèi)一位或二位用戶的骨架影像，便于建立以體感操作的應(yīng)用程序。
[0021]本發(fā)明就是在kinect的SDK的基礎(chǔ)上進行二次開發(fā),將通過kinect攝像頭獲得的骨架信息進行利用，以校正人體運動姿態(tài)。

【專利附圖】

【附圖說明】
[0022]圖1為本發(fā)明實施例一人體姿態(tài)達標(biāo)時的顯示示意圖。
[0023]圖2為本發(fā)明實施例一人體姿態(tài)未達標(biāo)時的顯示示意圖。
[0024]圖3為本發(fā)明人體影像采集裝置kinect攝像頭的結(jié)構(gòu)原理圖。
[0025]圖4為本發(fā)明人體影像進行采集的流程圖。
[0026]圖5為本發(fā)明人體影像對比的流程圖。
[0027]圖中標(biāo)記為:1紅外線發(fā)射器，2紅外線CMOS攝像頭，3RGB彩色攝像頭，4閃存，5USB接口，6晶振，7外部數(shù)字聲音源，8麥克風(fēng)。

【具體實施方式】
[0028]參照附圖，一種人體運動姿態(tài)校正系統(tǒng)，包括影像采集模塊、影像標(biāo)準(zhǔn)庫模塊、影像對比模塊、影像校正輸出模塊。
[0029]所述的影像采集模塊為kinect攝像頭，獲取的數(shù)據(jù)包括運動者人體的彩色圖像及身體上各部位的三維空間深度信息，構(gòu)建人體骨架數(shù)據(jù)和人體各關(guān)節(jié)點的三維數(shù)據(jù)，以得出人體運動姿態(tài)信息。
[0030]影像標(biāo)準(zhǔn)庫模塊中存儲有人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)。
[0031]利用kinect攝像頭作為影像采集模塊，采集符合運動規(guī)范的系列運動數(shù)據(jù)，形成運動姿態(tài)標(biāo)準(zhǔn)數(shù)據(jù)庫，并進行記錄和保存。所述運動數(shù)據(jù)包括:符合規(guī)范的全套運動數(shù)字視頻影像。
[0032]影像采集模塊需在符合特定環(huán)境場景下進行數(shù)據(jù)的采集，有足夠的環(huán)境光照和亮度，能夠清晰地獲取運動影像。
[0033]采用該影像采集模塊獲取的數(shù)據(jù)，同時獲取運動者人體的彩色圖像及身體上各點的三維空間深度信息。通過這些信息，可進一步計算并獲得運動人體在三維空間中的肢體姿態(tài)信息。其中，普通彩色攝像頭用于獲取運動人體的彩色圖像信息，紅外發(fā)射器及接收器可獲取人體各部位在三維空間中的深度信息。為保證標(biāo)準(zhǔn)數(shù)據(jù)采集的準(zhǔn)確性，對每一符合標(biāo)準(zhǔn)的運動人，每個動作都需采集3次以上的姿態(tài)數(shù)據(jù)，共采集10個運動者的數(shù)據(jù)，對這些數(shù)據(jù)取平均值以生成運動姿態(tài)標(biāo)準(zhǔn)數(shù)據(jù)，并建立人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)庫。
[0034]無論是采集標(biāo)準(zhǔn)人體運動姿態(tài)數(shù)據(jù)，還是采集習(xí)練者的運動姿態(tài)數(shù)據(jù)，都需要計算主要關(guān)節(jié)點的運動數(shù)據(jù)，進而獲得人體姿態(tài)的關(guān)鍵運動數(shù)據(jù)，才能用以對比和分析。計算步驟如下:
O獲取人體骨骼信息:通過kinect攝像頭這一影像采集模塊分別獲得關(guān)于人體的圖像信息和深度信息，根據(jù)這些信息計算得到人體骨架信息，包括骨骼位置、關(guān)節(jié)的標(biāo)識及三維坐標(biāo)數(shù)據(jù)。根據(jù)這些信息生成的骨架圖，是動作軌跡匹配與校正的基礎(chǔ)。
[0035]2)選取主要關(guān)節(jié):為提高姿態(tài)信息及運動軌跡匹配的精確性及使用效率，選取頸、肩、肘、腕、髖、膝、踝關(guān)節(jié)，將這些關(guān)節(jié)作為姿態(tài)信息關(guān)鍵節(jié)點，分別記錄各關(guān)節(jié)位置三維坐標(biāo)數(shù)據(jù)，依據(jù)這些數(shù)據(jù)計算人體其他關(guān)節(jié)點的位置和姿態(tài)信息。
[0036]影像對比模塊:
I)對于每個需匹配的關(guān)鍵動作節(jié)點，對獲取的習(xí)練者的關(guān)節(jié)點的三維姿態(tài)數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)中對應(yīng)關(guān)鍵節(jié)點的數(shù)據(jù)進行比對，計算出每個時間段內(nèi)各動作的數(shù)據(jù)與標(biāo)準(zhǔn)動作數(shù)據(jù)間的誤差，誤差以兩點間歐氏距離表示。歐氏距離(Euclidean distance)也稱歐幾里得距離，它是一個通常采用的距離定義，它是在m維空間中兩個點之間的真實距離。
[0037]2)針對每段時間內(nèi)動作，系統(tǒng)根據(jù)動作規(guī)范要求，計算出各動作各關(guān)鍵節(jié)點上不同的誤差范圍。
[0038]3)將獲取的使用者動作關(guān)鍵關(guān)節(jié)點上的三維數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)進行比對，如誤差超出規(guī)定范圍，則判定使用者此時間段內(nèi)動作未能達到標(biāo)準(zhǔn)；誤差未超出規(guī)定范圍，本例中誤差范圍限定為5%，則表示使用者當(dāng)前時間段內(nèi)的動作達到標(biāo)準(zhǔn)。
[0039]人體運動姿態(tài)校正輸出模塊:
本系統(tǒng)通過顯示屏幕輸出與語音提示兩種方法提示使用者同時進行運動姿態(tài)的校正。
[0040]參照附圖1和圖2，右側(cè)骨架為標(biāo)準(zhǔn)姿態(tài)骨架，左側(cè)為對習(xí)練者取樣生成的骨架。在圖2上，可以看到有突出顯示的關(guān)節(jié)點，這些關(guān)節(jié)點就是動作不到位、不標(biāo)準(zhǔn)的圖像提
/Jn ο
[0041]若使用者未達到標(biāo)準(zhǔn)動作，系統(tǒng)將對姿態(tài)未達標(biāo)準(zhǔn)的關(guān)節(jié)進行突出顯示，并在屏幕上以方向箭頭和文字提示應(yīng)當(dāng)如何進行調(diào)整，即某個部位應(yīng)向哪個方向移動多少距離。同時，對未達標(biāo)準(zhǔn)的關(guān)節(jié)進行語音提示，通過音響設(shè)備輸出相關(guān)語音，提示用戶應(yīng)當(dāng)如何進行調(diào)整，即某個部位應(yīng)向哪種方向移動多少距離。直到其姿態(tài)完全符合系統(tǒng)規(guī)定的動作標(biāo)準(zhǔn)。如果，這一動作習(xí)練者在當(dāng)次經(jīng)反復(fù)努力都不能完成，也可以選擇跳過，進入下一個動作的校正。
[0042]使用者達到標(biāo)準(zhǔn)的動作,或在經(jīng)過校正調(diào)整后達到動作標(biāo)準(zhǔn),可繼續(xù)執(zhí)行下一動作。
【權(quán)利要求】
1.一種人體運動姿態(tài)校正系統(tǒng)，其特征在于: 包括影像采集模塊、影像標(biāo)準(zhǔn)庫模塊、影像對比模塊、影像校正輸出模塊；所述的影像采集模塊為kinect攝像頭，用于采集具有深度信息的人體影像，并對采集的影像進行分析，構(gòu)建人體骨架數(shù)據(jù)和人體關(guān)節(jié)點歐氏距離數(shù)據(jù)，以得出人體運動姿態(tài)信息；影像標(biāo)準(zhǔn)庫模塊中存儲有人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)，人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)包括人體骨架數(shù)據(jù)和人體關(guān)節(jié)點數(shù)據(jù)；影像對比模塊將kinect攝像頭構(gòu)建的人體骨架和人體關(guān)節(jié)點歐式距離數(shù)據(jù)與標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)進行比對，得出姿態(tài)是否正確的結(jié)果，并且得出人體姿態(tài)相對正確的姿態(tài)之間的誤差；影像校正輸出模塊，將采集的人體姿態(tài)與影像標(biāo)準(zhǔn)庫中的標(biāo)準(zhǔn)運動姿態(tài)對比的結(jié)果及誤差信息輸出。
2.如權(quán)利要求1所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的影像對比模塊按下列步驟對比人體骨架和關(guān)節(jié)點歐氏距離數(shù)據(jù): 取人體頸、肩、肘、腕、髖、膝、踝為對比節(jié)點； 從kinect攝像頭取得各個節(jié)點的三維歐氏距離數(shù)據(jù)； 將從kinect攝像頭取得的節(jié)點數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)庫中的節(jié)點數(shù)據(jù)進行比對，以歐氏距離作為對比單位； 計算出每個時間段內(nèi)各動作的數(shù)據(jù)與標(biāo)準(zhǔn)動作數(shù)據(jù)間的誤差，即計算出各動作各節(jié)點上的誤差； 如誤差超出規(guī)定范圍，則判定使用者此時間段內(nèi)動作未達到標(biāo)準(zhǔn)；誤差未超出規(guī)定范圍，則表示使用者當(dāng)前時間段內(nèi)的動作達到標(biāo)準(zhǔn)。
3.如權(quán)利要求2所述的的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的誤差規(guī)定范圍為5%。
4.如權(quán)利要求1所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的人體關(guān)節(jié)點為頸、肩、肘、腕、髖、膝、踝。
5.如權(quán)利要求1所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的影像校正輸出模塊包括顯示輸出，在顯示屏或通過投影儀在投影幕布上顯示標(biāo)準(zhǔn)運動姿態(tài)影像和采集到的運動姿態(tài)影像，以不同色彩顯示兩種影像，并顯示錯誤節(jié)點。
6.如權(quán)利要求5所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的運動姿態(tài)影像以人體輪廓顯示或者人體骨架顯示。
7.如權(quán)利要求1所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于所述的影像校正輸出模塊還包括語音輸出。
8.如權(quán)利要求1所述的一種人體運動姿態(tài)校正系統(tǒng)，其特征在于影像標(biāo)準(zhǔn)庫模塊中存儲的人體標(biāo)準(zhǔn)運動姿態(tài)數(shù)據(jù)，是通過kinect攝像頭采集標(biāo)準(zhǔn)運動姿態(tài)來獲得。
9.如權(quán)利要求8所述的一種人體運動姿態(tài)校正系統(tǒng),其特征在于kinect攝像頭對標(biāo)準(zhǔn)運動姿態(tài)的采集按以下方式進行:對每一能作標(biāo)準(zhǔn)動作的教員，每個動作需采集3次以上的姿態(tài)數(shù)據(jù)，共采集10個教員的數(shù)據(jù)，對這些數(shù)據(jù)取平均值生成運動姿態(tài)標(biāo)準(zhǔn)數(shù)據(jù)。
【文檔編號】G06T7/20GK104200491SQ201410401905
【公開日】2014年12月10日 申請日期:2014年8月15日 優(yōu)先權(quán)日:2014年8月15日
【發(fā)明者】史曉林, 李志敏, 王健慶, 李旭云, 李懿, 李靜偉, 潘定權(quán) 申請人:浙江省新華醫(yī)院