專利名稱：基于動作分解和行為分析實現(xiàn)實景游戲的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于動作分解和行為分析實現(xiàn)實景游戲的方法。
背景技術(shù)：
目前游戲市場發(fā)展迅速，各種游戲主機層出不窮，并搭配有豐富多彩的游戲軟件， 以滿足消費者的需求。游戲的交互方式，從早期的通過鍵盤與游戲操作手柄來進(jìn)行，漸漸的進(jìn)化成基于重力、速度等傳感器的方式。早期的通過鍵盤和手柄來操作游戲的方式，游戲者往往是長時間不斷的坐在屏幕前操作游戲，對游戲者的身體健康狀況有很大的傷害。而基于傳感器的實景游戲仍然存在可玩性和方便性不高的缺點，而且成本較高。因此需要一種互動性更好，操作起來更方便，給游戲者真實感更強，成本更低的工作模式來提高游戲的可玩性和滿足普通大眾廣泛接受要求。

發(fā)明內(nèi)容
本發(fā)明的目的為了克服上述現(xiàn)有技術(shù)存在的問題及缺點，提供一種基于動作分解和行為分析實現(xiàn)實景游戲的方法，本發(fā)明具有交互性更強、操作更簡便、真實感更強，成本低廉的實景游戲?qū)崿F(xiàn)方法?；趧幼鞣纸夂托袨榉治鰧崿F(xiàn)實景游戲的裝置，包括雙目同步攝像機、游戲主機、 圖像畫面顯示器和多種特征標(biāo)記物，其中游戲主機分為四個模塊1)預(yù)裝數(shù)據(jù)庫模塊；2)時序控制模塊；3)圖像分析獲取人體行為指令模塊；4)游戲執(zhí)行模塊，裝置結(jié)構(gòu)圖如圖1所示；雙目同步攝像機與游戲主機通過數(shù)據(jù)線連接，游戲主機與圖像畫面顯示器通過數(shù)據(jù)線連接，多種特征標(biāo)記物佩戴在使用者的人體關(guān)鍵關(guān)節(jié)上。所述的預(yù)裝數(shù)據(jù)庫模塊為行為指令分析模塊和游戲執(zhí)行模型所共享。所述的時序控制模塊實現(xiàn)行為指令信息和通信指令信號在預(yù)裝數(shù)據(jù)庫模塊、行為指令分析模塊和游戲執(zhí)行模塊之間進(jìn)行傳輸和執(zhí)行。本裝置的使用方式為使用者有選擇的在人體關(guān)鍵關(guān)節(jié)上佩戴特征標(biāo)記物，雙目同步攝像機實時獲取佩戴有特征標(biāo)記物的使用者的運動狀態(tài)圖像，游戲主機的行為指令生成機構(gòu)讀取雙目攝像機拍攝的雙目圖像，進(jìn)行人體姿勢分析，得到人體姿勢指令后，將該指令發(fā)送到游戲執(zhí)行單元，實現(xiàn)讓虛擬人物按使用者動作方式進(jìn)行動作，游戲執(zhí)行單元將生成的游戲圖像傳送到圖像畫面顯示器。預(yù)裝數(shù)據(jù)庫模塊的信息包括人體骨架模型和游戲動作分解姿勢庫，以上信息預(yù)裝在游戲主機內(nèi)部。游戲時，通過交互方式，使用者選擇特征標(biāo)記物，配置多種特征標(biāo)記物是避免和游戲者服裝或背景相沖突而導(dǎo)致特征目標(biāo)無法檢測，在進(jìn)行實際游戲時根據(jù)游戲類型的需要選擇佩戴特征標(biāo)記物及特征標(biāo)記物的個數(shù)。標(biāo)記物體積小，重量輕，方便游戲者佩戴，并對游戲者的操作無任何限制和影響。游戲主機的行為指令生成機構(gòu)通過分析獲取的雙目圖像產(chǎn)生捕捉到的姿勢信息，與游戲執(zhí)行單元進(jìn)行通信，使得游戲執(zhí)行單元中的虛擬人物按使用者的動作方式進(jìn)行動作。基于動作分解和行為分析實現(xiàn)實景游戲的方法，按以下步驟進(jìn)行(1)在離線狀態(tài)下，在游戲主機內(nèi)建立人體骨架模型；( 在離線狀態(tài)下，以人體骨架模型在游戲主機內(nèi)建立游戲動作庫，按游戲類型分別建立動作庫，并對單個語義動作進(jìn)行多幀動作分解；(3) 在離線狀態(tài)下，對雙目攝像機進(jìn)行標(biāo)定獲取雙目攝像機參數(shù)及雙目攝像機極線校準(zhǔn)；(4) 在游戲主機內(nèi)建立背景模型；( 游戲者人體關(guān)鍵節(jié)點處佩戴特征標(biāo)記物；(6)游戲主機通過雙目同步攝像機及背景模型對游戲區(qū)域進(jìn)行前景分割；(7)游戲主機通過雙目同步攝像機初始化游戲者佩戴的特征標(biāo)記物，并獲取特征標(biāo)記物的位置信息及對應(yīng)的肢體名稱，獲取游戲者的身體尺寸信息并保存；(8)游戲主機通過雙目同步攝像機對人臉及膚色進(jìn)行檢測，獲取人體關(guān)鍵節(jié)點位置信息；(9)游戲主機通過雙目同步攝像機對臉部、雙手及特征標(biāo)記物進(jìn)行跟蹤，獲取游戲者感興趣區(qū)域塊而得到連續(xù)人體關(guān)鍵節(jié)點區(qū)域位置信息；(10)游戲主機通過雙目同步攝像機對左右圖像中的臉部、雙手及特征標(biāo)記物進(jìn)行稀疏立體匹配， 獲取游戲者各肢體部位在左右圖像上的視差信息；(11)游戲主機通過雙目同步攝像機對各肢體部位空間坐標(biāo)信息獲取，實時獲取人體3D骨架模型并進(jìn)行歸一化處理并獲得標(biāo)準(zhǔn)人體模型；(12)游戲主機將游戲者的動作與離線動作庫中動作進(jìn)行匹配實現(xiàn)動作識別，結(jié)合單幀圖像分析匹配和多幀圖像分析匹配，進(jìn)行動作識別，得到語義動作后傳遞到游戲主機的執(zhí)行單元，實現(xiàn)實景游戲。在本發(fā)明中，游戲裝置可以執(zhí)行多種游戲，如網(wǎng)球，羽毛球，乒乓球游戲等。每一個游戲中涉及到多個動作，游戲主機的執(zhí)行單元根據(jù)游戲動作識別單元發(fā)送的指令，控制游戲中的虛擬角色的行為，并將結(jié)果作為游戲畫面而進(jìn)行顯示并輸出。在本發(fā)明中，不需要與游戲者進(jìn)行接觸就可以理解游戲者的動作行為。雙目攝像機構(gòu)采集到游戲者的圖像數(shù)據(jù)，然后由圖像分析單元識別出游戲者的姿態(tài)行為，并能分析出游戲者動作的快慢，進(jìn)而生成游戲指令控制游戲中的虛擬角色的行為。



獲取雙目攝像機的內(nèi)參參數(shù)(焦距f，中心位置)及外參參數(shù)(空間位置關(guān)系)。 得到參數(shù)保存為文件。同時打開雙目攝像機，調(diào)整左右攝像機焦距使得觀察1.5m左右(Hm范圍)處景物，左右圖像達(dá)到基本相同清晰度。采用張正友攝像機標(biāo)定方法，選擇黑白棋盤格平板為標(biāo)
定樣品。根據(jù)圖像坐標(biāo)與世界坐標(biāo)間的轉(zhuǎn)換關(guān)系如式⑴所示二維圖像坐標(biāo)(u，v)，空間世界坐標(biāo)(X，Y，Z)，攝像機系統(tǒng)內(nèi)部參數(shù)(fx，fy，u。，v。)。世界坐標(biāo)經(jīng)過外參矩陣(R3*3為旋轉(zhuǎn)矩陣，為平移矩陣)變化后轉(zhuǎn)換為攝像機坐標(biāo)，攝像機坐標(biāo)經(jīng)過攝像機內(nèi)參矩陣變換后轉(zhuǎn)換為圖像坐標(biāo)。
權(quán)利要求
1.基于動作分解和行為分析實現(xiàn)實景游戲的方法，其特征在于按以下步驟進(jìn)行(1) 在離線狀態(tài)下，在游戲主機內(nèi)建立人體骨架模型；(2)在離線狀態(tài)下，以人體骨架模型在游戲主機內(nèi)建立游戲動作庫，按游戲類型分別建立動作庫，并對單個語義動作進(jìn)行多幀動作分解；C3)在離線狀態(tài)下，對雙目攝像機進(jìn)行標(biāo)定獲取雙目攝像機參數(shù)及雙目攝像機極線校準(zhǔn)；(4)在游戲主機內(nèi)建立背景模型；( 游戲者人體關(guān)鍵節(jié)點處佩戴特征標(biāo)記物；(6) 游戲主機通過雙目同步攝像機及背景模型對游戲區(qū)域進(jìn)行前景分割；(7)游戲主機通過雙目同步攝像機初始化游戲者佩戴的特征標(biāo)記物，并獲取特征標(biāo)記物的位置信息及對應(yīng)的肢體名稱，獲取游戲者的身體尺寸信息并保存；(8)游戲主機通過雙目同步攝像機對人臉及膚色進(jìn)行檢測，獲取人體關(guān)鍵節(jié)點位置信息；(9)游戲主機通過雙目同步攝像機對臉部、雙手及特征標(biāo)記物進(jìn)行跟蹤，獲取游戲者感興趣區(qū)域塊而得到連續(xù)人體關(guān)鍵節(jié)點區(qū)域位置信息；(10)游戲主機通過雙目同步攝像機對左右圖像中的臉部、雙手及特征標(biāo)記物進(jìn)行稀疏立體匹配，獲取游戲者各肢體部位在左右圖像上的視差信息；(11)游戲主機通過雙目同步攝像機對各肢體部位空間坐標(biāo)信息獲取，實時獲取人體3D骨架模型并進(jìn)行歸一化處理并獲得標(biāo)準(zhǔn)人體模型；(12)游戲主機將游戲者的動作與離線動作庫中動作進(jìn)行匹配實現(xiàn)動作識別，結(jié)合單幀圖像分析匹配和多幀圖像分析匹配，進(jìn)行動作識別，得到語義動作后傳遞到游戲主機的執(zhí)行單元，實現(xiàn)實景游戲。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的建立人體骨架模型主要為將人體模型中的頭部、左肩、右肩、左肘、右肘、左手、右手、腹部、左髖、右髖、左膝、右膝、左腳、右腳的關(guān)健節(jié)點建立標(biāo)準(zhǔn)人體模型。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于所述的建立游戲動作庫為將游戲中涉及到的動作進(jìn)行捕捉并建立動作庫，并根據(jù)游戲名稱劃分動作庫，每一款游戲配置一個動作庫，以文件形式保存。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于建立背景模型在無人場景內(nèi)對背景區(qū)域進(jìn)行高斯混合模型建模，學(xué)習(xí)模型參數(shù)，對每個像素建立一個混合高斯分布保證第一幀的學(xué)習(xí)率為1，初始化第一個分布后，后面按設(shè)置的學(xué)習(xí)率更新模型參數(shù)，學(xué)習(xí)過程中設(shè)定學(xué)習(xí)率小于1。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于初始化特征標(biāo)記物信息在初始化過程中，游戲者按提示擺出動作并等待游戲開始提示；根據(jù)游戲項目內(nèi)容設(shè)置佩戴特征標(biāo)記物部位和特征標(biāo)記物個數(shù)，由于特征標(biāo)記物個數(shù)已知、人體區(qū)域經(jīng)過前景分割已知、特征標(biāo)記物的位置已知；根據(jù)特征標(biāo)記物的位置，確定在前景圖像中的感興趣區(qū)域，在該區(qū)域進(jìn)行顏色聚類，且特征標(biāo)記物尺寸大小已知與游戲者身體尺寸的尺寸比例已知，根據(jù)聚類區(qū)域的幾何特征分析，得到特征標(biāo)記物聚類結(jié)果；根據(jù)聚類區(qū)域與人體的相對位置關(guān)系，得到相應(yīng)的肢體名稱；根據(jù)聚類區(qū)域反推到RGB顏色空間中，獲取特征標(biāo)記物聚類區(qū)域的三通道直方圖信息并保存；因此對于每個特征標(biāo)記物獲取的特征信息包括標(biāo)記區(qū)域的最小外接矩形；標(biāo)記區(qū)域的中心位置，三通道直方圖信息及肢體名稱信息。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于對臉部、雙手及特征標(biāo)記物進(jìn)行跟蹤獲取游戲者感興趣區(qū)域塊而得到連續(xù)人體關(guān)鍵節(jié)點區(qū)域位置信息根據(jù)初始化過程中得到的特征標(biāo)記物顏色信息和膚色特征信息，對當(dāng)前觀察圖像進(jìn)行閾值預(yù)處理，閾值設(shè)置按a)膚色特征和b)特征標(biāo)記物顏色特征兩個特征進(jìn)行設(shè)置，合并兩個閾值處理后區(qū)域，獲得目標(biāo)感興趣區(qū)域塊；計算檢測到的目標(biāo)塊區(qū)域特征，與初始狀態(tài)目標(biāo)特征進(jìn)行匹配，確定目標(biāo)塊區(qū)域所屬肢體部位，結(jié)合卡爾曼濾波方法，對跟蹤目標(biāo)的位置采用線性運動模型進(jìn)行預(yù)測，根據(jù)觀測值的位置信息和顏色特征信息，修正預(yù)測，更新目標(biāo)狀態(tài)。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于游戲主機通過雙目同步攝像機對左右圖像中的臉部、雙手及特征標(biāo)記物進(jìn)行稀疏立體匹配，獲取游戲者各肢體部位在左右圖像上的視差信息根據(jù)左右圖像中的臉部、雙手和特征標(biāo)記物的位置信息，選取相同區(qū)域特征點，進(jìn)行特征點匹配，采用特征點匹配算法，圖像經(jīng)過極線校準(zhǔn)后，有特征點左右圖像在同一行的約束優(yōu)勢。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于人體3D骨架模型獲取根據(jù)極線校準(zhǔn)參數(shù)，由視場信息計算出游戲者的各部位空間坐標(biāo)參數(shù)，根據(jù)視差與空間深度的關(guān)系，得到各部位的空間坐標(biāo)信息，從而得到人體3D骨架模型，根據(jù)游戲者身體尺寸信息，將實時獲取的人體3D骨架模型歸一化到標(biāo)準(zhǔn)人體模型；視差計算，匹配特征點分別對應(yīng)于空間中同一點在左右圖像中位置信息，得到視差；模型歸一化處理人體身高歸一化為1，離攝像機距離轉(zhuǎn)換到與動作庫中設(shè)定距離一致，得到縮放比例系數(shù)，依據(jù)該系數(shù)調(diào)正人體各關(guān)節(jié)點坐標(biāo)位置和肢體長度信息，為后期的動作匹配做準(zhǔn)備。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于動作識別將獲取到的歸一化的人體3D骨架模型與離線動作庫中的動作進(jìn)行匹配，包括單幀圖像匹配和多幀圖像匹配，進(jìn)行動作識別；單幀圖像匹配為肢體節(jié)點位置，多肢體節(jié)點順序關(guān)系，相鄰肢體節(jié)點連線長度，相鄰肢體節(jié)點連線角度；多幀圖像匹配關(guān)鍵肢體節(jié)點運動軌跡在η幀圖像中的運動軌跡；匹配度包括單幀圖像肢體節(jié)點的匹配度和多幀圖像的匹配度的來得到，如當(dāng)前姿勢或動作序列與動作庫中某一個姿勢或動作序列的差異度最小，即匹配度最大，獲得動作名稱信息。
全文摘要
本發(fā)明涉及實現(xiàn)實景游戲的方法，按以下步驟進(jìn)行(1)建立人體骨架模型；(2)離線建立游戲動作庫，按游戲項目分別建立動作庫，對單個語義動作進(jìn)行多幀動作分解；(3)對雙目攝像機標(biāo)定獲取雙目攝像機參數(shù)和極線校準(zhǔn)；(5)背景建模；(6)選擇交互式特征標(biāo)記物；(7)前景分割；(8)初始化特征標(biāo)記物信息；(9)人臉及膚色檢測；(10)多目標(biāo)跟蹤；(11)稀疏立體匹配；(12)3D骨架獲??；(13)與離線動作庫中動作進(jìn)行匹配實現(xiàn)動作識別，結(jié)合單幀圖像分析匹配和多幀圖像分析匹配。得到語義動作后傳遞到游戲執(zhí)行單元，實現(xiàn)實景游戲功能。本發(fā)明具有交互性更強、操作更簡便、真實感更強，成本低的游戲?qū)崿F(xiàn)方法，更適合普通大眾廣泛接受。
文檔編號A63F13/10GK102179048SQ20111004697
公開日2011年9月14日 申請日期2011年2月28日 優(yōu)先權(quán)日2011年2月28日
發(fā)明者黃立 申請人:武漢市高德電氣有限公司