專利名稱：基于玩家姿勢和語音的電子游戲場景和角色控制方法
技術領域：
本發(fā)明涉及圖像分析與識別技術領域，特別是一種基于玩家姿勢和語音的子游戲場景和角色控制方法。
背景技術：
近年來，隨著計算機技術的革新，以計算機游戲為代表的數(shù)字娛樂產(chǎn)業(yè)飛速發(fā)展。作為一類特殊的應用軟件，計算機游戲通過向游戲用戶提供一系列的菜單選項和操作指令，實現(xiàn)用戶與游戲之間的交互操作。用于游戲的傳統(tǒng)人機交互方式有鼠標鍵盤、游戲桿及專用游戲設備等，以手動和有線連接為主。伴隨計算機游戲種類與內(nèi)容的不斷擴展豐富，其操作復雜性劇增，仍然僅采用傳統(tǒng)交互方式，越來越難于控制。游戲用戶期望能以更自然、更智能的新方式進行交互操作，如采用自身語音、姿體動作等，由此可使游戲更具交互性和沉浸感。隨著計算機視覺和語音識別技術的發(fā)展，應用視覺和語音技術進行自然的人機交互已經(jīng)成為可能，由于攝像頭、聲卡及麥克風已經(jīng)成為計算機常用的配置，這種技術的應用也就具有廣闊的前景。
采用姿勢與語音的游戲場景控制，就是用玩家的姿勢和語音取代傳統(tǒng)的鍵盤鼠標，僅通過攝像頭拍攝玩家姿態(tài)及其運動狀態(tài)，并通過麥克風錄入玩家的語音命令，在計算機中進行分析和識別，并將結(jié)果轉(zhuǎn)化為游戲的控制指令，實現(xiàn)對游戲中場景和人物的直接控制，以代替或輔助傳統(tǒng)的游戲交互方式。由于游戲?qū)崟r性要求高，因此視頻檢測和語音識別方法必需實時、魯棒。為便于用戶使用，這種控制方法還必需易于實現(xiàn)和操作。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于玩家姿勢和語音的電子游戲場景和角色控制方法。
本發(fā)明的另一個目的是提供一種實時魯棒的電子游戲場景和角色控制方法，運用計算機視覺和語音識別技術對玩家姿態(tài)和語音進行識別，對通過攝像頭和聲卡設備捕獲到的圖像和語音進行處理，并實時地、魯棒地檢測出特定姿態(tài)的位置、方向以及語音的命令，轉(zhuǎn)換為游戲指令。
為實現(xiàn)上述目的，基于玩家姿勢和語音的電子游戲場景和角色控制方法步驟包括①通過攝像頭設備，實時捕獲圖像并進行光線校正，去噪等預處理；②利用人體姿態(tài)運動的時間和空間特征進行分割，將分割后的圖像進行特征提取、分析，求得姿態(tài)特征點位置，方向及他們組成的基本形狀參數(shù)；通過規(guī)則處理，將標志的位置狀態(tài)，轉(zhuǎn)化為游戲控制命令；③同時將從聲卡獲得的聲音，采用現(xiàn)有的語音識別技術進行模型匹配識別，并轉(zhuǎn)化為相應的游戲控制命令；④最后，通過游戲的控制接口驅(qū)動游戲，或者直接修改自行開發(fā)游戲的內(nèi)部模型參數(shù)。


圖1是本發(fā)明的基于玩家姿勢和語音的電子游戲場景和角色控制方法流程圖。
圖2是多通道游戲場景控制示意圖。
圖3是采用本方法的游戲控制示意圖。
圖4是視頻和聲音的識別結(jié)果，映射到相應的游戲控制中的流程圖。
具體實施例方式
基于玩家姿勢和語音的電子游戲場景和角色控制方法，圖1所示，具體步驟如下(1)獲取幀圖像通過高速圖像捕獲模塊從攝像頭獲取實時圖像，不僅要分析每一幀，還要對相鄰幀進行跟蹤處理，同時考慮到控制的精度，要求采集速度達到實時；(2)基于時空聯(lián)系的分割考慮到算法的簡便性與魯棒性的要求，我們設計了基于模型的分割方法，進一步結(jié)合時空相關性信息，消除噪聲等引起的偏差，另外通過對亮度的分析補償，從而盡可能的消除光照變化的影響；(3)特征提取與識別進一步分析和識別分割出來的區(qū)域，分別對不同區(qū)域單獨進行特征分析，提取出具有旋轉(zhuǎn)縮放不變性的特征，并通過上一時刻的結(jié)果進行跟蹤校驗及預測；(4)參數(shù)提取通過不同區(qū)域特征的相關性信息，例如相對位置和角度等，可以形成場景的控制信息，也可以提取位置坐標信息；(5)語音輸入通過麥克風、聲卡采集實時語音數(shù)據(jù)，包括降噪等預處理；(6)語音識別采用非特定人、連續(xù)語音識別方法，識別某些離散且實時性要求不高的命令，如啟動，停止等；(7)命令實現(xiàn)最后將識別的結(jié)果，通過預先定義好的命令集進行映射轉(zhuǎn)換，得到游戲的控制信息；(8)多通道融合將姿態(tài)和語音的控制信息結(jié)合，形成高效全面的游戲場景控制指令。
多通道的命令融合如圖2所示鍵盤和鼠標的輸入數(shù)據(jù)通過傳統(tǒng)通道、麥克風的語音通過語音通道、攝像頭的圖像信號通過視頻通道輸入到多通道整合器，再輸入到游戲控制器。
將視頻和聲音的識別結(jié)果，映射到相應的游戲控制中，其實例可參見圖3。
圖4的視頻和聲音的識別結(jié)果，映射到相應的游戲控制中，其基本步驟如下1)首先對場景控制命令進行分類，根據(jù)視頻快速、具有連續(xù)模擬輸出但比較簡單直觀的特點，以及語音具有自然快捷的特點，對所需的命令集進行分類，用姿態(tài)自然的控制場景的方向，用語音控制相關的啟動，加速，停止等命令操作，形成完整的控制方式；2)基于姿態(tài)的控制，首先需要設定各姿態(tài)及其相對位置與對應游戲場景控制的對應關系，然后通過攝像頭，實時采集人體的姿態(tài)及其運動狀態(tài)，進行在線分析和識別，根據(jù)當前的狀態(tài)，采用一定的預測跟蹤算法，輸出相應的控制量；3)基于語音的控制，首先需要建立關鍵詞庫，以及關鍵詞與相關命令的映射表，然后通過麥克風采集玩家的語音信號，根據(jù)語音的識別結(jié)果，產(chǎn)生相應的控制命令；4)游戲控制接口，將姿態(tài)語音的命令，實時整合到游戲的人物和場景控制中，或者直接調(diào)整模型達到控制的目的。
權利要求
1.一種基于玩家姿勢和語音的電子游戲場景和角色控制方法，步驟包括①通過攝像頭設備，實時捕獲圖像并進行光線校正，去噪等預處理；②利用人體姿態(tài)運動的時間和空間特征進行分割，將分割后的圖像進行特征提取、分析，求得姿態(tài)特征點位置，方向及他們組成的基本形狀參數(shù)；通過規(guī)則處理，將標志的位置狀態(tài)，轉(zhuǎn)化為游戲控制命令；③同時將從聲卡獲得的聲音，采用現(xiàn)有的語音識別技術進行模型匹配識別，并轉(zhuǎn)化為相應的游戲控制命令；④最后，通過游戲的控制接口驅(qū)動游戲，或者直接修改自行開發(fā)游戲的內(nèi)部模型參數(shù)。
2.根據(jù)權利要求1的基于玩家姿勢和語音的電子游戲場景和角色控制方法，具體步驟如下(1)獲取幀圖像通過高速圖像捕獲模塊從攝像頭獲取實時圖像，不僅要分析每一幀，還要對相鄰幀進行跟蹤處理，同時考慮到控制的精度，要求采集速度達到實時；(2)基于時空聯(lián)系的分割考慮到算法的簡便性與魯棒性的要求，設計了基于模型的分割方法，進一步結(jié)合時空相關性信息，消除噪聲等引起的偏差，另外通過對亮度的分析補償，從而盡可能的消除光照變化的影響；(3)特征提取與識別進一步分析和識別分割出來的區(qū)域，分別對不同區(qū)域單獨進行特征分析，提取出具有旋轉(zhuǎn)縮放不變性的特征，并通過上一時刻的結(jié)果進行跟蹤校驗及預測；(4)參數(shù)提取通過不同區(qū)域特征的相關性信息，相對位置和角度，可以形成場景的控制信息，也可以提取位置坐標信息；(5)語音輸入通過麥克風、聲卡采集實時語音數(shù)據(jù)，包括降噪等預處理；(6)語音識別采用非特定人、連續(xù)語音識別方法，識別某些離散且實時性要求不高的命令，如啟動，停止；(7)命令實現(xiàn)最后將識別的結(jié)果，通過預先定義好的命令集進行映射轉(zhuǎn)換，得到游戲的控制信息；(8)多通道融合將姿態(tài)和語音的控制信息結(jié)合，形成高效全面的游戲場景控制指令。
3.根據(jù)權利要求2的基于玩家姿勢和語音的電子游戲場景和角色控制方法，多通道融合步驟如下鍵盤和鼠標的輸入數(shù)據(jù)通過傳統(tǒng)通道、麥克風的語音通過語音通道、攝像頭的圖像信號通過視頻通道輸入到多通道整合器，再輸入到游戲控制器。
4.根據(jù)權利要求1的基于玩家姿勢和語音的電子游戲場景和角色控制方法，視頻和聲音的識別結(jié)果，映射到相應的游戲控制中，具體步驟如下1)首先對場景控制命令進行分類，根據(jù)視頻快速、具有連續(xù)模擬輸出但比較簡單直觀的特點，以及語音具有自然快捷的特點，對所需的命令集進行分類，用姿態(tài)自然的控制場景的方向，用語音控制相關的啟動，加速，停止等命令操作，形成完整的控制方式；2)基于姿態(tài)的控制，首先需要設定各姿態(tài)及其相對位置與對應游戲場景控制的對應關系，然后通過攝像頭，實時采集人體的姿態(tài)及其運動狀態(tài)，進行在線分析和識別，根據(jù)當前的狀態(tài)，采用一定的預測跟蹤算法，輸出相應的控制量；3)基于語音的控制，首先需要建立關鍵詞庫，以及關鍵詞與相關命令的映射表，然后通過麥克風采集玩家的語音信號，根據(jù)語音的識別結(jié)果，產(chǎn)生相應的控制命令；4)通過游戲控制接口，將姿態(tài)語音的命令，實時整合到游戲的人物和場景控制中，或者直接調(diào)整模型達到控制的目的。
全文摘要
基于玩家姿勢和語音的電子游戲場景和角色控制方法，包括對從攝像頭獲得的圖像進行簡單有效的預處理；利用姿態(tài)特征等時空信息進行圖像分割；通過時空相關性進行區(qū)域選擇和特征提?。煌ㄟ^對多目標之間關系的分析識別，形成對游戲的控制指令；另一方面，通過麥克風和聲卡獲取語音命令；采用連續(xù)語音識別技術，識別特定的詞匯；并將其轉(zhuǎn)化為特定的游戲指令；最后將姿態(tài)識別得到的方向控制信號和語音識別的其它復雜控制命令相結(jié)合，發(fā)揮各自的長處，實現(xiàn)模擬游戲場景漫游的實時控制功能。
文檔編號G06K9/62GK1797284SQ20041010188
公開日2006年7月5日 申請日期2004年12月30日 優(yōu)先權日2004年12月30日
發(fā)明者王陽生, 陳宇峰, 曾祥永, 魯鵬, 周曉旭 申請人:中國科學院自動化研究所