本發(fā)明屬于網(wǎng)絡(luò)游戲開發(fā)技術(shù)領(lǐng)域，涉及到一種基于面部與語音識(shí)別的游戲控制系統(tǒng)及方法。

背景技術(shù)：

隨著移動(dòng)網(wǎng)絡(luò)正逐漸的在人們的生活和工作普及，從而智能手機(jī)的發(fā)展也越來越迅速，手機(jī)的用途主要是打電話和上網(wǎng)，為了豐富人們的生活，進(jìn)而手機(jī)上的軟件功能也逐漸豐富。

手機(jī)上的游戲是最常見的一款軟件，手機(jī)游戲用戶規(guī)模增長較快，為互聯(lián)網(wǎng)產(chǎn)業(yè)注入新的活力，手機(jī)上的游戲成為人們最常見的一種娛樂方式，越來越多的人們?cè)诳臻e的時(shí)間玩游戲，例如在等公交、做公交、排隊(duì)、吃飯等場景下玩手機(jī)游戲，但是由于目前手機(jī)游戲需要人們通過手動(dòng)進(jìn)行操作，使得人們需要長時(shí)間的盯住手機(jī)屏幕，對(duì)人眼造成很大的傷害，同時(shí)人們?cè)诼飞贤嬗螒蛞装l(fā)生危險(xiǎn)，嚴(yán)重影響人們的安全，同時(shí)由于手機(jī)屏幕較小，存在操作不便的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于面部與語音識(shí)別的游戲控制系統(tǒng)及方法，解決了目前游戲玩家對(duì)玩游戲的環(huán)境場所有限制，以及操作不便的問題。

本發(fā)明的目的可以通過以下技術(shù)方案實(shí)現(xiàn)：

一種基于面部與語音識(shí)別的游戲控制系統(tǒng)，包括視覺采集模塊、視覺識(shí)別模塊、視覺對(duì)比模塊、語音采集模塊、語音識(shí)別模塊、語音對(duì)比模塊、數(shù)據(jù)庫、數(shù)據(jù)處理模塊、游戲控制模塊、多媒體展示模塊和語音播放模塊；

所述視覺采集模塊用于對(duì)游戲玩家的表情進(jìn)行采集，并將采集的表情發(fā)送至視覺識(shí)別模塊；

所述視覺識(shí)別模塊用于將視覺采集模塊發(fā)送的表情信息轉(zhuǎn)化成視覺數(shù)字信號(hào)，并將視覺數(shù)字信號(hào)發(fā)送至視覺對(duì)比模塊；

所述視覺對(duì)比模塊用于對(duì)接收的視覺數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的視覺數(shù)字信號(hào)進(jìn)行對(duì)比；

所述語音采集模塊用于采集游戲玩家的語音，并將采集的語音信息發(fā)送至語音識(shí)別模塊；

所述語音識(shí)別模塊用于將語音采集模塊發(fā)送的語音信息轉(zhuǎn)化成語音數(shù)字信號(hào)，并將語音數(shù)字信號(hào)發(fā)送至語音對(duì)比模塊；

所述語音對(duì)比模塊用于對(duì)接收的語音數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的語音數(shù)字信號(hào)進(jìn)行比較；

所述數(shù)據(jù)庫用于存儲(chǔ)視覺數(shù)字信號(hào)和語音數(shù)字信息；

所述數(shù)據(jù)處理模塊用于對(duì)視覺對(duì)比模塊和語音對(duì)比模塊發(fā)送的數(shù)字信號(hào)進(jìn)行處理，轉(zhuǎn)化成計(jì)算機(jī)識(shí)別的文本指令信息，并將文本信息發(fā)送至游戲控制模塊；

所述游戲控制模塊接收數(shù)據(jù)處理模塊發(fā)送的文本信息，根據(jù)文本信息對(duì)多媒體展示模塊和語音播放模塊進(jìn)行控制；

所述多媒體展示模塊用于展示游戲中人物的動(dòng)作；

所述語音播放模塊用于對(duì)游戲中的語音信息進(jìn)行播放。

進(jìn)一步地，所述視覺采集模塊為攝像頭，用于采集游戲玩家的表情，游戲中人物的表情與游戲玩家的表情相一致。

進(jìn)一步地，所述語音采集模塊用于采集游戲玩家的語音信息，采集的用于對(duì)游戲中人物的動(dòng)作及語言進(jìn)行控制。

一種基于面部與語音識(shí)別的游戲控制方法，包括以下步驟：

s1、視覺采集模塊采集游戲玩家的表情信息，同時(shí)語音采集模塊，采集游戲玩家關(guān)鍵的語音信息；

s2、視覺識(shí)別模塊將視覺采集模塊采集的視覺信息轉(zhuǎn)化成視覺數(shù)字信號(hào)，轉(zhuǎn)化的視覺數(shù)字信號(hào)發(fā)送至視覺對(duì)比模塊，語音識(shí)別模塊將語音采集模塊采集的語音信息轉(zhuǎn)化成語音數(shù)字信號(hào)，轉(zhuǎn)化的語音數(shù)字信號(hào)發(fā)送至語音對(duì)比模塊；

s3、若視覺對(duì)比模塊接收的視覺數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的數(shù)字信號(hào)相匹配，則視覺對(duì)比模塊將對(duì)比的結(jié)果及識(shí)別的視覺識(shí)別信號(hào)發(fā)送至數(shù)據(jù)處理模塊，若不匹配，則視覺對(duì)比模塊只發(fā)送對(duì)比失敗的結(jié)果至數(shù)據(jù)處理模塊；

s4、若語音對(duì)比模塊對(duì)關(guān)鍵的語音信息轉(zhuǎn)化的語音數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的語音數(shù)字信號(hào)相匹配，則語音對(duì)比模塊將對(duì)比的結(jié)果及識(shí)別的語音識(shí)別信號(hào)發(fā)送至數(shù)據(jù)處理模塊，若匹配不成功，則語音對(duì)比模塊只發(fā)送匹配失敗的結(jié)果至數(shù)據(jù)處理模塊；

s5、數(shù)據(jù)處理模塊對(duì)匹配成功的視覺識(shí)別信號(hào)和語音識(shí)別信號(hào)進(jìn)行處理，轉(zhuǎn)化成計(jì)算機(jī)識(shí)別的文本指令信息，并將文本指令信息發(fā)送至游戲控制模塊，數(shù)據(jù)處理模塊對(duì)匹配失敗的視覺識(shí)別信號(hào)和語音識(shí)別信號(hào)不進(jìn)行處理；

s6、游戲控制模塊根據(jù)文本指令信息對(duì)游戲中的多媒體展示模塊和語音播放模塊進(jìn)行控制。

進(jìn)一步地，游戲玩家運(yùn)行游戲程序時(shí)，系統(tǒng)自動(dòng)發(fā)送是否開啟攝像頭以及麥克風(fēng)的提示指令至游戲玩家。

本發(fā)明的有益效果：

本發(fā)明中游戲玩家可通過面部表情及語音對(duì)游戲中的人物進(jìn)行控制，簡化了游戲的操作，降低對(duì)環(huán)境的要求，具有自動(dòng)控制的特點(diǎn)，同時(shí)通過表情及語音對(duì)游戲人物進(jìn)行控制，降低了對(duì)眼睛的傷害以及玩家的疲勞程度，且提高了玩家在玩游戲過程中的樂趣，增加了游戲的趣味性，豐富了人們的生活。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一種基于面部與語音識(shí)別的游戲控制系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1所示，本發(fā)明為一種基于面部與語音識(shí)別的游戲控制系統(tǒng)，包括視覺采集模塊、視覺識(shí)別模塊、視覺對(duì)比模塊、語音采集模塊、語音識(shí)別模塊、語音對(duì)比模塊、數(shù)據(jù)庫、數(shù)據(jù)處理模塊、游戲控制模塊、多媒體展示模塊和語音播放模塊；

視覺采集模塊用于對(duì)游戲玩家的表情進(jìn)行采集，并將采集的表情發(fā)送至視覺識(shí)別模塊；

視覺識(shí)別模塊用于將視覺采集模塊發(fā)送的表情信息轉(zhuǎn)化成視覺數(shù)字信號(hào)，并將視覺數(shù)字信號(hào)發(fā)送至視覺對(duì)比模塊；

視覺對(duì)比模塊用于對(duì)接收的視覺數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的視覺數(shù)字信號(hào)進(jìn)行對(duì)比，并將比較的結(jié)果及識(shí)別的視覺數(shù)字信號(hào)發(fā)送至數(shù)據(jù)處理模塊；

語音采集模塊用于對(duì)游戲玩家的語音進(jìn)行采集，并將采集的語音信息發(fā)送至語音識(shí)別模塊；

語音識(shí)別模塊用于將語音采集模塊發(fā)送的語音信息轉(zhuǎn)化成語音數(shù)字信號(hào)，并將語音數(shù)字信號(hào)發(fā)送至語音對(duì)比模塊；

語音對(duì)比模塊用于對(duì)接收的語音數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的語音數(shù)字信號(hào)進(jìn)行比較，并將比較的結(jié)果及識(shí)別的語音數(shù)字信號(hào)發(fā)送至數(shù)據(jù)處理模塊；

數(shù)據(jù)庫用于存儲(chǔ)視覺數(shù)字信號(hào)和語音數(shù)字信息；

數(shù)據(jù)處理模塊用于對(duì)視覺對(duì)比模塊和語音對(duì)比模塊發(fā)送的數(shù)字信號(hào)進(jìn)行處理，轉(zhuǎn)化成計(jì)算機(jī)識(shí)別的文本指令信息，并將文本信息發(fā)送至游戲控制模塊；

游戲控制模塊接收數(shù)據(jù)處理模塊發(fā)送的文本信息，根據(jù)文本信息對(duì)多媒體展示模塊和語音播放模塊進(jìn)行控制；

多媒體展示模塊用于展示游戲中人物的動(dòng)作；

語音播放模塊用于對(duì)游戲中的語音信息進(jìn)行播放。

其中，視覺采集模塊為攝像頭，用于采集游戲玩家的表情，表情的內(nèi)容包括大笑、大哭、瞪眼以及噘嘴等，游戲中人物的表情與游戲玩家的表情相一致。

語音采集模塊為麥克風(fēng)，用于采集游戲玩家的語音信息。

一種基于面部與語音識(shí)別的游戲控制方法，包括以下步驟：

s1、游戲玩家運(yùn)行游戲程序時(shí)，系統(tǒng)自動(dòng)發(fā)送是否開啟攝像頭以及麥克風(fēng)的提示指令，游戲玩家選擇開啟功能；

s2、視覺采集模塊采集游戲玩家的表情信息，并將表情信息發(fā)送至視覺識(shí)別模塊，同時(shí)語音采集模塊用于采集游戲玩家關(guān)鍵的語音信息，并將語音信息發(fā)送至語音識(shí)別模塊；

s3、視覺識(shí)別模塊將視覺信息轉(zhuǎn)化成視覺數(shù)字信號(hào)，轉(zhuǎn)化的視覺數(shù)字信號(hào)發(fā)送至視覺對(duì)比模塊，語音識(shí)別模塊將語音信息轉(zhuǎn)化成語音數(shù)字信號(hào)，轉(zhuǎn)化的語音數(shù)字信號(hào)發(fā)送至語音對(duì)比模塊；

s4、若視覺對(duì)比模塊接收的視覺數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的數(shù)字信號(hào)相匹配，則視覺對(duì)比模塊將對(duì)比的結(jié)果及識(shí)別的視覺識(shí)別信號(hào)發(fā)送至數(shù)據(jù)處理模塊，若不匹配，則視覺對(duì)比模塊只發(fā)送對(duì)比失敗的結(jié)果至數(shù)據(jù)處理模塊；

s5、若語音對(duì)比模塊對(duì)關(guān)鍵的語音信息轉(zhuǎn)化的語音數(shù)字信號(hào)與數(shù)據(jù)庫中存儲(chǔ)的語音數(shù)字信號(hào)相匹配，則語音對(duì)比模塊將對(duì)比的結(jié)果及識(shí)別的語音識(shí)別信號(hào)發(fā)送至數(shù)據(jù)處理模塊，若匹配不成功，則語音對(duì)比模塊只發(fā)送匹配失敗的結(jié)果至數(shù)據(jù)處理模塊；

s6、數(shù)據(jù)處理模塊對(duì)匹配成功的視覺識(shí)別信號(hào)和語音識(shí)別信號(hào)進(jìn)行處理，轉(zhuǎn)化成計(jì)算機(jī)識(shí)別的文本指令信息，并將文本指令信息發(fā)送至游戲控制模塊，數(shù)據(jù)處理模塊對(duì)匹配失敗的視覺識(shí)別信號(hào)和語音識(shí)別信號(hào)不進(jìn)行處理；

s7、游戲控制模塊根據(jù)文本指令信息對(duì)游戲中的多媒體展示模塊和語音播放模塊進(jìn)行控制，實(shí)現(xiàn)對(duì)游戲中人物的動(dòng)作及語音進(jìn)行控制。

其中游戲玩家的面部表情用于控制游戲中人物的表情，玩家的語音信息用于對(duì)游戲中人物的動(dòng)作及語言進(jìn)行控制。

游戲中的人物，可同時(shí)受游戲玩家的語音和表情控制，進(jìn)而游戲中的人物可同時(shí)進(jìn)行動(dòng)作和表情展示。

本發(fā)明中游戲玩家可通過面部表情及語音對(duì)游戲中的人物進(jìn)行控制，簡化了游戲的操作，降低對(duì)環(huán)境的要求，具有自動(dòng)控制的特點(diǎn)，同時(shí)通過表情及語音對(duì)游戲人物進(jìn)行控制，降低了對(duì)眼睛的傷害以及玩家的疲勞程度，且提高了玩家在玩游戲過程中的樂趣，增加了游戲的趣味性，豐富了人們的生活。

以上內(nèi)容僅僅是對(duì)本發(fā)明的構(gòu)思所作的舉例和說明，所屬本技術(shù)領(lǐng)域的技術(shù)人員對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，只要不偏離發(fā)明的構(gòu)思或者超越本權(quán)利要求書所定義的范圍，均應(yīng)屬于本發(fā)明的保護(hù)范圍。