專利名稱：在游戲環(huán)境中以菜單驅(qū)動的語音來控制角色的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明主要與電子娛樂系統(tǒng)相關(guān)，特別指一種在游戲環(huán)境中實現(xiàn)以菜單驅(qū)動的語音來控制角色的系統(tǒng)和方法。
對于每個游戲系統(tǒng)，通常只為運行在系統(tǒng)上的大多數(shù)游戲使用通用設(shè)計的手工控制器設(shè)備。對于不同的游戲，按鈕和按鍵被賦予了不同的意義。在一個游戲中，某個特定的按鈕可能對應(yīng)著出拳，而在另一個游戲中，該按鈕可能對應(yīng)著發(fā)射魚雷。在特定的游戲環(huán)境中，對用戶來說，以這種方法來使用控制裝置不太直觀。
使用手工操縱的控制器設(shè)備需要用戶記憶按鈕或按鍵與特定動作的對應(yīng)關(guān)系。對于復(fù)雜的游戲來說，按鈕的數(shù)量或按鍵的組合數(shù)量可能非常龐大復(fù)雜。在許多游戲中，一個用戶只控制一個角色的動作。在一個用戶控制一組角色的游戲中，角色是以組的方式動作，因此，角色組實際上是作為單個角色活動。讓單個用戶使用手動操縱的控制器裝置來控制多個獨立動作的角色雖然可能，但是卻非常復(fù)雜，用戶很難學(xué)會和使用。
在學(xué)習(xí)模式中，系統(tǒng)把可用命令的菜單顯示給用戶。第一級命令菜單顯示要控制的角色。第二級命令菜單為在一級菜單中選定的一個或多個角色顯示可用的動作。第三級命令菜單為在第二級菜單中選定的角色動作顯示可用的選項。第三級菜單中的可用選項還可能與游戲的當前狀態(tài)有關(guān)。
在非學(xué)習(xí)模式中，系統(tǒng)不會為用戶顯示可用命令的菜單。用戶憑自己的記憶說出語音識別模塊的詞匯表中的命令。語音識別模塊是環(huán)境敏感的，如果不輸入第一級命令，那么它不會對第二級命令做出反應(yīng)；同樣，如果不輸入第二級命令，它不會對第三級命令做出反應(yīng)。因此，用戶可以輸入語句型的命令(角色+動作)來控制游戲環(huán)境中的一個或多個角色。
圖2是根據(jù)本發(fā)明實現(xiàn)的

圖1的主存儲器的結(jié)構(gòu)圖。
圖3A是根據(jù)本發(fā)明設(shè)計的顯示設(shè)備上顯示的一個第一級菜單命令屏幕的示意圖。
圖3B是根據(jù)本發(fā)明設(shè)計的顯示設(shè)備上顯示的一個第二級菜單命令屏幕的示意圖。
圖3C是根據(jù)本發(fā)明設(shè)計的顯示設(shè)備上顯示的一個第三級菜單命令屏幕的示意圖。
圖4是根據(jù)本發(fā)明實現(xiàn)的以菜單驅(qū)動的語音命令來控制角色的方法步驟流程圖。
CPU112、VU0111、VU1113、GPU114、和IOP116通過系統(tǒng)總線144相互通信。CPU112通過一條專用總線142與主存儲器110通信。VU1113和GPU114還可以通過專用總線140相互通信。CPU112執(zhí)行存儲在OS ROM 128和主存儲器110中的程序。主存儲器110可以包含預(yù)存儲的程序，也可以包含從CD-ROM、DVD ROM、或者其它可選的光碟(沒有示出，使用可選的光碟控制單元134控制)通過IOP116傳入的程序。IOP116控制著CPU112、VU0111、VU1116、GPU114和系統(tǒng)100的其它設(shè)備(例如控制器接口120)之間的數(shù)據(jù)交換。
GPU114執(zhí)行從GPU112和VUO111傳入的畫圖命令，在顯示設(shè)備(沒有示出)上生成圖像。VUI113把游戲中的各種對象從三維坐標轉(zhuǎn)換為二維坐標，并向GPU114發(fā)送這些二維坐標。SPU132執(zhí)行指令來產(chǎn)生音頻信號，并把音頻信號輸出到音頻設(shè)備上(沒有示出)。
系統(tǒng)100的用戶通過控制器接口120向GPU112發(fā)送指令，例如，用戶可以指令GPU112把特定游戲信息存儲到內(nèi)存卡122上，也可以指令游戲中的某個角色執(zhí)行某個特定的動作。其它設(shè)備可以通過USB接口124和IEEE 1394接口126連接到系統(tǒng)100上。在一個更好的實例中，USB接口124上連接了一個USB麥克風(fēng)(沒有示出)，可以支持用戶向系統(tǒng)100提供語音命令。
圖2是圖1中的主存儲器110的結(jié)構(gòu)圖。根據(jù)本發(fā)明，主存儲器110包含(但不僅限于)游戲軟件212和和語音識別模塊214，它們從光碟控制單元134選件的光碟中被調(diào)入到主存儲器中。游戲軟件212包含可以由GPU112、VU0111、VU1113和SPU132執(zhí)行的指令，使系統(tǒng)100的用戶可以玩游戲。在圖2的實例中，游戲軟件212是一個戰(zhàn)斗模擬游戲，用戶控制該游戲中的一個三人步兵組。在其它實例中，游戲軟件212可以是其它的游戲，包括(但不僅限于)角色扮演游戲(RPG)、飛行模擬游戲、以及文明建造游戲等。
語音識別模塊214是一個獨立于說話者的、環(huán)境敏感的語音識別程序，它可由CPU112執(zhí)行。在本發(fā)明的另一個實例中，IOP116執(zhí)行語音識別模塊。語音識別模塊帶有一個語音詞匯表，該詞匯表對應(yīng)著游戲軟件212中的指令。語音命令中包含單個詞的命令和多個詞的命令。當一個輸入語音信號(說話)與詞匯表中的某個命令相匹配時，語音識別模塊214會通知游戲軟件212，然后游戲軟件212向CPU112發(fā)出相應(yīng)的指令。
系統(tǒng)100的用戶和游戲軟件212通過麥克風(fēng)和USB接口124輸入一個或多個命令，控制游戲軟件212中的角色的動作。所說出的命令最好與控制器命令聯(lián)合使用，但是，在游戲軟件212的一些實例中，也可以實現(xiàn)純語音命令。
圖3A是在連接到系統(tǒng)100的顯示設(shè)備310上顯示的一個第一級菜單命令屏幕222。本實例中的菜單包含3個一級命令條目、一個“組”條目332、一個alpha條目334、以及一個bravo條目336。雖然屏幕上只顯示了三個一級菜單命令條目，但是游戲軟件212可以使用任意數(shù)量的一級菜單條目。當用戶說出一個命令然后松開控制器上專用于此功能的按鈕或其它裝置時，會出現(xiàn)一級菜單命令屏幕322。在一級菜單命令屏幕322上的一級菜單220下，還包含一個當前游戲圖形(沒有示出)。在顯示設(shè)備310上出現(xiàn)的一級菜單330為用戶指明了一級命令的可用選項。
在圖2中顯示了游戲軟件的一個實例，用戶使用控制器的動作(例如按按鈕或操縱游戲桿)來控制一個角色組組長的動作。用戶輸入語音命令來控制一個2人組的動作?！敖M”條目222代表某個組命令是否可用，該命令控制這個組中的兩個角色執(zhí)行特定的動作。Alpha組334代表選擇一個組成員alpha的命令是否可用。Bravo條目336代表選擇另一個組成員bravo的命令是否可用。
用戶對著麥克風(fēng)說出“組”一詞來選擇組條目222。說出“alpha”一詞來選擇alpha條目334，說出“barvo”一詞來選擇barvo條目336。當語音識別模塊214識別到一個一級命令時，它會通知游戲軟件212，而游戲軟件212或者顯示一個二級菜單命令屏幕。
圖3B是根據(jù)本發(fā)明設(shè)計的一個設(shè)備的屏幕截取圖，該設(shè)備在顯示設(shè)備310上正在顯示一個二級菜單命令屏幕324。在圖3B的設(shè)備中，用戶已經(jīng)對著麥克風(fēng)說出“組”一詞來選擇組條目332，此時，二級菜單命令屏幕324顯示一個二級菜單340。二級菜單340包含剛才選擇的一級菜單命令(組條目322)，還有3個二級命令一個“待命”條目342、一個“執(zhí)行”條目344、一個“開火”條目346。雖然屏幕上只顯示了3個二級命令，但是游戲軟件212可以使用任意數(shù)量的二級命令條目。
二級菜單340為上述二人組顯示了可用的命令。這些命令取決于游戲的當前狀態(tài)。例如，如果用戶用語音選擇“待命”條目342，那么游戲中的這個二人組將原地待命。如果下一次用戶用語音選擇組條目332，那么屏幕上不會出現(xiàn)“待命”條目342，而會出現(xiàn)一個相關(guān)的條目(沒有示出)。
組條目332和“待命”條目342的組合是一個完整的命令，所以，如果用戶在說出“待命”時系統(tǒng)所顯示的是屏幕324，那么游戲軟件212將不再顯示屏幕324，并且使所選的角色執(zhí)行在游戲環(huán)境中選擇的動作(組中的兩個角色都會原地待命)。同樣，“組”條目332和“開火”條目346的組合是一個完整的命令，所以如果在顯示屏幕324時用戶說出“開火”一詞，那么游戲軟件212不再顯示屏幕324，并且使所選的角色執(zhí)行游戲環(huán)境中的所選動作(該組的兩個成員都會開火)。“組”條目332和“執(zhí)行”條目344的組合不是一個完整的命令。如果在顯示屏幕324的時候用戶說出“執(zhí)行”一詞，那么游戲軟件會顯示一個三級菜單命令屏幕。
圖3C是根據(jù)本發(fā)明設(shè)計的一個設(shè)備的屏幕截取圖，該設(shè)備在顯示設(shè)備310上正在顯示一個第三級菜單命令屏幕324。第三級命令屏幕326顯示一個三級菜單350，該菜單中包含一個已選定的一級命令條目332，一個已選定的二級命令(執(zhí)行344)、以及兩個3級命令“打開手榴彈”條目352和“拉弦”條目354。在圖2的游戲軟件實例中，這個步兵兩人組可以執(zhí)行“打開手榴彈”和“拉弦”命令。雖然當前屏幕上只顯示了2個三級命令，但是游戲軟件212可以包含任意數(shù)量的第三級命令。
“組”條目332、“執(zhí)行”條目344和“打開手榴彈”的組合是一個完整的命令，所以，如果當顯示屏幕326時用戶說出“打開手榴彈”一詞，軟件模塊212不再顯示屏幕326，并且使所選的角色執(zhí)行游戲環(huán)境中所選的動作(該組的兩名成員都會打開手榴彈)?！敖M”條目332、“執(zhí)行”條目344、以及“拉弦”條目354的組合是一個完整的命令，所以如果當顯示屏幕326時用戶說出“拉弦”一詞，軟件模塊212不再顯示屏幕326，并且使所選的角色執(zhí)行游戲環(huán)境中所選的動作(該組的兩名成員都會拉弦)。
雖然在圖3C中只顯示了三個菜單層次，但是本發(fā)明可支持任意層的菜單結(jié)構(gòu)。在本發(fā)明的一個較好的實例中，為了便于使用，同時也為了幫助學(xué)習(xí)各種命令組合，設(shè)置了一個三層的菜單。當用戶已經(jīng)學(xué)會或記住了各種命令組合后，用戶可以拋開菜單命令來玩游戲(非學(xué)習(xí)模式)。
我們已經(jīng)說過，語音識別模塊214是環(huán)境敏感的。例如，雖然“執(zhí)行”一詞是在語音識別模塊214的詞匯表中，但是只有在第一級命令有效時(例如“組”或“alpha”)，語音識別模塊才會識別“執(zhí)行”一詞。換句話說，如果沒有輸入第一級命令，那么語音識別模塊不會對輸入的任何二級命令做出反應(yīng)。同樣，如果沒有輸入第二級命令，那么語音識別模塊不會對輸入的任何第三級命令做出反應(yīng)。因此語音識別模塊可以識別語句型的命令(角色+動作)，游戲軟件可以使用這些命令控制游戲環(huán)境中的角色的動作。
雖然圖3A-3C中顯示的命令菜單330、340、350把其子菜單以從左向右的方式顯示，但是本發(fā)明可以支持以任何方法為用戶顯示可用的命令。
圖4顯示的是本發(fā)明的另一個實例的流程圖，它說明了以菜單驅(qū)動的語音命令來控制角色的步驟。首先，在步驟412中，游戲軟件212檢測用戶是否按住了一個分配給某個語音命令功能的控制器按鈕。如果沒有，那么游戲軟件212或者繼續(xù)監(jiān)視控制器按鈕的信號。如果按住了某個語音按鈕，那么在步驟414中，游戲軟件212會檢測該按鈕是否被釋放。如果該按鈕已經(jīng)被釋放，那么系統(tǒng)會繼續(xù)執(zhí)行步驟416的學(xué)習(xí)模式。如果該按鈕還沒有被釋放，那么系統(tǒng)會進入步驟428的非學(xué)習(xí)模式。
在步驟416中，游戲軟件212在一個第一級菜單命令屏幕上顯示一級命令。在步驟418中，語音識別模塊214或者檢測用戶是否用語音輸入了一個一級命令。如果沒有，那么程序會返回到步驟416。如果用戶用語音輸入了一個第一級命令，那么在步驟420中，游戲軟件212會在一個第二級菜單命令屏幕上顯示第二級命令。在步驟422中，語音識別模塊會檢測用戶是否用語音輸入了一個第二級命令。如果沒有，那么程序會返回到步驟420。如果用戶用語音輸入了一個第二級命令，那么程序會轉(zhuǎn)到步驟242。
如果輸入的第二級命令沒有下一級命令，那么在步驟438中，游戲軟件212會執(zhí)行該命令，使游戲環(huán)境中的一個或多個角色執(zhí)行所選的動作。如果輸入的第二級命令有相關(guān)的第三級命令，那么在步驟426中，軟件模塊212會在一個第三級菜單命令屏幕上顯示第三級命令。在步驟428中，語音識別模塊214會檢測用戶是否用語音輸入了一個第三級命令。如果沒有，那么程序會返回到步驟424。如果用戶用語音輸入了一個第三級命令，那么在步驟438中，游戲軟件212或者執(zhí)行該命令，使游戲環(huán)境中的一個或多個角色執(zhí)行所選的動作。
在非學(xué)習(xí)模式中，系統(tǒng)不會為用戶顯示各級可用命令。在步驟430中，語音識別模塊214會檢測用戶是否用語音輸入了一個第一級命令。如果沒有，那么語音識別模塊214繼續(xù)監(jiān)聽第一級命令。如果用戶用語音輸入了一個第一級命令，那么在步驟432中，語音識別模塊214或者檢測用戶是否用語音輸入了一個第二級命令。如果沒有，那么語音識別模塊214繼續(xù)監(jiān)聽第二級命令。如果用戶用語音輸入了一個第二級命令，那么程序會轉(zhuǎn)到步驟434。
如果輸入的第二級命令如果輸入的第二級命令沒有下一級命令，那么程序會轉(zhuǎn)到步驟438，游戲軟件212會執(zhí)行該命令，使游戲環(huán)境中的一個或多個角色執(zhí)行所選的動作。如果輸入的第二級命令有相關(guān)的第三級命令，那么在步驟436中，語音識別模塊會檢測用戶是否用語音輸入了一個第三級命令。如果沒有，那么程序會繼續(xù)監(jiān)聽第三級命令。如果用戶用語音輸入了一個第三級命令，那么在步驟438中，游戲軟件212或者執(zhí)行該命令，使游戲環(huán)境中的一個或多個角色執(zhí)行所選的動作。
在非學(xué)習(xí)模式中，用戶會對游戲環(huán)境有一種身臨其境的感覺，就像真正在向一個或多個角色發(fā)出命令一樣。因此，游戲會更加直觀真實。在游戲軟件212的一個實例中，當用戶向角色發(fā)出語音命令時，系統(tǒng)會使用揚聲器或耳機(沒有示出)向用戶播放預(yù)先錄制的命令回應(yīng)或其它有聲回應(yīng)。
權(quán)利要求
1.一種使用語音控制游戲角色的系統(tǒng)，其特征在于包括一個可以從用戶接收語音命令的麥克風(fēng)；一個存儲在存儲器中的語音識別模塊，該語音識別模式可以識別語音命令；存儲在存儲器中的軟件，該軟件可以響應(yīng)識別出的語音命令，從而控制游戲角色的動作。
2.如權(quán)利要求1項中所述的系統(tǒng)，其特征在于其中的軟件在顯示設(shè)備上顯示一個包含可用命令的菜單。
3.如權(quán)利要求2項中所述的系統(tǒng)，其特征在于其中的軟件在響應(yīng)控制器設(shè)備的信號時在顯示設(shè)備上顯示包含可用命令的一個第一級菜單。
4.如權(quán)利要求3項中所述的系統(tǒng)，其特征在于其中的軟件在響應(yīng)語音識別模塊識別到的一個由用戶以語音方式發(fā)出和第一級命令時在顯示設(shè)備上顯示包含可用命令的一個第二級菜單。
5.如權(quán)利要求4項中所述的系統(tǒng)，其特征在于其中的軟件在響應(yīng)語音識別模塊識別到的一個由用戶以語音方式發(fā)出的第二級命令時執(zhí)行一個命令來控制游戲角色的動作。
6.如權(quán)利要求4項中所述的系統(tǒng)，其特征在于其中的軟件在響應(yīng)語音識別模塊識別到的一個由用戶以語音方式發(fā)出的第二級命令時在顯示設(shè)備上顯示包含可用命令的一個第三級菜單。
7.如權(quán)利要求6項中所述的系統(tǒng)，其特征在于其中的軟件在響應(yīng)語音識別模塊識別到的一個由用戶以語音方式發(fā)出的第三級命令時執(zhí)行一個命令來控制游戲角色的動作。
8.如權(quán)利要求1項中所述的系統(tǒng)，其特征在于其中帶有一個用于向軟件輸入命令從而控制一個或多個角色的動作的控制器設(shè)備。
9.如權(quán)利要求8項中所述的系統(tǒng)，其特征在于其中用戶使用控制設(shè)備控制一個角色的動作，使用語音命令控制至少另外一個角色的動作。
10.如權(quán)利要求1項中所述的系統(tǒng)，其特征在于其中的語音命令包含兩個以上按順序說出的詞。
11.一種控制游戲中的角色的方法，其特征在于包含下列步驟為用戶顯示一個命令菜單；識別一條與菜單中的某個命令相對應(yīng)的語音；執(zhí)行一個識別出的命令，使游戲中的角色執(zhí)行一個動作。
12.如權(quán)利要求11項中所述的方法，其特征在于其中的命令菜單包含一個可用角色的菜單。
13.如權(quán)利要求11項中所述的方法，其特征在于其中的命令菜單包含一個所選角色的可用命令的菜單，可用動作菜單中的條目取決于游戲環(huán)境的當前狀態(tài)。
14.如權(quán)利要求11項中所述的方法，其特征在于其中識別語音命令的步驟包含確定語音命令的當前環(huán)境。
15.如權(quán)利要求11項中所述的方法，其特征在于其中的語音命令至少包含2個詞。
16.如權(quán)利要求15項中所述的方法，其特征在于其中的語音命令是一個語句型的命令。
17.一種可以被計算機讀取的媒質(zhì)，其特征在于其通過執(zhí)行下列步驟控制游戲角色的指令為用戶顯示一個命令菜單；識別一條與菜單中的某個命令相對應(yīng)的語音；執(zhí)行一個識別出的命令，使游戲中的角色執(zhí)行一個動作。
18.如權(quán)利要求17項中所述的可被計算機讀取的媒質(zhì)，其特征在于其中的命令菜單包含一個可用角色的菜單。
19.如權(quán)利要求17項中所述的可被計算機讀取的媒質(zhì)，其特征在于其中的命令菜單包含一個所選角色的可用動作菜單，可用動作菜單中的條目取決于游戲環(huán)境的當前狀態(tài)。
20.如權(quán)利要求17項中所述的可被計算機讀取的媒質(zhì)，其特征在于其中識別語音命令的步驟包含確定語音命令的當前環(huán)境。
21.如權(quán)利要求17項中所述的可被計算機讀取的媒質(zhì)，其特征在于其中的語音命令至少包含兩個詞。
22.如權(quán)利要求21項中所述的可被計算機讀取的媒質(zhì)，其特征在于其中的語音命令是一種語句型的命令。
23.一種用于控制游戲中的角色的系統(tǒng)，其特征在于包括為用戶顯示命令菜單的方法；識別一條與菜單中的某個命令相對應(yīng)的語音的方法；執(zhí)行一個識別出的命令，使游戲中的角色執(zhí)行一個動作的方法。
24.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中的命令菜單包含一個可用角色的菜單。
25.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中的命令菜單包含一個所選角色的可用動作菜單，可用動作菜單中的條目取決于游戲環(huán)境的當前狀態(tài)。
26.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中識別語音命令的步驟包含確定語音命令的當前環(huán)境。
27.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中的語音命令包含至少兩個詞。
28.如權(quán)利要求范圍27項中所述的系統(tǒng)，其特征在于其中的語音命令是一種語句型的命令。
29.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中用于識別語音命令的方法是一種獨立于說話者的、對當前環(huán)境敏感的語音識別程序。
30.如權(quán)利要求23項中所述的系統(tǒng)，其特征在于其中的命令菜單作為一種展開菜單顯示給用戶。
全文摘要
在游戲系統(tǒng)中,用戶使用語音命令控制游戲環(huán)境中的角色的動作。在學(xué)習(xí)模式中,系統(tǒng)在顯示設(shè)備上把語音命令顯示在命令菜單中。在非學(xué)習(xí)模式下,系統(tǒng)不會顯示可用的語音命令。一個獨立于說話者的、對當前環(huán)境敏感的語音識別模塊包含一個可用語音命令的詞匯表。用戶可以把語音命令和控制器設(shè)備的輸入結(jié)合起來使用,以便控制游戲環(huán)境中的一個或多個角色的動作。
文檔編號G10L15/00GK1385783SQ0211925
公開日2002年12月18日 申請日期2002年5月14日 優(yōu)先權(quán)日2001年5月14日
發(fā)明者賽斯C·H·路易斯 申請人:索尼電腦娛樂美國公司