本發(fā)明涉及信息處理設(shè)備、信息處理系統(tǒng)、控制方法和程序。

背景技術(shù)：

存在定向揚聲器其輸出定向聲音，使得聲音只能在特定方向上被聽到，或者使得反射面反射的定向聲音，從而使用戶感覺到聲音好像從反射面發(fā)出。

[引用列表]

專利文獻

[ptl1]

日本專利特開2005-101902號

[ptl2]

日本專利特開2010-56710號

[ptl3]

日本專利特開2012-49663號

技術(shù)實現(xiàn)要素：

[技術(shù)問題]

當(dāng)定向聲音由反射面反射時，反射特性根據(jù)反射面的材料和取向而不同。因此，即使輸出相同的聲音，也可以根據(jù)反射面來改變諸如音量、頻率等的聲音的特性。然而，在過去，沒有考慮到取決于反射面的材料和取向的反射特性。

鑒于上述問題而作出本發(fā)明。本發(fā)明的目的是提供一種根據(jù)反射面的反射特性來控制定向聲音的輸出的信息處理設(shè)備。

[問題的解決方案]

本發(fā)明的信息處理設(shè)備包括：反射面確定部分，配置為確定作為反射聲音的對象的反射面；反射面信息獲取部分，配置為獲取表示所確定的反射面的反射特性的反射面信息；以及輸出控制部分，配置為根據(jù)獲取的反射面信息將定向聲音輸出到所確定的反射面。

此外，在上述信息處理設(shè)備中，反射面信息獲取部分可以獲取反射面的反射率作為反射面信息。

此外，在上述信息處理設(shè)備中，輸出控制部分可以根據(jù)獲取的反射率來確定定向聲音的輸出音量。

此外，在上述信息處理設(shè)備中，反射面信息獲取部分可以獲取所述定向聲音在所述反射面上的入射角作為所述反射面信息。

此外，在上述信息處理設(shè)備中，輸出控制部分可以根據(jù)獲取的入射角確定定向聲音的輸出音量。

此外，在上述信息處理設(shè)備中，反射面信息獲取部分可以獲取所述定向聲音經(jīng)由反射所述定向聲音的所述反射面到達用戶之前要行進的到達距離作為所述反射面信息。

此外，在上述信息處理設(shè)備中，輸出控制部分可以根據(jù)獲取的到達距離確定定向聲音的輸出音量。

此外，在上述信息處理設(shè)備中，所述反射面信息獲取部分可以獲取作為所述反射面的候選的多個候選反射面中的每一個的反射面信息，并且所述信息處理設(shè)備還可以包括反射面選擇部分，配置為從所述多個候選反射面中選擇具有由所述候選反射面的反射面信息表示的優(yōu)異反射特性的候選反射面。

此外，在上述信息處理設(shè)備中，反射面信息獲取部分可以基于由照相機拍攝的反射面的圖像的特征信息獲取反射面信息。

此外，本發(fā)明的信息處理系統(tǒng)包括：定向揚聲器，配置為通過使由預(yù)定反射面反射的定向聲音產(chǎn)生的非定向聲音到達用戶；反射面確定部分，配置為將反射面確定為反射定向聲音的對象；反射面信息獲取部分，配置為獲取表示所確定的反射面的反射特性的反射面信息；和輸出控制部分，配置為根據(jù)所獲取的反射面信息將所述定向聲音從定向揚聲器輸出到確定的反射面。

此外，本發(fā)明的控制方法包括：反射面確定步驟，確定作為反射聲音的對象的反射面；反射面信息獲取步驟，獲取表示確定的反射面的反射特性的反射面信息；以及輸出控制步驟，根據(jù)所獲取的反射面信息將定向聲音輸出到所確定的反射面。

此外，本發(fā)明的程序是用于使計算機作為以下的程序：反射面確定部分，配置為確定作為反射聲音的對象的反射面；反射面信息獲取部分，配置為獲取表示所確定的反射面的反射特性的反射面信息；以及輸出控制部分，配置為根據(jù)獲取的反射面信息將定向聲音輸出到所確定的反射面。所述程序可以存儲在計算機可讀存儲介質(zhì)上。

附圖說明

圖1是示出根據(jù)實施例的娛樂系統(tǒng)的硬件配置的圖。

圖2是示意性地表示定向揚聲器的結(jié)構(gòu)的示例的圖。

圖3是示出本實施例的娛樂系統(tǒng)的使用場景的示意性概略圖。

圖4是示出由根據(jù)第一實施例的娛樂系統(tǒng)執(zhí)行的主要功能的示例的功能框圖。

圖5是示出音頻信息的示例的圖。

圖6是示出材料特征信息的示例的圖。

圖7是示出用戶位置信息的示例的圖。

圖8是示出分區(qū)的示例的圖。

圖9是示出分區(qū)信息的示例的圖。

圖10是示出候選反射面信息的示例的圖。

圖11是示出由根據(jù)第一實施例的娛樂系統(tǒng)執(zhí)行的房間圖像分析處理的流程的示例的流程圖。

圖12是示出由根據(jù)第一實施例的娛樂系統(tǒng)執(zhí)行的聲音輸出控制處理的流程的示例的流程圖。

圖13是示出通過布置多個定向揚聲器而形成的結(jié)構(gòu)的示例的圖。

圖14是示出由根據(jù)第二實施例的娛樂系統(tǒng)10執(zhí)行的聲音輸出控制處理的流程的示例的流程圖。

具體實施方式

第一實施例

以下將參考附圖詳細描述本發(fā)明的第一實施例。

1.硬件配置

圖1是示出根據(jù)本發(fā)明的實施例的娛樂系統(tǒng)(聲音輸出系統(tǒng))10的硬件配置的圖。如圖1所示，娛樂系統(tǒng)10是包括控制部分11、主存儲器20、圖像處理部分24、監(jiān)視器26、輸入-輸出處理部分28、音頻處理部分30、定向揚聲器32、光盤讀取部分34、光盤36、硬盤38、接口(i/f)40、控制器42和網(wǎng)絡(luò)i/f44。

控制部分11包括例如中央處理單元(cpu)、微處理器單元(mpu)或圖形處理單元(gpu)。控制部分11根據(jù)存儲在主存儲器20中的程序進行各種處理。以下，對由本實施例中的控制部分11執(zhí)行的處理的具體例進行說明。

主存儲器20包括諸如隨機存取存儲器(ram)、只讀存儲器(rom)等存儲元件。從光盤36和硬盤38讀出的程序和數(shù)據(jù)以及經(jīng)由網(wǎng)絡(luò)i/f48從網(wǎng)絡(luò)提供的程序和數(shù)據(jù)根據(jù)需要寫入主存儲器20。主存儲器20還操作為控制部分11的工作存儲器。

圖像處理部分24包括gpu和幀緩沖器。gpu根據(jù)從控制部分11提供的圖像數(shù)據(jù)在幀緩沖器中呈現(xiàn)各種屏幕。形成在幀緩沖器中的屏幕被轉(zhuǎn)換為視頻信號，并以預(yù)定的時序輸出到監(jiān)視器26。順便提及，例如家用電視接收機被用作監(jiān)視器26。

輸入-輸出處理部分28與音頻處理部分30、光盤讀取部分34、硬盤38、i/f40和44、以及網(wǎng)絡(luò)i/f48連接。輸入-輸出處理部分28控制控制部分11和音頻處理部分30、光盤讀取部分34、硬盤38、i/f40和44、以及網(wǎng)絡(luò)i/f48之間的數(shù)據(jù)傳送。

音頻處理部分30包括聲音處理單元(spu)和聲音緩沖器。聲音緩沖器存儲從光盤36和硬盤38讀出的各種音頻數(shù)據(jù)，如游戲音樂、游戲聲音效果、消息等。spu再現(xiàn)這些各種音頻數(shù)據(jù)，并從定向揚聲器32輸出各種音頻數(shù)據(jù)。順便提及，代替音頻處理部分30(spu)，控制部分11可以再現(xiàn)各種音頻數(shù)據(jù)，并從定向揚聲器32輸出各種音頻數(shù)據(jù)。也就是說，可以通過控制部分11執(zhí)行的軟件處理來實現(xiàn)各種音頻數(shù)據(jù)的再現(xiàn)和從定向揚聲器32的各種音頻數(shù)據(jù)的輸出。

定向揚聲器32例如是參數(shù)揚聲器。定向揚聲器32輸出定向聲音。定向揚聲器32與用于致動定向揚聲器32的致動器連接。致動器與電機驅(qū)動器33連接。電機驅(qū)動器33執(zhí)行致動器的驅(qū)動控制。圖2是示意性地示出定向揚聲器32的結(jié)構(gòu)的示例的圖。如圖2所示，定向揚聲器32通過在板32a上布置多個超聲波探測體32b而形成。從各個超聲波探測體32a輸出的超聲波在空氣中彼此疊加，從而從超聲波轉(zhuǎn)換為可聽見的聲音。此時，僅在超聲波彼此重疊的中央部分產(chǎn)生聲音，因此產(chǎn)生僅在超聲波的行進方向上聽到的定向聲音。此外，這樣的定向聲音被反射面擴散地反射，從而被轉(zhuǎn)換成非定向聲音，使得用戶能夠感覺到從反射面產(chǎn)生聲音。在本實施例中，電機驅(qū)動器33驅(qū)動致動器以圍繞x軸和y軸旋轉(zhuǎn)定向揚聲器32。因此，可以任意地調(diào)節(jié)從定向揚聲器32輸出的定向聲音的方向，并且可以在任意位置反射定向聲音，以使得用戶感覺到好像從該位置產(chǎn)生聲音。

光盤讀取部分34根據(jù)來自控制部分11的指示讀取存儲在光盤36上的程序或數(shù)據(jù)。光盤36例如是普通光盤，諸如數(shù)字通用盤(dvd)-rom等。此外，硬盤38是普通硬盤裝置。各種程序和數(shù)據(jù)以計算機可讀的方式存儲在光盤36和硬盤38上。順便提及，娛樂系統(tǒng)10可以配置為能夠讀取存儲在不同于光盤36或硬盤38的另外的信息存儲介質(zhì)上的程序或數(shù)據(jù)。

光盤36例如是諸如dvd-rom等的普通光盤(計算機可讀信息存儲介質(zhì))。此外，硬盤38是普通硬盤裝置。各種程序和數(shù)據(jù)以計算機可讀的方式存儲在光盤36和硬盤38上。

i/f40和44是用于連接諸如控制器42、相機單元46等各種外圍設(shè)備的i/f。例如，通用串行總線(usb)i/f用作這樣的i/f。此外，例如可以使用諸如藍牙(注冊商標(biāo))i/f的無線通信i/f。

控制器42是通用操作輸入裝置?？刂破?2用于用戶輸入各種操作(例如游戲操作)。輸入-輸出處理部分28以預(yù)定時間(例如1/60秒)的間隔掃描控制器42的每個部分的狀態(tài)，并將指示掃描結(jié)果的操作信號提供給控制部分11?？刂撇糠?1基于操作信號確定用戶執(zhí)行的操作的細節(jié)。順便提及，娛樂系統(tǒng)10配置為可與多個控制器42連接。控制部分11基于從各個控制器42輸入的操作信號執(zhí)行各種處理。

相機單元46例如包括公知的數(shù)碼相機。相機單元46以預(yù)定時間(例如1/60秒)的間隔輸入黑白、灰度或彩色拍攝的圖像。本實施例中的相機單元46將拍攝的圖像作為圖像數(shù)據(jù)輸入到聯(lián)合攝影專家組(jpeg)格式中。此外，相機單元46經(jīng)由電纜連接到i/f44。

網(wǎng)絡(luò)i/f48連接到輸入-輸出處理部分28和通信網(wǎng)絡(luò)。網(wǎng)絡(luò)i/f48通過通信網(wǎng)絡(luò)中繼娛樂系統(tǒng)10與其他娛樂系統(tǒng)10的數(shù)據(jù)通信。

2.示意性概略圖

圖3是示出本實施例的娛樂系統(tǒng)10的使用場景的示意性概略圖。如圖3所示，娛樂系統(tǒng)10由用戶在單獨的房間中使用，使得房間被四邊的墻圍繞，并且例如在房間中布置各種家具。在這種情況下，定向揚聲器32安裝在監(jiān)視器26上，以便能夠?qū)⒍ㄏ蚵曇糨敵龅椒块g內(nèi)的任意位置。相機單元46也安裝在監(jiān)視器26上，以便能夠拍攝整個房間。然后，監(jiān)視器26、定向揚聲器32和照相機單元46連接到作為家用游戲機等的信息處理設(shè)備50。當(dāng)用戶通過在這樣的房間中使用娛樂系統(tǒng)10操作控制器42來玩游戲時，娛樂系統(tǒng)10首先讀出游戲程序，諸如游戲音效等的音頻數(shù)據(jù)，以及用于輸出每個來自提供給信息處理設(shè)備50的光盤36或硬盤38的音頻數(shù)據(jù)，并執(zhí)行游戲。然后，娛樂系統(tǒng)10控制定向揚聲器32，以便根據(jù)顯示在監(jiān)視器26上的游戲圖像和游戲進度的條件，從預(yù)定位置產(chǎn)生聲音效果。因此，娛樂系統(tǒng)10為用戶提供了逼真的游戲環(huán)境。具體地，例如，當(dāng)在游戲中的用戶角色的后方發(fā)生爆炸時，可以產(chǎn)生爆炸的聲音，以便通過使得在用戶的后方的墻壁反射定向聲音從真實用戶的后方聽到爆炸的聲音。此外，當(dāng)游戲中的用戶角色的心率增加時，可以產(chǎn)生心跳聲，以便通過使用戶的身體反射定向聲音，從真實的用戶自身聽到心跳聲。當(dāng)進行這樣的再現(xiàn)時，反射特性根據(jù)反射定向聲音的反射面(墻壁、桌子、用戶的身體等)的材料和取向而不同。因此，用戶不一定聽到具有預(yù)期特征(音量、音高等)的聲音。因此，本發(fā)明配置為能夠根據(jù)反射定向聲音的反射面的材料和取向來控制定向揚聲器32的輸出。順便提及，在本實施例中，將描述用戶使用娛樂系統(tǒng)10玩游戲的情況。然而，本發(fā)明也適用于用戶觀看諸如電影等的運動圖像的情況以及用戶僅在無線電等上聽到聲音的情況。

以下將描述娛樂系統(tǒng)10對定向揚聲器32的輸出的控制。

3.功能框圖

圖4是示出由根據(jù)第一實施例的娛樂系統(tǒng)10執(zhí)行的主要功能的示例的功能框圖。如圖4所示，第一實施例中的娛樂系統(tǒng)10功能上例如包括音頻信息存儲部分54、材料特征信息存儲部分52、房間圖像分析部分60和輸出控制部分70。在這些功能中，房間圖像分析部分60和輸出控制部分70由控制部分11通過執(zhí)行從光盤36或硬盤38讀出的程序或者經(jīng)由網(wǎng)絡(luò)i/f48從網(wǎng)絡(luò)提供的程序來實現(xiàn)。例如，音頻信息存儲部分54和材料特征信息存儲部分52也由光盤36或硬盤38實現(xiàn)。

首先，在音頻信息存儲器中預(yù)先存儲音頻信息，其中諸如游戲聲音效果等的音頻數(shù)據(jù)和用于輸出每條音頻數(shù)據(jù)的控制參數(shù)數(shù)據(jù)(稱為音頻輸出控制參數(shù)數(shù)據(jù))彼此相關(guān)聯(lián)。假設(shè)，在這種情況下，音頻數(shù)據(jù)是表示假設(shè)音頻數(shù)據(jù)將從定向揚聲器32輸出的音頻信號的波形的波形數(shù)據(jù)。假設(shè)音頻輸出控制參數(shù)數(shù)據(jù)是假定音頻數(shù)據(jù)將從定向揚聲器32輸出而生成的控制參數(shù)。圖5是示出音頻信息的示例的圖。如圖5所示，管理音頻信息，使得音頻信號和輸出條件對于每條音頻數(shù)據(jù)彼此相關(guān)聯(lián)。音頻信號具有由音頻信號的波形數(shù)據(jù)定義的音量和頻率(聲音的音調(diào))。假設(shè)本實施例中的每個音頻信號具有假設(shè)音頻信號被具有作為基準(zhǔn)的反射特性的反射面反射的音量和頻率。具體而言，設(shè)定為具有作為基準(zhǔn)的反射特性的反射面的是具有基準(zhǔn)到達距離dm(例如4米)的情況，基準(zhǔn)到達距離dm為從定向揚聲器輸出并且被反射面反射之后直到到達用戶聲音要進行的到達距離，基準(zhǔn)材料m(例如木材)作為反射面的材料，以及基準(zhǔn)入射角α(例如45度)作為入射角。然后，假設(shè)每個音頻信號的音量和頻率被定義為使得在具有如上所述的作為基準(zhǔn)的反射特性的反射面反射之后到達用戶的聲音具有預(yù)期的特征。輸出條件是指示輸出音頻數(shù)據(jù)的定時和產(chǎn)生聲音的聲音產(chǎn)生位置的信息。第一實施例中的輸出條件特別是指示以游戲中的用戶角色為基準(zhǔn)的聲音產(chǎn)生位置的信息。輸出條件例如是指示用戶角色作為基準(zhǔn)的方向或位置的信息，例如從用戶角色觀看的右側(cè)或前方。根據(jù)輸出條件確定從定向揚聲器32輸出的定向聲音的方向。順便提及，假設(shè)沒有輸出條件與預(yù)先未定義輸出位置的音頻數(shù)據(jù)相關(guān)聯(lián)，并且根據(jù)游戲條件或用戶操作給出輸出條件。

此外，材料特征信息存儲部分52預(yù)先存儲材料特征信息，材料特征信息表示典型表面的材料、表面的特征信息和聲音的反射率之間的關(guān)系。圖6是示出材料特征信息的示例的圖。如圖6所示，管理材料特征信息，使得諸如木材、金屬、玻璃等的材料名稱、作為由相機拍攝材料時的從圖像獲取的特征信息的材料特征信息、以及聲音的反射率對于每個材料相互關(guān)聯(lián)。在這種情況下，假設(shè)從圖像獲取的特征信息例如是包括在圖像中的顏色分量的分布(例如，諸如rgb的顏色空間中的顏色分量、可變比特率(vbr)等)、飽和度的分布和亮度的分布，并且可以是這些分布中的兩個或更多個的一個或任意組合。

4.房間圖像分析處理

房間圖像分析部分60分析由照相機單元46拍攝的房間的圖像。房間圖像分析部分60主要由控制部分11實現(xiàn)。房間圖像分析部分60包括房間圖像獲取部分62、用戶位置識別部分64和候選反射面選擇部分66。

房間圖像獲取部分62響應(yīng)于房間圖像獲取請求獲取由相機單元46拍攝的房間的圖像。房間圖像獲取請求例如在游戲開始時或根據(jù)游戲條件的預(yù)定定時發(fā)送。此外，相機單元46可以在主存儲器20中存儲以預(yù)定時間(例如1/60秒)的間隔生成圖像的房間的圖像，以及主存儲器20中存儲的房間的圖像可以響應(yīng)于房間圖像獲取請求而獲取。

用戶位置識別部分64通過分析由房間圖像獲取部分62獲取的圖像的房間的圖像(以下將被稱為獲取的房間圖像)來識別房間中存在的用戶的位置。用戶位置識別部分64通過使用公知的人臉識別技術(shù)從所獲取的房間圖像中檢測房間中存在的用戶的面部圖像。用戶位置識別部分64例如可以檢測眼睛、鼻子、嘴等的臉部分，并根據(jù)這些部分位的位置檢測面部。用戶位置識別部分64也可以使用膚色信息來檢測臉部。用戶位置識別部分64也可以使用另一種檢測方法來檢測面部。用戶位置識別部分64將由此檢測到的面部圖像的位置識別為用戶的位置。此外，當(dāng)在房間中存在多個用戶時，可以基于從檢測到的用戶的面部圖像獲取的特征信息的差異來區(qū)分多個用戶。然后，用戶位置識別部分64在用戶位置信息存儲部分中存儲通過將從用戶的面部圖像獲取的特征信息與指示用戶的識別位置的位置信息彼此關(guān)聯(lián)獲得的用戶位置信息。指示位置的位置信息可以是指示與成像裝置的距離(例如從成像裝置到用戶的面部圖像的距離)的信息，或者可以是三維空間中的坐標(biāo)值。圖7是示出用戶位置信息的示例的圖。如圖7所示，管理用戶位置信息，使得向每個識別的用戶給出的用戶標(biāo)識(id)、從所識別的用戶的面部圖像獲取的用戶特征信息和指示用戶的位置的位置信息相互關(guān)聯(lián)。

用戶位置識別部分64還可以檢測由用戶保持的控制器42，并且將檢測到的控制器42的位置識別為用戶的位置。當(dāng)通過檢測控制器42來識別用戶的位置時，用戶位置識別部分64從獲取的房間圖像中檢測從控制器42的發(fā)光部分發(fā)射的光，并將檢測到的光的位置識別為用戶的位置。此外，當(dāng)在房間中存在多個用戶時，可以基于從控制器42的發(fā)光部分發(fā)射的光的顏色之間的差異來區(qū)分多個用戶。

候選反射面選擇部分66基于獲取的房間圖像和存儲在用戶位置信息存儲部分中的用戶位置信息，選擇用于反射從定向揚聲器32輸出的定向聲音的反射面的候選(被稱為候選反射面)。在這種情況下，用于反射定向聲音的反射面具有尺寸6到9平方厘米就足夠了，用于反射定向聲音的反射面可以是例如墻壁、書桌、椅子、書架、用戶的身體等的一部分。

首先，候選反射面選擇部分66根據(jù)產(chǎn)生聲音的聲音產(chǎn)生位置將房間空間劃分為多個分區(qū)。聲音產(chǎn)生位置對應(yīng)于包含在存儲在音頻信息存儲部分54中的音頻信息中的輸出條件，并且用游戲中的用戶角色作為基準(zhǔn)定義。候選反射面選擇部分66在將用戶的位置作為基準(zhǔn)的情況下將房間空間分割為與聲音產(chǎn)生位置對應(yīng)的多個分區(qū)，用戶的位置由存儲在用戶位置信息存儲部分中的用戶位置信息指示。圖8是示出分區(qū)的示例的圖。當(dāng)以游戲中的用戶角色作為基準(zhǔn)準(zhǔn)備八種聲音產(chǎn)生位置時，八種聲音產(chǎn)生位置是右下前方、左下前方、左上前方、右上前方、右下后方、下左后方，左上后方和右上后方，房間空間分為八個分區(qū)(分區(qū)id：)，真實用戶的位置作為基準(zhǔn)，如圖8所示。八個分區(qū)是位于用戶右下前方的分區(qū)1，位于用戶左下前方的分區(qū)2，位于用戶左上前方的分區(qū)3，位于用戶右上前方的分區(qū)4，位于用戶右下后方的分區(qū)5，位于用戶左下后方的分區(qū)6，位于用戶左上后方的分區(qū)7以及位于用戶右上后方的分區(qū)8。此外，假設(shè)分區(qū)信息存儲部分存儲通過將通過這樣分割房間空間形成的分區(qū)與聲音產(chǎn)生位置相關(guān)聯(lián)而獲取的分區(qū)信息。圖9是示出分區(qū)信息的示例的圖。如圖9所示，管理分區(qū)信息，使得分區(qū)id和聲音產(chǎn)生位置彼此相關(guān)聯(lián)。順便提及，圖8所示的分區(qū)只是示例。分割房間空間以形成對應(yīng)于例如根據(jù)游戲種類定義的聲音產(chǎn)生位置的分區(qū)是足夠的。

然后，候選反射面選擇部分66對于每個分區(qū)，從分區(qū)內(nèi)存在的表面選擇作為候選反射面的反射聲音的最佳表面。假設(shè)在這種情況下，用于反射聲音的最佳表面是具有優(yōu)異反射特性的表面，并且是例如由高反射率的材料或顏色形成的表面。

將描述選擇候選反射面的處理。首先，候選反射面選擇部分66從所獲取的房間圖像中提取可以是分區(qū)內(nèi)的候選反射面的表面，并且獲取所提取的表面(被稱為提取的反射面)的特征信息。分區(qū)內(nèi)的多個提取的反射面可以是候選反射面，并且是候選反射面的候選。然后，候選反射面選擇部分66從分區(qū)內(nèi)的多個提取的反射面中選擇具有最佳反射特性的提取的反射面作為候選反射面。

假設(shè)在這種情況下，當(dāng)候選反射面選擇部分66選擇具有最佳反射特性的提取的反射面作為候選反射面時，候選反射面選擇部分66將提取的反射面的反射率進行相互比較。首先，候選反射面選擇部分66參照存儲在材料特征信息存儲部分52中的材料特征信息，并從所提取的反射面的特征信息來估計提取的反射面的材料/反射率。候選反射面選擇部分66例如使用公知的圖案匹配技術(shù)，從提取的反射面的特征信息中估計提取的反射面的材料/反射率。然而，候選反射面選擇部分66可以使用其他方法。具體地，候選反射面選擇部分66將提取的反射面的特征信息與材料特征信息存儲部分52中存儲的材料特征信息進行匹配，并且估計與具有最高匹配度的材料特征信息相對應(yīng)的材料/反射率作為提取的反射面的材料/反射率。候選反射面選擇部分66因此分別從多個提取的反射面的特征信息中估計各個提取的反射面的材料/反射率。然后，候選反射面選擇部分66從分區(qū)內(nèi)的多個提取的反射面之中選擇具有最佳反射率的提取反射面作為候選反射面。候選反射面選擇部分66對每個分區(qū)進行這樣的處理，從而選擇分區(qū)的候選反射面。

順便提及，估計提取的反射面的反射率的方法不限于上述方法。例如，定向揚聲器32實際上可以將聲音輸出到提取的反射面，并且麥克風(fēng)可以收集被提取的反射面反射的反射的聲音，從而可以測量提取的反射面的反射率。此外，可以通過將光輸出到提取的反射面，并檢測被提取的反射面反射的反射光來測量光的反射率。然后，可以使用光的反射率來代替選擇候選反射面的聲音的反射率，或者可以根據(jù)光的反射率估計聲音的反射率。

此外，當(dāng)候選反射面選擇部分66選擇具有最佳反射特性的提取的反射面作為候選反射面時，候選反射面選擇部分66可以將從定向揚聲器32輸出的定向聲音入射到反射面上的入射角相互比較。這利用了隨著入射角增加而改善反射效率的特性。在這種情況下，候選反射面選擇部分66基于獲取的房間圖像計算從定向揚聲器32延伸的直線入射到提取的反射面上的入射角。然后，候選反射面選擇部分66計算從定向揚聲器32延伸的直線入射到多個提取的反射面的每一個上的入射角，并選擇具有最大入射角的提取的反射面作為候選反射面。

此外，當(dāng)候選反射面選擇部分66選擇具有最佳反射特性的提取的反射面作為候選反射面時，候選反射面選擇部分66可以相互比較聲音的到達距離，聲音的到達距離每個是從定向揚聲器32到提取的反射面的直線距離和從提取的反射面到用戶的直線距離的總和。這是基于這樣的想法，即，在通過反射音頻數(shù)據(jù)的反射面到達用戶之前，從定向揚聲器32輸出的音頻數(shù)據(jù)行進的距離越短，用戶聽到的聲音越容易。在這種情況下，候選反射面選擇部分66基于獲取的房間圖像計算到達距離。然后，候選反射面選擇部分66分別經(jīng)由多個提取的反射面計算到達距離，并且將與最短到達距離相對應(yīng)的提取的反射面選擇為候選反射面。

如上所述，候選反射面信息存儲部分存儲表示候選反射面選擇部分66所選擇的候選反射面的候選反射面信息。圖10是示出候選反射面信息的示例的圖。如圖10所示，管理候選反射面信息，使得對于每個分區(qū)，指示分區(qū)的分區(qū)id、表示候選反射面的位置的位置信息、表示從方向揚聲器32輸出的聲音在經(jīng)由反射聲音的反射面到達用戶之前要進行的距離的到達距離、候選反射面的反射率、以及候選反射面上的定向聲音的入射角相互關(guān)聯(lián)。

順便提及，當(dāng)候選反射面選擇部分66選擇具有最佳反射特性的提取的反射面作為候選反射面時，候選反射面選擇部分66可任意組合提取的反射面的反射率、提取的反射面的入射角以及上述到達距離中的兩個或多個，以選擇具有優(yōu)異反射特性的表面。

如上所述的房間圖像分析處理可以選擇用于反射定向聲音的最佳反射面，而與房間的形狀或用戶的位置無關(guān)。

下面將參照圖11的流程圖描述由根據(jù)第一實施例的娛樂系統(tǒng)10執(zhí)行的房間圖像分析處理的流程的示例。

首先，房間圖像獲取部分62響應(yīng)于房間圖像獲取請求獲取由照相機單元46拍攝的房間圖像(s1)。

然后，用戶位置識別部分64從由房間圖像獲取部分62獲取的所獲取的房間圖像識別用戶的位置(s2)。

然后，候選反射面選擇部分66基于獲取的房間圖像將房間空間分割為多個分區(qū)(s3)。假設(shè)在這種情況下，房間空間被劃分為k個分區(qū)，并且將數(shù)字1至k作為分區(qū)id給予相應(yīng)的分區(qū)。然后，候選反射面選擇部分66為分區(qū)1到k的每個選擇候選反射面。

候選反射面選擇部分66將變量i初始化為i＝1(s4)。變量i是表示分區(qū)id的變量，是假定為1至k的整數(shù)值的計數(shù)器變量。

候選反射面選擇部分66基于獲取的房間圖像，從分區(qū)1中提取可以作為反射面的提取的反射面，并且獲取提取的反射面的特征信息(s5)。

候選反射面選擇部分66根據(jù)存儲在材料特征信息存儲部分52中的材料特征信息來檢查在s5的處理中獲取的提取的反射面的特征信息(s6)，以估計所提取的反射面的反射率。然后，候選反射面選擇部分66在多個提取的反射面之中，在分區(qū)1中選擇具有最佳反射率的提取的反射面作為候選反射面。

然后，將候選反射面選擇部分66所選擇的候選反射面的反射特性作為候選反射面信息存儲在候選反射面信息存儲部分中(s8)。在這種情況下，反射特性是候選反射面的反射率、從定向揚聲器輸出的聲音入射到候選反射面上的入射角、從定向揚聲器輸出的聲音在經(jīng)由反射聲音的候選反射面到達用戶之前要行進的到達距離等。包括在候選反射面信息中的反射率可以是從存儲在材料特征信息存儲部分52中的材料特征信息估計的反射率，或者可以是當(dāng)從定向揚聲器實際輸出到候選反射面的音頻數(shù)據(jù)時通過收集反射的聲音測量的反射率。此外，假設(shè)基于獲取的房間圖像來計算包括在候選反射面信息中的入射角和到達距離。這些反射特性與指示分區(qū)的分區(qū)id和表示候選反射面的位置的位置信息相關(guān)聯(lián)地存儲。

然后，將一添加到變量i(s9)，并且候選反射面選擇部分66重復(fù)執(zhí)行從s5開始的處理直到i＝k。當(dāng)變量i變得等于k時(s10)，房間圖像分析處理結(jié)束，并且分別對應(yīng)于分區(qū)1至k的k個候選反射面的候選反射面信息被存儲在候選反射面信息存儲部分中，如圖10所示。

如上所述的房間圖像分析處理可以在游戲開始的定時進行，或者可以在游戲開始期間周期性地執(zhí)行。在游戲開始期間周期性地執(zhí)行房間圖像分析處理的情況下，即使當(dāng)用戶在游戲期間在房間內(nèi)移動時，也可以根據(jù)用戶的移動執(zhí)行合適的聲音輸出。

5.輸出控制處理

輸出控制部分70通過控制電動機驅(qū)動器33來控制定向揚聲器32的取向，并且從定向揚聲器32輸出預(yù)定的音頻數(shù)據(jù)。輸出控制部分70主要由控制部分11和音頻處理部分30實現(xiàn)。輸出控制部分70包括音頻信息獲取部分72、反射面確定部分74、反射面信息獲取部分76和輸出音量確定部分78。

輸出控制部分70根據(jù)由反射面信息獲取部分76獲取的信息的確定的反射面的信息和由音頻信息獲取部分72獲取的音頻信息來控制來自定向揚聲器32的音頻輸出。具體地說，輸出控制部分70基于關(guān)于所確定的反射面的信息來改變包括在音頻信息中的音頻數(shù)據(jù)，使得根據(jù)所確定的反射面上的信息的音頻數(shù)據(jù)從定向揚聲器32輸出。在這種情況下，輸出控制部分70改變音頻數(shù)據(jù)，以補償由于所確定的反射面的反射特性和用作基準(zhǔn)的反射特性之間的差異而發(fā)生變化的聲音特征的變化。包括在音頻信息中的音頻數(shù)據(jù)是假設(shè)音頻數(shù)據(jù)被具有用作基準(zhǔn)的反射特性的反射面反射音頻數(shù)據(jù)而產(chǎn)生的數(shù)據(jù)，并且通過被具有作為基準(zhǔn)的反射特性的反射面反射，音頻數(shù)據(jù)能夠向用戶提供具有預(yù)期特征的聲音(音量、頻率等)。當(dāng)這樣產(chǎn)生的音頻數(shù)據(jù)被具有與基準(zhǔn)不同的反射特性的反射面反射時，具有與預(yù)期特征不同的特征的聲音可能會到達用戶，使得可能對用戶造成陌生感。例如，當(dāng)聲音被具有低于作為基準(zhǔn)的反射特性的反射率的反射率的反射面反射時，用戶聽到音量低于預(yù)期音量的聲音。因此，即使當(dāng)聲音被具有比作為基準(zhǔn)的反射率低的反射率的反射面反射時，為了使用戶聽到具有預(yù)期音量的聲音，輸出控制部分70增加包括在獲取的音頻信息中的音頻數(shù)據(jù)的音量。用于補償聲音特征變化的音頻數(shù)據(jù)的輸出音量或輸出變化量由輸出音量確定部分78確定。在這種情況下，假設(shè)確定的反射面的反射特性和作為基準(zhǔn)的反射特性之間的差異與由于差異而發(fā)生的變化的聲音特征的變化量之間的關(guān)系被預(yù)先定義。此外，假設(shè)還預(yù)先定義聲音特征的變化量與用于補償變化量或輸出變化量的音頻數(shù)據(jù)的輸出音量之間的關(guān)系。

音頻信息獲取部分72根據(jù)游戲條件從音頻信息存儲部分54獲取要從定向揚聲器32輸出的音頻數(shù)據(jù)。

反射面確定部分74基于由音頻信息獲取部分72和候選反射面信息，從由候選反射面信息中包含的多個候選反射面中確定作為用于反射要從定向揚聲器32輸出的音頻數(shù)據(jù)的對象作為反射面。首先，反射面確定部分74識別對應(yīng)于與獲取的音頻數(shù)據(jù)相關(guān)聯(lián)的輸出條件的分區(qū)id。然后，反射面確定部分74通過參照候選反射面信息確定對應(yīng)于識別的分區(qū)id候選反射面作為用于反射要從定向揚聲器32輸出的音頻數(shù)據(jù)的反射面。

反射面信息獲取部分76從候選反射面信息中獲取由反射面確定部分74確定為用于反射要從定向揚聲器32輸出的音頻數(shù)據(jù)的反射面的候選反射面(被稱為確定的反射面)的信息。具體地，反射面信息獲取部分76從候選反射面信息獲取所確定的反射面的位置信息，以及關(guān)于到達距離、反射率和入射角的信息作為所確定的反射面的反射特性。

然后，輸出音量確定部分78根據(jù)由反射面信息獲取部分76獲取的反射特性的所確定的反射面的反射特性，確定音頻數(shù)據(jù)的輸出音量。首先，輸出音量確定部分78根據(jù)音頻數(shù)據(jù)從定向揚聲器32輸出之后然后由確定的反射面反射直到到達用戶所要進行的到達距離，確定音頻數(shù)據(jù)的輸出音量。具體地，輸出音量確定部分78將經(jīng)過確定的反射面的到達距離與基準(zhǔn)到達距離進行比較。當(dāng)經(jīng)由確定的反射面的到達距離大于基準(zhǔn)到達距離時，輸出音量確定部分78增加輸出音量，或者當(dāng)所確定的反射面的到達距離小于基準(zhǔn)到達距離時，輸出音量確定部分78減小輸出音量。根據(jù)通過確定的反射面的到達距離與基準(zhǔn)到達距離之間的差異，確定輸出的增加量和輸出的減少量。

輸出音量確定部分78根據(jù)所確定的反射面的反射率確定音頻數(shù)據(jù)的輸出音量。具體地，輸出音量確定部分78將確定的反射面的反射率與基準(zhǔn)材料的反射率進行比較。當(dāng)確定的反射面的反射率大于基準(zhǔn)材料的反射率時，輸出量確定部分78減小輸出音量，并且當(dāng)確定的反射面的反射率小于基準(zhǔn)材料的反射率時，輸出音量確定部分78增加輸出音量。根據(jù)所確定的反射面的反射率和基準(zhǔn)材料的反射率之間的差異，確定輸出的增加量和輸出的減少量。

輸出音量確定部分78根據(jù)在確定的反射面上從定向揚聲器32輸出的音頻數(shù)據(jù)的入射角來確定音頻數(shù)據(jù)的輸出音量。具體地，輸出音量確定部分78將確定的反射面上的入射角與基準(zhǔn)入射角進行比較。當(dāng)確定的反射面的入射角大于基準(zhǔn)入射角時，輸出音量確定部分78減小輸出音量，并且當(dāng)所確定的反射面上的入射角小于基準(zhǔn)入射角時，輸出音量確定部分78增加輸出音量。根據(jù)所確定的反射面的入射角與基準(zhǔn)入射角之間的差異，確定輸出的增加量和輸出的減少量。

順便提及，輸出音量確定部分78可以使用到達距離、反射率和入射角的各條信息中的一條信息來確定輸出音量作為所確定的反射面的上述反射特性，或者可以使用各條信息中的兩條或多條信息的任意組合來確定輸出量。

輸出控制部分70因此基于所確定的反射面的位置信息，通過控制電動機驅(qū)動器33來調(diào)節(jié)定向揚聲器32的取向，使得音頻數(shù)據(jù)從定向揚聲器32輸出到確定的反射面。然后，輸出控制部分70使從方向揚聲器32輸出的音頻數(shù)據(jù)為具有由輸出音量確定部分78確定的輸出音量的音頻數(shù)據(jù)。

順便提及，輸出音量確定部分78可以根據(jù)經(jīng)由所確定的反射面、所確定的反射面的反射率和所確定的反射面上的入射角的到達距離來確定音頻數(shù)據(jù)的頻率。

如上所述的輸出控制處理可以根據(jù)所確定的反射面的反射特性來控制音頻輸出。因此，用戶可以聽到具有預(yù)期特征的聲音，而不管確定的反射面的材料、確定的反射面的位置、用戶的位置等。

下面將參照圖12的流程圖描述由根據(jù)第一實施例的娛樂系統(tǒng)10執(zhí)行的聲音輸出控制處理的流程的示例。

首先，音頻信息獲取部分72從存儲在音頻信息存儲部分54中的音頻信息中獲取要從定向揚聲器32輸出的聲音的音頻信息(s11)。

然后，反射面確定部分74基于在步驟s11中由音頻信息獲取部分72獲取的音頻信息和存儲在分區(qū)信息存儲部分中的分區(qū)信息來識別分區(qū)(s12)。這里，反射面確定部分74在步驟s11中識別與由音頻信息獲取部分72獲取的音頻信息中包括的輸出條件相對應(yīng)的分區(qū)。

接下來，反射面確定部分74根據(jù)候選反射面信息存儲部分中存儲的候選反射面信息，確定與步驟s12中識別的分區(qū)相對應(yīng)的候選反射面作為反射要從定向揚聲器32輸出的音頻數(shù)據(jù)的反射面(s13)。然后，反射面信息獲取部分76從候選反射面信息存儲部分取得所確定的反射面的反射面信息(s14)。具體地說，反射面信息獲取部分76獲取表示所確定的反射面的位置的位置信息和確定的反射面的反射特性(到達距離、反射率、入射角度)。

然后，輸出音量確定部分78確定要輸出到在步驟s14中由反射面確定部分74確定的確定的反射面的音頻數(shù)據(jù)的輸出音量(s15)。輸出音量確定部分78基于作為反射面信息獲取部分76獲取的反射特性的所確定的反射面的反射特性的到達距離、反射率和入射角中的每一個，確定輸出音量。然后，輸出控制部分70通過控制電動機驅(qū)動器33來調(diào)節(jié)定向揚聲器32的取向，使得音頻數(shù)據(jù)由被輸出到由所確定的反射面的位置信息指示的位置，并且使音頻數(shù)據(jù)從定向揚聲器32輸出，音頻數(shù)據(jù)具有在步驟s15中由輸出音量確定部分78確定的輸出音量(s16)。然后，聲音輸出控制處理結(jié)束。

娛樂系統(tǒng)10還可以包括多個定向揚聲器32。圖13示出了通過布置多個定向揚聲器32而形成的結(jié)構(gòu)的示例。如圖13所示，可以布置各自獨立地移動的16個定向揚聲器32-n(n＝1到16)。在這種情況下，假設(shè)相應(yīng)的定向揚聲器32-n在取向上調(diào)整，以將音頻數(shù)據(jù)輸出到各個不同的反射面。當(dāng)開始使用娛樂系統(tǒng)10的游戲時，或者當(dāng)多個定向揚聲器32-n安裝在房間中時，例如，基于由房間圖像獲取部分62獲取的房間圖像確定指向各個方向揚聲器32-n的反射面。在這種情況下，假設(shè)定向揚聲器32-n的一旦確定的取向基本上是固定的。當(dāng)調(diào)節(jié)各個定向揚聲器32-n的取向時，不管用戶的位置如何，房間空間可被劃分為多個分區(qū)(例如，數(shù)量與定向揚聲器32相等的分區(qū))，并且可以調(diào)整相應(yīng)的定向揚聲器32-n以便指向各個不同分區(qū)內(nèi)的反射面?；蛘?，可以選擇在室內(nèi)具有優(yōu)異的反射特性的反射面，反射面的數(shù)量與定向揚聲器32的數(shù)量相等，并且可以調(diào)整各個定向揚聲器32-n以指向各個不同的反射面。假設(shè)在調(diào)整了所有定向揚聲器32的取向之后，相互相關(guān)聯(lián)地存儲各個定向揚聲器32-n和定向揚聲器32-n所指向的反射面的位置信息。然后，假設(shè)當(dāng)在包括這樣的多個定向揚聲器32的娛樂系統(tǒng)10中執(zhí)行聲音輸出處理時，將基于包括在由音頻信息獲取部分72獲取的音頻信息中的輸出條件(在此情況下的聲音生成位置)、各個定向揚聲器32所指向的反射面的位置信息和用戶的位置信息，來選擇要輸出音頻數(shù)據(jù)的方向揚聲器32。具體地，基于反射面的位置信息和用戶的位置信息，以用戶為基準(zhǔn)確定反射面所處的區(qū)域。因此，即使當(dāng)用戶在房間內(nèi)移動時，也可以以用戶的位置為基準(zhǔn)來確定區(qū)域。然后，假設(shè)反射面的區(qū)域與發(fā)聲位置一致，則選擇與反射面對應(yīng)的定向揚聲器32。順便提及，假設(shè)當(dāng)沒有與聲音產(chǎn)生位置一致的區(qū)域時，則選擇與位于最靠近聲音產(chǎn)生位置的區(qū)域中的反射面相對應(yīng)的定向揚聲器32。當(dāng)預(yù)先確定多個定向揚聲器32-n的取向時，本發(fā)明也可以應(yīng)用于需要聲音輸出的快速響應(yīng)的情況，例如，將聲音輸出到具有用戶根據(jù)用戶操作作為參考的位置。

第二實施例

在第一實施例中，已經(jīng)描述了與存儲在音頻信息存儲部分54中的音頻數(shù)據(jù)相關(guān)聯(lián)的輸出條件主要是指示以游戲中的用戶角色為基準(zhǔn)的聲音產(chǎn)生位置的信息的情況。在第二實施例中，將進一步描述輸出條件是指示房間內(nèi)的特定位置的信息，諸如指示在房間內(nèi)的對象的位置作為基準(zhǔn)的聲音產(chǎn)生位置的信息、指示基于房間結(jié)構(gòu)的預(yù)定位置的信息等。具體地，指示房間內(nèi)的特定位置的信息是指示距離用戶預(yù)定距離或預(yù)定范圍(諸如到用戶的位置左側(cè)50厘米等)的位置等，指示從用戶觀看的方向或位置(諸如從用戶觀看的右側(cè)或前方)的信息，或者基于諸如房間的中心等的房間的結(jié)構(gòu)來指示預(yù)定位置的信息。順便提及，當(dāng)以用戶角色作為基準(zhǔn)的聲音產(chǎn)生位置的信息與輸出條件相關(guān)聯(lián)時，可以從該信息中識別表示房間中的特定位置的信息。

指示由根據(jù)第二實施例的娛樂系統(tǒng)10執(zhí)行的主要功能的示例的功能框圖類似于圖4所示的根據(jù)第一實施例的功能框圖，除了表示由根據(jù)第二實施例的娛樂系統(tǒng)10執(zhí)行的主要功能的示例的功能框圖不包括候選反射面選擇部分66。以下將僅描述與在第一實施例中的那些不同的部分，并且將省略重復(fù)的描述。

下面將說明根據(jù)第二實施例的輸出控制部分70的輸出控制處理。

音頻信息獲取部分72根據(jù)游戲條件從音頻信息存儲部分54獲取要從定向揚聲器32輸出的音頻數(shù)據(jù)。假設(shè)在這種情況下，音頻數(shù)據(jù)的輸出條件與表示房間內(nèi)的特定位置的信息(例如，作為基準(zhǔn)的房間內(nèi)的對象的預(yù)定位置)相關(guān)聯(lián)。例如，假設(shè)輸出條件是表示房間內(nèi)的特定位置的信息，諸如用戶位置左側(cè)的50厘米、顯示器前方30厘米、房間中心等。

首先，反射面確定部分74基于由音頻信息獲取部分72獲取的音頻數(shù)據(jù)，確定反射面作為用于反射從定向揚聲器32輸出的音頻數(shù)據(jù)的對象。反射面確定部分74識別房間內(nèi)的位置，該位置對應(yīng)于與所獲取的音頻數(shù)據(jù)相關(guān)聯(lián)的輸出條件指示的位置。例如，當(dāng)以用戶的位置為基準(zhǔn)的預(yù)定位置(例如用戶的位置左側(cè)的50里面等)與輸出條件相關(guān)聯(lián)時，反射面確定部分74從由用戶位置識別部分64識別位置的用戶的位置信息和由輸出條件指示的位置的信息，識別反射面的位置。此外，假設(shè)當(dāng)將具有用戶以外的對象的位置(例如顯示器前方30厘米)作為基準(zhǔn)的預(yù)定位置與輸出條件相關(guān)聯(lián)時，識別關(guān)聯(lián)的對象的位置，并且獲取其位置信息。

反射面信息獲取部分76獲取由反射面確定部分74確定的確定的反射面(被稱為確定的反射面)的反射面信息。具體地，反射面信息獲取部分76獲取表示所確定的反射面的位置的位置信息、所確定的反射面的反射特性等。首先，反射面信息獲取部分76從室內(nèi)圖像獲取與所確定的反射面的位置對應(yīng)的確定的反射面圖像的特征信息、由在從定向揚聲器32輸出之后并且然后被所確定的反射面反射直到到達用戶所行進的到達距離、以及在所確定的反射面上從定向揚聲器32輸出的音頻數(shù)據(jù)的入射角。在這種情況下，所確定的反射面圖像可以是以所確定的反射面的位置為中心的預(yù)定范圍內(nèi)的區(qū)域的圖像。然后，反射面信息獲取部分76通過將獲取的確定的反射面圖像的特征信息與存儲在材料特征信息存儲部分52中的材料特征信息進行比較，識別所確定的反射面的材料和反射率。反射面信息獲取部分76因此獲取關(guān)于反射率、到達距離和入射角的信息作為所確定的反射面的反射特性。

輸出音量確定部分78確定要輸出到所確定的反射面的音頻數(shù)據(jù)的輸出音量。在這種情況下，當(dāng)由反射面確定部分74確定的反射面的反射特性與用作基準(zhǔn)的反射特性不同時，改變存儲在音頻信息存儲部分中的音頻數(shù)據(jù)中定義的輸出音量，使得用戶可以聽到具有預(yù)期音量的音頻數(shù)據(jù)。輸出音量確定部分78根據(jù)反射率、到達距離和入射角確定音頻數(shù)據(jù)的輸出音量，作為所確定的反射面的反射特性。輸出音量確定部分78的輸出音量確定處理如第一實施例中所述。

因此，輸出控制部分70通過根據(jù)所確定的反射面的位置信息控制電動機驅(qū)動器33，來調(diào)整方向揚聲器32的取向，將定向揚聲器32的音頻數(shù)據(jù)輸出到確定的反射面。然后，輸出控制部分70從定向揚聲器32輸出具有由輸出音量確定部分78確定的輸出音量的音頻數(shù)據(jù)。

因此，當(dāng)從房間內(nèi)的特定位置聽到聲音時，可以根據(jù)特定位置處的反射面的反射特性，使用戶聽到預(yù)期的聲音，并且可以從任意位置產(chǎn)生預(yù)期的聲音，而不依賴于房間中的條件，例如家具的布置、用戶的位置、反射面的材料等。

下面將參考圖14的流程圖描述由根據(jù)第二實施例的娛樂系統(tǒng)10執(zhí)行的聲音輸出控制處理的流程的示例。。

首先，房間圖像獲取部分62響應(yīng)于房間圖像獲取請求而獲取由相機單元46拍攝的房間圖像(s21)。

然后，用戶位置識別部分64從由房間圖像獲取部分62獲取的獲取的房間圖像中識別用戶的位置(s22)。

接下來，音頻信息獲取部分72從存儲在音頻信息存儲部分54中的音頻信息中獲取要從定向揚聲器32輸出的音頻數(shù)據(jù)(s23)。

然后，反射面確定部分74在步驟s23中基于由音頻信息獲取部分72獲取的音頻數(shù)據(jù)來確定反射面(s24)。這里，反射面確定部分74識別與由音頻信息獲取部分72獲取的音頻數(shù)據(jù)的輸出條件相關(guān)聯(lián)的與反射位置相對應(yīng)的反射面。

反射面信息獲取部分76從由房間圖像獲取部分62獲取的房間圖像，獲取由反射面確定部分74在步驟s24中確定的確定的反射面的信息(s25)。具體地，反射面信息獲取部分76獲取表示所確定的反射面的位置和確定的反射面的反射特性(到達距離、反射率、入射角度)的位置信息。

然后，輸出音量確定部分78確定要輸出到在步驟s24中由反射面確定部分74確定的確定的反射面的音頻數(shù)據(jù)的輸出音量(s26)。輸出音量確定部分78基于作為反射面信息獲取部分76獲取的反射特性的所確定的反射面的反射特性的到達距離、反射率和入射角中的每一個來確定輸出音量。然后，輸出控制部分70通過控制電動機驅(qū)動器33來調(diào)節(jié)定向揚聲器32的取向，以便將音頻數(shù)據(jù)輸出到由所確定的反射面的位置信息所指示的位置，并使音頻數(shù)據(jù)從定向揚聲器32輸出，音頻數(shù)據(jù)具有在步驟s26中由輸出音量確定部分78確定的輸出音量(s27)。然后聲音輸出控制處理結(jié)束。

順便提及，當(dāng)由反射面信息獲取部分76獲取反射特性的確定反射面的反射特性差時，反射面確定部分74可以改變用于反射音頻數(shù)據(jù)的反射面。也就是說，當(dāng)確定的反射面是不容易反射的材料時，可以搜索附近的反射面，并且可以將具有更好的反射特性的反射面設(shè)置為確定的反射面。在這種情況下，當(dāng)進行改變的反射面與首先確定的反射面相距太遠時，早期的音頻數(shù)據(jù)可能不會到達用戶。因此，可以在首先確定的反射面的位置的允許范圍(例如30厘米的半徑)內(nèi)進行搜索，并且可以在允許范圍內(nèi)選擇具有良好反射特性的反射面。順便提及，當(dāng)在允許范圍內(nèi)沒有具有良好反射特性的反射面時，對于首先確定的確定的反射面，輸出音量確定部分78執(zhí)行輸出音量確定處理就足夠了。在這種情況下，由第一實施例中描述的候選反射面選擇部分66的候選反射面選擇處理可以應(yīng)用于從允許范圍內(nèi)選擇具有良好反射特性的反射面的處理。

此外，根據(jù)第二實施例的娛樂系統(tǒng)10可以應(yīng)用為操作輸入系統(tǒng)，以供用戶執(zhí)行輸入操作。具體而言，假設(shè)在房間內(nèi)設(shè)置一個或多個聲音產(chǎn)生位置，并且通過用戶操作將物體(用戶的身體的一部分等)設(shè)置在對應(yīng)的聲音產(chǎn)生位置。然后，從定向揚聲器32輸出到聲音產(chǎn)生位置的定向聲音被用戶設(shè)置的對象反射，從而產(chǎn)生反射的聲音。假設(shè)基于由此產(chǎn)生的反射聲音接收與用戶操作相對應(yīng)的輸入信息。在這種情況下，可以預(yù)先相互關(guān)聯(lián)地存儲聲音產(chǎn)生位置、音頻數(shù)據(jù)和輸入信息，并且能夠根據(jù)反射的聲音產(chǎn)生位置和音頻數(shù)據(jù)來識別輸入信息。例如，構(gòu)造了操作輸入系統(tǒng)，其將用戶面部右側(cè)的聲音產(chǎn)生位置設(shè)置為30厘米，并且可以根據(jù)用戶將手提升到臉部的右側(cè)或者不把手提升到臉部的右側(cè)的操作來接收輸入信息。在這種情況下，輸入信息(例如表示“是”的信息)與要生成的反射聲音的聲音產(chǎn)生位置和音頻數(shù)據(jù)相關(guān)聯(lián)，并且輸出指令以允許用戶選擇是否將提升到臉部的右側(cè)(例如，在“是”的情況下輸出用于指示用戶提升手的指令，或者在“否”的情況下指示用戶不提升手的指令)。因此，可以根據(jù)是否產(chǎn)生反射的聲音來接收輸入信息(“是”或“否”)。此外，可以通過使用多個定向揚聲器32在多個聲音產(chǎn)生位置處設(shè)置不同的音頻數(shù)據(jù)，并且可以與各個不同的輸入信息相關(guān)聯(lián)。然后，當(dāng)通過用戶操作在多個聲音生成位置中的一個設(shè)置諸如手等對象來產(chǎn)生反射聲音時，可以接收與所生成的反射聲相對應(yīng)的輸入信息。例如，用戶面部左右30厘米的位置與相應(yīng)的不同的音頻數(shù)據(jù)相關(guān)聯(lián)(例如“左：是”和“右：否”)，并且輸入信息(例如指示“左：是”和指示“右：否”的信息)，并且輸出用于使用戶根據(jù)“是”或“否”的選擇將手舉到臉部的左側(cè)和右側(cè)的指令。在這種情況下，當(dāng)用戶將手提升到臉部分的右側(cè)時，產(chǎn)生聲音“否”，并且接收到輸入信息“否”。當(dāng)用戶將手提升到臉部分的左側(cè)時，產(chǎn)生聲音“是”，并且接收到用戶輸入信息“是”。因此，當(dāng)多個聲音生成位置與各個不同的音頻數(shù)據(jù)段和各個不同的輸入信息相關(guān)聯(lián)時，可以接收與聲音產(chǎn)生位置和產(chǎn)生的反射聲音相對應(yīng)的輸入信息。因此，根據(jù)第二實施例的娛樂系統(tǒng)10可以在任意位置產(chǎn)生反射的聲音，因此也可以用作使用方向揚聲器32的操作輸入系統(tǒng)。

應(yīng)當(dāng)注意，本發(fā)明不限于上述實施例。

例如，根據(jù)游戲的種類，存在諸如用戶角色的身體、桌子上的杯子、房間中的燈，天花板等特定對象或特定位置希望被設(shè)置為聲音產(chǎn)生位置的情況。在這種情況下，可以將指示對象的信息與音頻信息的輸出條件相關(guān)聯(lián)。然后，當(dāng)音頻信息獲取部分72獲取音頻信息時，可以基于獲取的房間圖像來識別房間內(nèi)的物品，其中物品對應(yīng)于由輸出條件指示的對象。然后，可以獲取所識別的物品的反射特性，并且可以根據(jù)反射特性將音頻數(shù)據(jù)從定向揚聲器32輸出到所識別的物品。

此外，在上述實施例中，房間圖像分析部分60分析由照相機單元46拍攝的房間的圖像。然而，本發(fā)明不限于該示例。例如，可以收集從用戶的位置產(chǎn)生的聲音以識別用戶的位置或估計房間的結(jié)構(gòu)。具體地，娛樂系統(tǒng)10可以指示用戶拍手或發(fā)出聲音，從而使從用戶的位置產(chǎn)生聲音。然后，可以通過使用提供給娛樂系統(tǒng)10的麥克風(fēng)等來收集生成的聲音，以測量用戶的位置、房間的大小等。

此外，可以允許用戶選擇反射面作為反射聲音的對象。例如，由房間圖像獲取部分62獲取的房間圖像或通過收集從用戶的位置產(chǎn)生的聲音來估計結(jié)構(gòu)的房間的結(jié)構(gòu)可以顯示在監(jiān)視器26或其他顯示裝置上，并且允許用戶可以在觀看所顯示的房間圖像等的同時選擇反射面。在這種情況下，可以進行用戶在從室內(nèi)圖像任意指定的位置實際產(chǎn)生聲音的實驗，并且用戶實際上可以聽到所產(chǎn)生的聲音，并且確定是否將位置設(shè)置為反射面。因此，可以創(chuàng)建用戶優(yōu)選的聲學(xué)環(huán)境。此外，由候選反射面選擇部分66提取的提取的反射面的信息也可以顯示在監(jiān)視器26或其他顯示裝置上，并且可以從提取的反射面中指定進行測試的位置。此外，可以允許用戶選擇要設(shè)置為反射面的對象。例如，可以從房間圖像獲取部分62獲取的房間圖像中提取諸如天花板、地板、墻壁、桌子等的房間內(nèi)的物體，并顯示在監(jiān)視器26或其他顯示裝置上，并且可以從對象中指定進行測試的位置。順便提及，在用戶從所顯示的對象中選擇用戶期望設(shè)置為反射面的對象(例如僅僅是天花板或地板)之后，反射面確定部分74可以確定反射面以使得僅由用戶選擇的對象反射聲音。

此外，在上述實施例中，示出了監(jiān)視器26、定向揚聲器32、控制器42、相機單元46和信息處理設(shè)備50是分離的設(shè)備的示例。然而，本發(fā)明也可應(yīng)用于便攜式游戲機作為其中監(jiān)視器26、定向揚聲器32、控制器42、相機單元46和信息處理設(shè)備50彼此成為一體的裝置，以及應(yīng)用于虛擬現(xiàn)實游戲機。