專(zhuān)利名稱(chēng)：用于創(chuàng)建音頻場(chǎng)景的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及用于創(chuàng)建音頻場(chǎng)景的設(shè)備和方法，并且具體地但決不是專(zhuān)門(mén)地應(yīng)用于創(chuàng)建虛擬環(huán)境的音頻場(chǎng)景。
背景技術(shù)：
近年來(lái)在創(chuàng)建視覺(jué)沉浸式虛擬環(huán)境方面已取得顯著的進(jìn)步。這些進(jìn)步已經(jīng)導(dǎo)致了大規(guī)模多玩家角色扮演游戲的廣泛應(yīng)用，在這種游戲中參與者可以進(jìn)入公共的虛擬環(huán)境(如戰(zhàn)場(chǎng))，并在虛擬環(huán)境中由化身來(lái)代表，化身通常采用動(dòng)畫(huà)人物的形式。在采用戰(zhàn)場(chǎng)形式的虛擬環(huán)境的情況下，化身可以是士兵。
視覺(jué)沉浸式虛擬環(huán)境的廣泛應(yīng)用部分地是由于圖像處理技術(shù)的顯著提高，圖像處理技術(shù)使得可以生成非常詳細(xì)并且逼真的圖形虛擬環(huán)境。三維聲卡的普及提供了在虛擬環(huán)境中向參與者提供高質(zhì)量聲音的能力。然而，盡管大量使用三維聲卡，但是現(xiàn)在的視覺(jué)沉浸式虛擬環(huán)境通常不能為參與者提供逼真的機(jī)制以相互進(jìn)行通信。許多環(huán)境使用諸如基于文本的聊天或步話(huà)機(jī)式話(huà)音的非沉浸式通信機(jī)制。
定義以下給出了對(duì)在本說(shuō)明書(shū)中使用的各種術(shù)語(yǔ)的定義。
加權(quán)音頻流-包括一條或更多條音頻信息的音頻信息，每條音頻信息都具有基于源與音頻信息的接受者之間距離而調(diào)節(jié)(增大或減小)的振幅。
非加權(quán)音頻流-包括一條或更多條音頻信息的音頻信息，但是與加權(quán)音頻流不同，在非加權(quán)音頻流中各條音頻信息的振幅與原始振幅相比是不經(jīng)修改的。
音頻場(chǎng)景-包括組合的多個(gè)聲音(例如，屬于虛擬環(huán)境內(nèi)的其他化身和其他聲音源的多個(gè)話(huà)音)的音頻信息，空間地布置這些聲音，并且可能根據(jù)源與聲音的接受者之間距離來(lái)使這些聲音衰減。音頻場(chǎng)景可能還包括代表環(huán)境的聲音特性的聲音效果。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建加權(quán)音頻流，該加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述加權(quán)音頻流與表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場(chǎng)景。
根據(jù)本發(fā)明第一方面的設(shè)備具有幾個(gè)優(yōu)點(diǎn)。一個(gè)優(yōu)點(diǎn)在于，通過(guò)將聽(tīng)覺(jué)范圍分成一個(gè)或更多個(gè)部分，可以將音頻場(chǎng)景的保真度調(diào)節(jié)到所需水平。聽(tīng)覺(jué)范圍中的部分的數(shù)量越大，音頻場(chǎng)景的保真度就越高?？梢韵胂?，本設(shè)備并不限于一個(gè)部分的單個(gè)加權(quán)音頻流。事實(shí)上，本設(shè)備能夠創(chuàng)建多個(gè)加權(quán)音頻流，每個(gè)加權(quán)音頻流都包括位于聽(tīng)覺(jué)范圍的其他部分的對(duì)象的音頻。本設(shè)備的另一個(gè)優(yōu)點(diǎn)在于，加權(quán)音頻流可以復(fù)制諸如由于在對(duì)象與接受者之間的傳播距離而導(dǎo)致音頻的衰減的特性。本發(fā)明的還一優(yōu)點(diǎn)在于，可以將音頻流再現(xiàn)成好像它是從該位置發(fā)出來(lái)的。由此，如果數(shù)據(jù)表示對(duì)象的位置是接受者的右手側(cè)，則可以使用立體聲音系統(tǒng)的右音道對(duì)該音頻進(jìn)行再現(xiàn)。
優(yōu)選地，所述音頻處理器還可進(jìn)行操作以創(chuàng)建所述加權(quán)音頻流，使得所述加權(quán)音頻流包括未加權(quán)音頻流，所述未加權(quán)音頻流包括來(lái)自位于所述化身的所述聽(tīng)覺(jué)范圍的所述部分內(nèi)的另一對(duì)象的音頻。
在加權(quán)音頻流中包括未加權(quán)音頻流的優(yōu)點(diǎn)在于，提供了用于表示來(lái)自位于所述化身的所述聽(tīng)覺(jué)范圍的所述部分周?chē)囊粋€(gè)或更多個(gè)其他對(duì)象的音頻的方法。未加權(quán)音頻流的優(yōu)點(diǎn)在于，可以對(duì)未加權(quán)音頻流進(jìn)行重用，以創(chuàng)建許多化身的音頻場(chǎng)景，這可以減小用于創(chuàng)建音頻場(chǎng)景的總處理需求。
優(yōu)選地，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作和權(quán)重信息來(lái)創(chuàng)建所述加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象和/或所述其他多個(gè)對(duì)象的標(biāo)識(shí)信息，所述權(quán)重信息可以由所述音頻處理器使用來(lái)設(shè)定所述加權(quán)音頻流中的所述音頻和所述未加權(quán)音頻流的振幅。
優(yōu)選地，所述設(shè)備還包括可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán)音頻流以及所述混合操作的通信裝置，所述通信裝置還可進(jìn)行操作以通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。
使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。
根據(jù)本發(fā)明的第二方面，提供了一種可進(jìn)行操作以為虛擬環(huán)境中的化身創(chuàng)建用于音頻場(chǎng)景的音頻信息的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建未加權(quán)音頻流，該未加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述未加權(quán)音頻流與表示所述對(duì)象在所述虛擬環(huán)境中的近似位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
根據(jù)本發(fā)明第二方面的設(shè)備具有幾個(gè)優(yōu)點(diǎn)，其中兩個(gè)優(yōu)點(diǎn)類(lèi)似于本發(fā)明的第一方面的上述第一和第二優(yōu)點(diǎn)。
優(yōu)選地，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作來(lái)創(chuàng)建所述未加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象的標(biāo)識(shí)信息。
優(yōu)選地，所述設(shè)備還包括可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作的通信裝置，所述通信裝置還可進(jìn)行操作以通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。
使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。
根據(jù)本發(fā)明的第三方面，提供了一種用于獲得可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的設(shè)備，該設(shè)備包括標(biāo)識(shí)裝置，其可進(jìn)行操作以確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；加權(quán)裝置，其可進(jìn)行操作以確定待施加給來(lái)自所述對(duì)象的音頻的權(quán)重；以及定位裝置，其可進(jìn)行操作以確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識(shí)符、所述權(quán)重以及所述位置表示可以被用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
由于以下幾個(gè)原因，本發(fā)明的第三方面的獲取權(quán)重和位置的能力是有利的。第一，可以使用權(quán)重來(lái)創(chuàng)建包括來(lái)自對(duì)象的音頻的加權(quán)音頻流。在這方面，當(dāng)將音頻插入加權(quán)音頻流時(shí)，可以使用所述權(quán)重來(lái)設(shè)定該音頻的振幅。第二，可以使用所述位置來(lái)對(duì)音頻進(jìn)行再現(xiàn)，就好像該音頻來(lái)自該位置一樣。例如，如果該位置表示對(duì)象的位置在接受者的右手側(cè)，則可以使用立體聲音系統(tǒng)的右音道來(lái)再現(xiàn)出該音頻。
優(yōu)選地，所述設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符、所述權(quán)重以及所述位置，以進(jìn)行處理。
使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。此外，它使得所述設(shè)備可以將所述標(biāo)識(shí)符、所述權(quán)重以及所述位置發(fā)送給具有執(zhí)行所需處理所需要的資源(處理能力)的系統(tǒng)。
優(yōu)選地，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
能夠提供擇路信息是有利的，因?yàn)樗沟盟鲈O(shè)備可以在通信網(wǎng)絡(luò)中有效地選擇將用于傳送音頻的多個(gè)鏈路。
優(yōu)選地，所述標(biāo)識(shí)裝置、所述加權(quán)裝置以及所述定位裝置可進(jìn)行操作以通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)分別確定所述標(biāo)識(shí)符、所述權(quán)重以及所述位置。
優(yōu)選地，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述聽(tīng)覺(jué)范圍的所述部分
選擇所述虛擬環(huán)境中的多個(gè)化身中的第一化身；標(biāo)識(shí)出所述多個(gè)化身中的最接近于所述多個(gè)化身中的所述第一化身的第二化身；確定是否可以將所述多個(gè)化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，將所述第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，創(chuàng)建包括所述多個(gè)化身中的所述第二化身的新群集，從而創(chuàng)建多個(gè)群集；確定所述多個(gè)群集中的兩個(gè)群集之間的角間隙；創(chuàng)建基本上位于所述角間隙中的另一群集；以及將所述多個(gè)化身中的至少一個(gè)化身包括在所述另一群集中。
另選地，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的一個(gè)化身；確定從所述化身延伸到所述多個(gè)化身中的所述一個(gè)化身的輻射線(xiàn)；對(duì)所述多個(gè)化身中的每一個(gè)與所述輻射線(xiàn)的絕對(duì)角距進(jìn)行計(jì)算；將所述多個(gè)化身中的每一個(gè)的所述絕對(duì)角距排列成升序列表；對(duì)所述升序列表中的所述多個(gè)絕對(duì)角距中的相繼的絕對(duì)角距之間的差分角間隔進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個(gè)差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔中的所述至少一個(gè)相關(guān)聯(lián)的所述多個(gè)化身中的兩個(gè)化身等分的另一輻射線(xiàn)。
根據(jù)本發(fā)明的第四方面，提供了一種用于創(chuàng)建可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的設(shè)備，該設(shè)備包括標(biāo)識(shí)裝置，其可進(jìn)行操作以確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；和定位裝置，其可進(jìn)行操作以確定所述對(duì)象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識(shí)符和所述近似位置表示可以被用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
確定對(duì)象的近似位置是有利的，因?yàn)榭梢允褂迷摻莆恢脕?lái)再現(xiàn)來(lái)自該對(duì)象的音頻，就好像所述音頻是從所述位置發(fā)出的一樣。
優(yōu)選地，所述設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符和所述位置，以進(jìn)行處理。
使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。此外，它使得所述設(shè)備可以將所述標(biāo)識(shí)符、所述權(quán)重以及所述位置發(fā)送給具有執(zhí)行所需處理所需要的資源(處理能力)的系統(tǒng)。
優(yōu)選地，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
能夠提供擇路信息是有利的，因?yàn)樗沟盟鲈O(shè)備可以在通信網(wǎng)絡(luò)中有效地選擇將用于傳送音頻的多個(gè)鏈路。
優(yōu)選地，所述標(biāo)識(shí)裝置和所述定位裝置可進(jìn)行操作以通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)分別確定所述標(biāo)識(shí)符和所述位置。
優(yōu)選地，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述對(duì)象的所述近似位置將所述虛擬環(huán)境劃分成多個(gè)單元格；和確定所述對(duì)象在所述多個(gè)單元格的一個(gè)單元格中的所處的位置。
根據(jù)本發(fā)明的第五方面，提供了一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場(chǎng)景的設(shè)備，該設(shè)備包括獲取裝置，其可進(jìn)行操作以獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置；和空間音頻呈現(xiàn)引擎，其可進(jìn)行操作以對(duì)所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以呈現(xiàn)出所述音頻場(chǎng)景。
根據(jù)本發(fā)明的第六方面，提供了一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的方法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻的加權(quán)音頻流；和關(guān)聯(lián)步驟，將所述加權(quán)音頻流與表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場(chǎng)景。
優(yōu)選地，所述創(chuàng)建步驟使得所述加權(quán)音頻流包括未加權(quán)音頻流，所述未加權(quán)音頻流包括來(lái)自位于所述化身的所述聽(tīng)覺(jué)范圍的所述部分內(nèi)的另一對(duì)象的音頻。
優(yōu)選地，根據(jù)預(yù)定混合操作和權(quán)重信息來(lái)執(zhí)行所述創(chuàng)建步驟，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象和/或所述其他多個(gè)對(duì)象的標(biāo)識(shí)信息，所述權(quán)重信息可以由所述音頻處理器使用來(lái)設(shè)定所述加權(quán)音頻流中的所述音頻和未加權(quán)音頻流的振幅。
優(yōu)選地，所述方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán)音頻流以及所述混合操作；和通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。
根據(jù)本發(fā)明的第七方面，提供了一種為虛擬環(huán)境中的化身創(chuàng)建用于音頻場(chǎng)景的音頻信息的方法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻的未加權(quán)音頻流；和關(guān)聯(lián)步驟，將所述未加權(quán)音頻流與表示所述對(duì)象在所述虛擬環(huán)境中的近似位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
優(yōu)選地，根據(jù)預(yù)定混合操作來(lái)執(zhí)行所述創(chuàng)建步驟，其中，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象的標(biāo)識(shí)信息。
優(yōu)選地，所述方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作；和通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。
根據(jù)本發(fā)明的第八方面，提供了一種用于獲得可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；第二確定步驟，確定待施加給來(lái)自所述對(duì)象的音頻的權(quán)重；以及第三確定步驟，確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識(shí)符、所述權(quán)重以及所述位置表示可以被用來(lái)創(chuàng)建音頻場(chǎng)景的所述信息。
優(yōu)選地，所述方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符、所述權(quán)重以及所述位置，以進(jìn)行處理。
優(yōu)選地，所述方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
優(yōu)選地，所述第一、第二以及第三確定步驟分別包括通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)確定所述標(biāo)識(shí)符、所述權(quán)重以及所述位置的步驟。
優(yōu)選地，所述方法還包括以下步驟以確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的第一化身；標(biāo)識(shí)出所述多個(gè)化身中的最接近于所述多個(gè)化身中的所述第一化身的第二化身；確定是否可以將所述多個(gè)化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，將所述第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，創(chuàng)建包括所述多個(gè)化身中的所述第二化身的新群集，從而創(chuàng)建多個(gè)群集；確定所述多個(gè)群集中的兩個(gè)群集之間的角間隙；創(chuàng)建位于所述角間隙中的還一群集；以及將所述多個(gè)化身中的至少一個(gè)化身包括在所述還一群集中。
另選地，所述方法還包括以下步驟以確定所述聽(tīng)覺(jué)范圍的所述位置選擇所述虛擬環(huán)境中的多個(gè)化身中的一個(gè)化身；確定從所述化身延伸到所述多個(gè)化身中的所述一個(gè)化身的輻射線(xiàn)；對(duì)所述多個(gè)化身中的每一個(gè)與所述輻射線(xiàn)的絕對(duì)角距進(jìn)行計(jì)算；將所述多個(gè)化身中的每一個(gè)的所述絕對(duì)角距排列成升序列表；對(duì)所述升序列中的所述絕對(duì)角距中的相繼的絕對(duì)角距之間的差分角間隔進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個(gè)差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個(gè)化身中的兩個(gè)化身等分的另一輻射線(xiàn)。
根據(jù)本發(fā)明的第九方面，提供了一種用于創(chuàng)建可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；和第二確定步驟，確定所述對(duì)象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識(shí)符和所述近似位置表示可以被用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
優(yōu)選地，所述方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符和所述位置，以進(jìn)行處理。
優(yōu)選地，所述方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
優(yōu)選地，所述第一和第二確定步驟分別包括通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)確定所述標(biāo)識(shí)符和所述位置的步驟。
優(yōu)選地，所述方法還包括以下步驟以確定所述對(duì)象的所述近似位置將所述虛擬環(huán)境劃分成多個(gè)單元格；和確定所述對(duì)象在所述多個(gè)單元格的一個(gè)單元格中的所處的位置。
根據(jù)本發(fā)明的第十方面，提供了一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場(chǎng)景的方法，該方法包括以下步驟獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置；和對(duì)所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以呈現(xiàn)出所述音頻場(chǎng)景。
根據(jù)本發(fā)明的第十一方面，提供了一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括用于使得計(jì)算設(shè)備執(zhí)行根據(jù)本發(fā)明的第六、第七、第八、第九以及第十方面的所述方法的至少一條指令。
根據(jù)本發(fā)明的第十二方面，提供了一種包括根據(jù)本發(fā)明的第十一方面的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)。


盡管任何其他實(shí)施例可能落在本發(fā)明的范圍內(nèi)，但是以下僅以示例的方式參照附圖對(duì)本發(fā)明的一實(shí)施例進(jìn)行描述，在附圖中圖1提供了根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的框圖；圖2提供了由圖1所示的系統(tǒng)執(zhí)行的各種步驟的流程圖；圖3提供了在圖1所示的系統(tǒng)中使用的柵格概要算法中包括的步驟的流程圖；圖4例示了由圖1所示的系統(tǒng)使用的地圖；圖5例示了由圖1所示的系統(tǒng)使用的控制表；圖6提供了在圖1所示的系統(tǒng)中使用的群集概要算法中包括的步驟的流程圖；圖7是對(duì)使用圖6的算法而形成的群集的例示；圖8是在另選群集化算法中包括的各種步驟的流程圖；圖9提供了對(duì)針對(duì)圖4所示的地圖運(yùn)行圖8的另選群集化算法的結(jié)果的視覺(jué)描述；圖10例示了由圖1所示的系統(tǒng)使用的另一控制表；圖11提供了在由圖1所示的系統(tǒng)執(zhí)行的處理中包括的步驟的流程圖；以及圖12提供了在由圖1所示的系統(tǒng)執(zhí)行的處理中包括的步驟的流程圖。
具體實(shí)施例方式
參照例示了實(shí)現(xiàn)了本發(fā)明的系統(tǒng)101的圖1，系統(tǒng)101包括音頻場(chǎng)景創(chuàng)建系統(tǒng)103；虛擬環(huán)境(DVE)狀態(tài)維護(hù)系統(tǒng)105；以及客戶(hù)機(jī)計(jì)算設(shè)備107。系統(tǒng)101還包括通信網(wǎng)絡(luò)109。音頻場(chǎng)景創(chuàng)建系統(tǒng)103、虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105以及客戶(hù)機(jī)計(jì)算設(shè)備107連接到通信網(wǎng)絡(luò)109，并被配置成使用網(wǎng)絡(luò)109以按分布式方式進(jìn)行操作；即，通過(guò)通信網(wǎng)絡(luò)109相互交換信息。通信網(wǎng)絡(luò)109采用諸如因特網(wǎng)的公眾接入分組交換網(wǎng)絡(luò)的形式，因此由許多互連的路由器(圖中未示出)組成。
一般來(lái)說(shuō)，將虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105配置成對(duì)與虛擬環(huán)境(如戰(zhàn)場(chǎng))有關(guān)的動(dòng)態(tài)信息進(jìn)行維護(hù)。由系統(tǒng)105維護(hù)的動(dòng)態(tài)信息例如包括虛擬環(huán)境中的各種化身的位置，并且，在虛擬環(huán)境涉及游戲的情況下，包括單個(gè)玩家的分?jǐn)?shù)。將音頻場(chǎng)景創(chuàng)建系統(tǒng)103基本上配置成對(duì)虛擬環(huán)境中的多個(gè)參與者的與實(shí)時(shí)音頻有關(guān)的方面進(jìn)行創(chuàng)建和管理(如參與者語(yǔ)音)；即，對(duì)音頻場(chǎng)景進(jìn)行創(chuàng)建和管理。將客戶(hù)機(jī)計(jì)算設(shè)備107基本上配置成與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105和音頻場(chǎng)景創(chuàng)建系統(tǒng)103相交互，以允許使用客戶(hù)機(jī)計(jì)算設(shè)備107的人參與到虛擬環(huán)境中。
更具體來(lái)說(shuō)，圖形環(huán)境狀態(tài)維護(hù)系統(tǒng)105采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤(pán)存儲(chǔ)器以及隨機(jī)存取存儲(chǔ)器)的計(jì)算機(jī)服務(wù)器(或者在另選實(shí)施例中，采用相互互連的多個(gè)分布式計(jì)算機(jī)服務(wù)器)的形式。除了硬件以外，計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級(jí)操作(例如，存儲(chǔ)器管理)的操作系統(tǒng)(如Linux或微軟Windows)。操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，計(jì)算機(jī)服務(wù)器包括應(yīng)用程序包，該應(yīng)用程序包被裝載在硬盤(pán)存儲(chǔ)器上并且能夠?qū)εc虛擬環(huán)境有關(guān)的動(dòng)態(tài)信息進(jìn)行維護(hù)。在這方面，如果虛擬環(huán)境例如是戰(zhàn)場(chǎng)，那么動(dòng)態(tài)信息可能表示某個(gè)化身(其例如代表士兵)位于坦克中。虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105基本上包括采用軟件形式的兩個(gè)模塊111和113。第一個(gè)模塊111基本上負(fù)責(zé)向客戶(hù)機(jī)計(jì)算設(shè)備107發(fā)送(與虛擬環(huán)境有關(guān)的)動(dòng)態(tài)信息和從客戶(hù)機(jī)計(jì)算設(shè)備107接收該動(dòng)態(tài)信息。將第二個(gè)模塊113配置成向音頻場(chǎng)景創(chuàng)建系統(tǒng)103發(fā)送該動(dòng)態(tài)信息。
如前所述，將音頻場(chǎng)景創(chuàng)建系統(tǒng)103基本上配置成對(duì)多個(gè)音頻場(chǎng)景進(jìn)行創(chuàng)建和管理。每個(gè)音頻場(chǎng)景都基本上表示對(duì)虛擬環(huán)境中的化身可能會(huì)聽(tīng)到的聲音的逼真再現(xiàn)。為了創(chuàng)建這些音頻場(chǎng)景，音頻場(chǎng)景創(chuàng)建系統(tǒng)103包括控制服務(wù)器115、概要(summarisation)服務(wù)器117(本發(fā)明的另選實(shí)施例可能包括多個(gè)分布式概要服務(wù)器)以及多個(gè)分布式場(chǎng)景創(chuàng)建服務(wù)器119?？刂品?wù)器115、概要服務(wù)器117以及所述多個(gè)分布式場(chǎng)景創(chuàng)建服務(wù)器119連接到通信網(wǎng)絡(luò)109，并使用通信網(wǎng)絡(luò)109來(lái)按分布式方式進(jìn)行相互合作。
控制服務(wù)器115采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤(pán)存儲(chǔ)器以及隨機(jī)存取存儲(chǔ)器)的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級(jí)操作的操作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，該計(jì)算機(jī)服務(wù)器包括被裝載到硬盤(pán)存儲(chǔ)器上并執(zhí)行圖2所示的流程圖201的各種步驟的應(yīng)用軟件。該應(yīng)用軟件執(zhí)行的第一個(gè)步驟203是與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105進(jìn)行交互，以獲得與虛擬環(huán)境有關(guān)的動(dòng)態(tài)信息。該應(yīng)用軟件獲得并處理該動(dòng)態(tài)信息，以標(biāo)識(shí)出存在于虛擬環(huán)境中的各種化身和虛擬環(huán)境中的化身的位置。虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105還可以對(duì)動(dòng)態(tài)信息進(jìn)行處理，以獲得這些化身的狀態(tài)的詳情(例如，活動(dòng)的或不活動(dòng)的)和任何聲音障礙物的詳情。為了獲得動(dòng)態(tài)信息，控制服務(wù)器115的應(yīng)用軟件通過(guò)通信網(wǎng)絡(luò)109與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105中的第二個(gè)模塊113進(jìn)行交互。
一旦控制服務(wù)器115的應(yīng)用軟件從虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105獲得了動(dòng)態(tài)信息，它就開(kāi)始對(duì)該動(dòng)態(tài)信息進(jìn)行處理，以創(chuàng)建由概要服務(wù)器117和場(chǎng)景創(chuàng)建服務(wù)器119來(lái)處理的許多混合操作，以針對(duì)虛擬環(huán)境中的各化身創(chuàng)建音頻場(chǎng)景。接在初始步驟203之后，控制服務(wù)器115執(zhí)行運(yùn)行柵格概要算法的步驟205。參照示出了柵格概要算法的流程圖301的圖3，柵格概要算法的第一個(gè)步驟303是使用在初始步驟203中獲得動(dòng)態(tài)信息來(lái)形成虛擬環(huán)境的地圖401(可在圖4中看到)。地圖401被劃分成多個(gè)單元格并繪示出多個(gè)化身在虛擬環(huán)境中的位置。地圖401將這些化身繪示成小黑點(diǎn)。盡管本實(shí)施例只包括單個(gè)地圖401，但是可以想像在本發(fā)明的另選實(shí)施例中可以使用多個(gè)地圖401。
注意，將虛擬環(huán)境中的各化身視為具有被分成交互區(qū)和背景區(qū)的聽(tīng)覺(jué)范圍。交互區(qū)通常被視為直接圍繞化身的聽(tīng)覺(jué)范圍的部分，而背景區(qū)是聽(tīng)覺(jué)范圍的位于聽(tīng)覺(jué)范圍的周?chē)浇?外限)的部分。作為示例，在圖4中將化身的聽(tīng)覺(jué)范圍的交互區(qū)示為圍繞化身的圓圈。
在形成地圖401時(shí)，控制服務(wù)器115的應(yīng)用軟件確保各單元格的尺寸大于或等于化身的交互區(qū)。
當(dāng)執(zhí)行柵格概要算法時(shí)而執(zhí)行的下一步驟305是確定地圖401中的各單元格的‘質(zhì)心’?；旧贤ㄟ^(guò)標(biāo)識(shí)出各單元格中的這樣的點(diǎn)來(lái)確定質(zhì)心，即，單元格內(nèi)的多個(gè)化身以該點(diǎn)為中心?？梢詫①|(zhì)心視為這些化身在虛擬環(huán)境中的近似位置。柵格概要算法中的最后一個(gè)步驟307是基于地圖401對(duì)由概要服務(wù)器117使用的控制表501(其被示于圖5中)進(jìn)行更新?？刂票?01包括多個(gè)行，每一行都表示地圖401中的多個(gè)單元格中的一個(gè)。每一行都還含有相應(yīng)單元格中的每個(gè)化身的標(biāo)識(shí)符和該單元格的質(zhì)心。實(shí)際上可以將控制表501中的每一行都視為未加權(quán)混合操作。為了對(duì)控制表501進(jìn)行更新，控制服務(wù)器115的應(yīng)用軟件通過(guò)通信網(wǎng)絡(luò)109與概要服務(wù)器117進(jìn)行交互。
一旦控制服務(wù)器115的應(yīng)用軟件完成了運(yùn)行柵格概要算法的步驟205，則它執(zhí)行的下一步驟207是運(yùn)行群集概要算法。圖6提供了在群集概要算法中包括的各種步驟的流程圖601。群集概要算法的第一個(gè)步驟603是選擇虛擬環(huán)境中的多個(gè)化身中的第一化身。接在第一個(gè)步驟603之后，群集概要算法包括選擇所述多個(gè)化身中的與在第一個(gè)步驟603中選擇的所述多個(gè)化身中的第一化身最近的第二化身的步驟605。一旦選擇了所述多個(gè)化身中的第二化身，群集概要算法包括確定所述多個(gè)化身中的第二化身是否適合于(fit in to)先前定義的群集的步驟607。接在前一步驟607之后，群集概要算法包括如果所述多個(gè)化身中的第二化身適合于先前定義的群集則將它置于該群集中的步驟609。另一方面，如果確定所述多個(gè)化身中的第二化身不適合于先前定義的群集，則群集概要算法包括執(zhí)行建立以所述多個(gè)化身中的第二化身為中心的新群集的步驟611。注意，執(zhí)行前述步驟603到611，直到建立了預(yù)定數(shù)量M個(gè)群集。
一旦建立了M個(gè)群集，則群集概要算法包括執(zhí)行找出該M個(gè)群集之間的最大角間隙的步驟613。一旦確定了最大角間隙，則群集概要算法包括在該最大角間隙中建立新群集的步驟615。重復(fù)前述步驟613和615，直到建立了總共K個(gè)群集。注意，群集數(shù)量M群集數(shù)量K。
群集概要算法的最后一個(gè)步驟617包括將所有剩余的化身置于所述K個(gè)群集(它們是得到最小角誤差的那些群集)中的最佳群集內(nèi)；即，在不對(duì)來(lái)自源的聲音進(jìn)行概要的情況下，從所述多個(gè)化身中的第一化身的視點(diǎn)給出的聲音源與該聲音源的實(shí)際位置之間的角差。
一旦執(zhí)行了群集概要算法的步驟603到617，則在控制服務(wù)器115上運(yùn)行的應(yīng)用軟件進(jìn)行到執(zhí)行最后一個(gè)步驟209，在本說(shuō)明書(shū)的隨后段落中對(duì)該步驟進(jìn)行詳細(xì)討論。圖7示出了對(duì)使用群集概要算法而建立的群集的例示。
本領(lǐng)域的技術(shù)人員將容易理解，本發(fā)明并不限于使用上述群集化算法。以示例的方式，以下對(duì)可以在本發(fā)明的另一實(shí)施例中使用的另選群集化算法進(jìn)行描述。圖8中的流程圖807示出了在該另選群集化算法中包括的步驟。
另選群集概要算法的第一個(gè)步驟803是選擇虛擬環(huán)境中的多個(gè)化身中的一個(gè)化身。下一步驟805是接著確定位于該化身的聽(tīng)覺(jué)范圍內(nèi)的多個(gè)化身和多個(gè)柵格概要的總數(shù)。這些柵格概要基本上是由概要服務(wù)器117生成的未加權(quán)音頻流。在本說(shuō)明書(shū)的隨后段落中對(duì)概要服務(wù)器117的該方面的詳細(xì)說(shuō)明進(jìn)行了闡述。
接在前一步驟805之后，下一步驟807是對(duì)聽(tīng)覺(jué)范圍內(nèi)的多個(gè)化身和多個(gè)柵格概要的總數(shù)是否小于或等于K(其為基于可用于發(fā)送音頻場(chǎng)景的帶寬量而選擇的數(shù)量)進(jìn)行評(píng)定。如果確定化身和柵格概要的總數(shù)小于或等于K，則在控制服務(wù)器115上運(yùn)行的應(yīng)用軟件進(jìn)行到本算法的最后一個(gè)步驟209(在本說(shuō)明書(shū)的隨后段落中對(duì)該步驟進(jìn)行討論)。
在聽(tīng)覺(jué)范圍內(nèi)的化身和/或柵格概要的總數(shù)大于K的情況下，控制服務(wù)器115繼續(xù)執(zhí)行本另選群集概要算法。在此情況下，本另選群集概要算法中的下一步驟809是在地圖401上有效地繪制從(在先前的步驟803中選擇的)所述化身起發(fā)出并經(jīng)過(guò)所述化身的聽(tīng)覺(jué)范圍內(nèi)的任何其他化身的輻射線(xiàn)。在步驟809之后，下一步驟811是對(duì)每個(gè)化身的絕對(duì)角距和所述化身的聽(tīng)覺(jué)范圍內(nèi)的柵格概要進(jìn)行計(jì)算。接在步驟811之后，本另選群集群化算法包括將這些絕對(duì)角距排列成升序列表的步驟813。下一步驟815是對(duì)該升序列表中的每?jī)蓚€(gè)相繼的絕對(duì)角距的差分角間隔進(jìn)行計(jì)算。一旦執(zhí)行了前一步驟815，下一步驟817就是標(biāo)識(shí)出K個(gè)最大差分角距。下一步驟819是通過(guò)在與所述K個(gè)最大差分角距相關(guān)聯(lián)的多個(gè)化身中的每一個(gè)之間有效地形成多條輻射線(xiàn)來(lái)將所述化身的聽(tīng)覺(jué)范圍劃分為K個(gè)部分。將這些輻射線(xiàn)之間的區(qū)域稱(chēng)為聽(tīng)覺(jué)范圍的一部分。圖9示出了對(duì)地圖401運(yùn)行本另選群集概要算法的效果。
作為本另選群集概要算法的前述步驟的示例，考慮包括總共10個(gè)化身/柵格概要和K等于4的虛擬環(huán)境。假設(shè)本另選群集概要算法的初始步驟811和813得到了按升序的以下絕對(duì)角距列表0，10，16，48，67，120，143，170，222以及253，它們分別對(duì)應(yīng)于化身/柵格概要A0到A9。
本另選群集概要算法的隨后步驟815(其包括對(duì)以上列表中的每?jī)蓚€(gè)相繼的絕對(duì)角距的差分角間隔進(jìn)行計(jì)算)的結(jié)果如下10，6，32，19，53，23，27，52，31以及107本另選群集概要算法的步驟817(其包括標(biāo)識(shí)出K(4)個(gè)最大差分角距)的結(jié)果是選擇以下差分角距
107，53，52以及32本另選群集概要算法的步驟819(其包括將聽(tīng)覺(jué)范圍劃分成多個(gè)部分)的結(jié)果是定義了以下K(4)個(gè)化身群集1A0、A1以及A32A3和A43A5、A6以及A74A8和A9接在前述多個(gè)步驟之后，本另選群集概要算法包括確定所述多個(gè)化身在虛擬環(huán)境中的位置的步驟821。在控制服務(wù)器115上運(yùn)行的應(yīng)用軟件通過(guò)與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105中的第二個(gè)模塊113進(jìn)行交互來(lái)執(zhí)行該步驟。一旦確定了所述多個(gè)化身的位置，本另選群集概要算法包括利用所述多個(gè)化身的位置來(lái)確定在所述多個(gè)化身與針對(duì)其正在運(yùn)行本另選群集概要算法的化身之間的距離。在步驟823之后，本另選群集概要算法包括利用這些距離來(lái)確定待施加給從所述化身的聽(tīng)覺(jué)范圍內(nèi)的所述多個(gè)化身發(fā)出的音頻的權(quán)重的步驟825。步驟825還包括利用(根據(jù)柵格概要算法確定的)質(zhì)心來(lái)確定對(duì)所述化身的聽(tīng)覺(jué)范圍內(nèi)的各柵格概要的權(quán)重的步驟。
在此階段，本另選群集概要算法包括如下步驟827確定在對(duì)聽(tīng)覺(jué)范圍進(jìn)行分割的先前步驟819中標(biāo)識(shí)出該聽(tīng)覺(jué)范圍的所述多個(gè)部分中的每一個(gè)部分的質(zhì)心。與柵格概要算法一樣，本另選群集概要算法通過(guò)選擇各部分中的所述多個(gè)化身以其為中心的位置來(lái)確定質(zhì)心。
本另選群集概要算法的最后一個(gè)步驟829包括對(duì)所述多個(gè)場(chǎng)景創(chuàng)建服務(wù)器119中的控制表1001(其被示于圖10中)進(jìn)行更新。這包括對(duì)控制表1001進(jìn)行更新以包括聽(tīng)覺(jué)范圍內(nèi)的所述多個(gè)部分中的所述多個(gè)化身中的每一個(gè)的標(biāo)識(shí)符、待施加于所述多個(gè)部分中的所述多個(gè)化身的多個(gè)權(quán)重以及所述多個(gè)部分中的每一個(gè)的質(zhì)心。注意，控制服務(wù)器115通過(guò)通信網(wǎng)絡(luò)109對(duì)場(chǎng)景創(chuàng)建服務(wù)器119中的控制表1001進(jìn)行更新。
如可以在圖10中看到的，所述多個(gè)場(chǎng)景創(chuàng)建服務(wù)器119中的控制表1001包括多個(gè)行。每一行都對(duì)應(yīng)于化身的聽(tīng)覺(jué)范圍的一部分，并含有聽(tīng)覺(jué)范圍的各部分中的多個(gè)化身/柵格概要的標(biāo)識(shí)符(分別為Sh和Zi)?？刂票?001的每一行還包括待施加給來(lái)自這些化身/柵格概要的音頻的權(quán)重(W)和所述多個(gè)部分的質(zhì)心(其被包含在控制表1001的“位置坐標(biāo)”一欄中)。質(zhì)心具有x，y坐標(biāo)的形式。
當(dāng)完成了本另選群集概要算法的最后一個(gè)步驟829時(shí)，運(yùn)行在控制服務(wù)器115上的應(yīng)用軟件進(jìn)行到執(zhí)行它的最后一個(gè)步驟209。最后一個(gè)步驟209包括與通信網(wǎng)絡(luò)109進(jìn)行交互，以建立多個(gè)專(zhuān)用通信鏈路。這些通信鏈路是這樣的它們使得可以將音頻從客戶(hù)機(jī)計(jì)算設(shè)備107傳送到概要服務(wù)器117和/或所述多個(gè)場(chǎng)景創(chuàng)建服務(wù)器119，并將柵格概要(未加權(quán)音頻流)從概要服務(wù)器117傳送到所述多個(gè)場(chǎng)景創(chuàng)建服務(wù)器119。
一旦控制服務(wù)器115完成了前述步驟203到209，概要服務(wù)器117就能夠創(chuàng)建多個(gè)未加權(quán)音頻流(柵格概要)。概要服務(wù)器117采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤(pán)存儲(chǔ)裝置以及隨機(jī)存取存儲(chǔ)器)的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級(jí)操作的操作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，該計(jì)算機(jī)服務(wù)器包括被配置成執(zhí)行混合處理(圖11例示的流程圖1101示出了該混合處理的步驟)的應(yīng)用軟件，以創(chuàng)建多個(gè)未加權(quán)音頻流。
流程圖1101的第一個(gè)步驟1103是獲得與在概要服務(wù)器117中的控制表501的“待混合流”一欄中標(biāo)識(shí)的多個(gè)化身中的每一個(gè)相關(guān)聯(lián)的音頻流Sn。圖5例示了該控制表501。注意，概要服務(wù)器117通過(guò)通信網(wǎng)絡(luò)109獲得這些音頻流Sn。在這方面，與通信網(wǎng)絡(luò)109相交互的控制服務(wù)器115的先前步驟209建立了在通信網(wǎng)絡(luò)109中的多個(gè)必要鏈接，以使得概要服務(wù)器117可以接收這些音頻流Sn。然后，對(duì)于控制表501中的每一行，下一步驟1105是將所標(biāo)識(shí)出的多個(gè)音頻流Sn混合起來(lái)，從而產(chǎn)生M個(gè)混合音頻流。這M個(gè)混合音頻流中的每一個(gè)都包括在控制表501中的M行中的每一行的“待混合流”一欄中標(biāo)識(shí)出的多個(gè)音頻流Sn。當(dāng)在混合步驟1105中對(duì)所述多個(gè)音頻流Sn進(jìn)行混合時(shí)，使得每個(gè)音頻流Sn都具有它們最初未經(jīng)改變的振幅。因此將該M個(gè)混合音頻流視為未加權(quán)音頻流。如前所述，這些未加權(quán)音頻流含有來(lái)自位于圖4所示的地圖401的多個(gè)單元格中的多個(gè)化身的音頻。
流程圖1101中的下一步驟1107是使用地圖401中的相應(yīng)單元格的對(duì)應(yīng)質(zhì)心對(duì)這些未加權(quán)音頻流進(jìn)行標(biāo)記。該步驟1107實(shí)際上包括插入來(lái)自控制表501的“單元格的質(zhì)心”一欄的x，y坐標(biāo)。處理流程圖1101中的最后一個(gè)步驟1109是將這些未加權(quán)音頻流從概要服務(wù)器117轉(zhuǎn)發(fā)給合適的場(chǎng)景創(chuàng)建服務(wù)器119，這是通過(guò)使用通信網(wǎng)絡(luò)109將這些未加權(quán)音頻流從概要服務(wù)器117傳送給場(chǎng)景創(chuàng)建服務(wù)器119來(lái)實(shí)現(xiàn)的。與通信網(wǎng)絡(luò)109相交互的控制服務(wù)器115的先前步驟209建立了在通信網(wǎng)絡(luò)109中的多個(gè)必要鏈接，以使得可以將這些未加權(quán)音頻流從概要服務(wù)器117傳送給場(chǎng)景創(chuàng)建服務(wù)器119。
一旦已將這些未加權(quán)音頻流傳送給場(chǎng)景創(chuàng)建服務(wù)器119，則能夠執(zhí)行混合處理以創(chuàng)建多個(gè)加權(quán)音頻流。圖12的流程圖1201示出了在該混合處理中包括的步驟。每個(gè)場(chǎng)景創(chuàng)建服務(wù)器119都采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤(pán)存儲(chǔ)裝置以及隨機(jī)存取存儲(chǔ)器)的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級(jí)操作的操作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，該計(jì)算機(jī)服務(wù)器包括被配置成執(zhí)行流程圖1201的各種步驟的應(yīng)用軟件。
除了流程圖1201導(dǎo)致創(chuàng)建加權(quán)音頻流(而不是產(chǎn)生未加權(quán)音頻流)以外，流程圖1201的步驟基本上與由概要服務(wù)器117執(zhí)行的流程圖1101的步驟相同。如可以在圖12中看到的，第一個(gè)步驟1203包括獲得在場(chǎng)景創(chuàng)建服務(wù)器119的控制表1001中標(biāo)識(shí)出的音頻流Zi和Sn，其中Zi是來(lái)自概要服務(wù)器117的未加權(quán)音頻流，Sn是與特定化身相關(guān)聯(lián)的音頻流。然后，對(duì)于控制表1001中的每一行，流程圖1201包括步驟1205將在控制表1001的“群集概要流”中標(biāo)識(shí)出的音頻流Zi與Sn混合起來(lái)，從而產(chǎn)生多個(gè)加權(quán)音頻流。該多個(gè)加權(quán)音頻流中的每一個(gè)都包括在控制表1001中的對(duì)應(yīng)行中標(biāo)識(shí)出的音頻流Zi與Sn。與由概要服務(wù)器117創(chuàng)建的未加權(quán)音頻流不同，加權(quán)音頻流中的音頻流Zi和Sn具有不同的振幅。在混合步驟1205中實(shí)際上通過(guò)將音頻流Zi和Sn乘以它們的相關(guān)聯(lián)的權(quán)重Wn(這些權(quán)重Wn也被包含在控制表1001的“群集概要流”一欄中)來(lái)確定所述振幅。
流程圖1201中的下一步驟1207是使用包含在控制表1001的對(duì)應(yīng)“位置坐標(biāo)”一欄中的質(zhì)心對(duì)這些加權(quán)音頻流進(jìn)行標(biāo)記。該步驟1207實(shí)際上包括插入包含在“位置坐標(biāo)”一欄中的x，y坐標(biāo)。流程圖1201的最后一個(gè)步驟1209是將這些加權(quán)音頻流通過(guò)通信網(wǎng)絡(luò)109發(fā)送給客戶(hù)機(jī)計(jì)算設(shè)備107以進(jìn)行處理。
客戶(hù)機(jī)計(jì)算設(shè)備107采用包括典型計(jì)算機(jī)硬件(如主板、硬盤(pán)以及存儲(chǔ)器)的個(gè)人計(jì)算機(jī)的形式。除了硬件以外，該客戶(hù)機(jī)計(jì)算設(shè)備107還裝載有操作系統(tǒng)(如微軟Windows)，該操作系統(tǒng)對(duì)各種系統(tǒng)級(jí)操作進(jìn)行管理并提供了可以在其中執(zhí)行應(yīng)用軟件的環(huán)境?？蛻?hù)機(jī)計(jì)算設(shè)備107還包括音頻客戶(hù)端121；虛擬環(huán)境客戶(hù)端123；以及空間音頻渲現(xiàn)(rending)引擎125。音頻客戶(hù)端121采用被配置成從所述多個(gè)場(chǎng)景創(chuàng)建服務(wù)器119接收多個(gè)加權(quán)音頻流并對(duì)這些加權(quán)音頻流進(jìn)行處理的應(yīng)用軟件的形式?？臻g音頻渲現(xiàn)引擎125采用音頻渲現(xiàn)軟件和聲卡的形式。當(dāng)接收到來(lái)自場(chǎng)景創(chuàng)建服務(wù)器119的加權(quán)音頻流時(shí)，音頻客戶(hù)端121與空間音頻渲現(xiàn)引擎125進(jìn)行交互，以對(duì)這些加權(quán)音頻流進(jìn)行呈現(xiàn)(再現(xiàn))，從而使用客戶(hù)機(jī)計(jì)算設(shè)備107為人創(chuàng)建音頻場(chǎng)景。在這方面，空間音頻渲現(xiàn)引擎125連接到一組揚(yáng)聲器，使用這組揚(yáng)聲器來(lái)向人傳送音頻場(chǎng)景。注意，音頻客戶(hù)端121在對(duì)加權(quán)音頻流進(jìn)行標(biāo)記的先前步驟1207中通過(guò)場(chǎng)景創(chuàng)建服務(wù)器119提取插入在加權(quán)音頻流中的位置信息。將所提取的位置信息(連同加權(quán)音頻流一起)傳送給空間音頻渲現(xiàn)引擎125，空間音頻渲現(xiàn)引擎125接著利用該位置信息來(lái)對(duì)信息進(jìn)行再現(xiàn)，就好像它是從該位置(即，例如從右手側(cè))發(fā)出的一樣。
虛擬環(huán)境客戶(hù)端123采用軟件(在另選實(shí)施例中可能是某些專(zhuān)用圖像處理硬件)的形式，并且基本上被配置成與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105的第一個(gè)模塊111進(jìn)行交互，以獲得與虛擬環(huán)境有關(guān)的動(dòng)態(tài)信息。當(dāng)接收到動(dòng)態(tài)信息時(shí)，圖形客戶(hù)端123對(duì)該動(dòng)態(tài)信息進(jìn)行處理，以再現(xiàn)(呈現(xiàn))出虛擬環(huán)境。為了使得可以將該虛擬環(huán)境顯示給使用客戶(hù)機(jī)計(jì)算設(shè)備107的人，客戶(hù)機(jī)計(jì)算設(shè)備107還包括監(jiān)視器(未示出)。圖形客戶(hù)端123還被配置成向虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105提供與在虛擬環(huán)境中存在的人有關(guān)的動(dòng)態(tài)信息。
本領(lǐng)域的技術(shù)人員將理解，這里描述的本發(fā)明可以容許除已具體描述的那些變型和修改以外的變型和修改。應(yīng)當(dāng)理解，本發(fā)明包括落在本發(fā)明的精神和范圍內(nèi)的所有這種變型和修改。
權(quán)利要求
1.一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建加權(quán)音頻流，該加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述加權(quán)音頻流與表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場(chǎng)景。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述音頻處理器還可進(jìn)行操作以創(chuàng)建所述加權(quán)音頻流，使得所述加權(quán)音頻流包括未加權(quán)音頻流，所述未加權(quán)音頻流包括來(lái)自位于所述化身的所述聽(tīng)覺(jué)范圍的所述部分內(nèi)的另一對(duì)象的音頻。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其中，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作和權(quán)重信息來(lái)創(chuàng)建所述加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象和/或其他多個(gè)對(duì)象的標(biāo)識(shí)信息，所述權(quán)重信息可以由所述音頻處理器使用來(lái)設(shè)定所述加權(quán)音頻流中的所述音頻和所述未加權(quán)音頻流的振幅。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中，所述設(shè)備還包括可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán)音頻流以及所述混合操作的通信裝置，所述通信網(wǎng)絡(luò)還可被操作以通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。
5.一種可進(jìn)行操作以為虛擬環(huán)境中的化身創(chuàng)建用于音頻場(chǎng)景中的音頻信息的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建未加權(quán)音頻流，該未加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述未加權(quán)音頻流與表示所述對(duì)象在所述虛擬環(huán)境中的近似位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作來(lái)創(chuàng)建所述未加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象的標(biāo)識(shí)信息。
7.根據(jù)權(quán)利要求6所述的設(shè)備，該設(shè)備還包括可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作的通信裝置，所述通信網(wǎng)絡(luò)還可被操作以通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。
8.一種用于獲得可以用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的設(shè)備，該設(shè)備包括標(biāo)識(shí)裝置，其可進(jìn)行操作以確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；加權(quán)裝置，其可進(jìn)行操作以確定待施加給來(lái)自所述對(duì)象的音頻的權(quán)重；以及定位裝置，其可進(jìn)行操作以確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識(shí)符、所述權(quán)重以及所述位置表示可以被用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
9.根據(jù)權(quán)利要求8所述的設(shè)備，該設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符、所述權(quán)重以及所述位置，以進(jìn)行處理。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
11.根據(jù)權(quán)利要求8到10中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識(shí)裝置、所述加權(quán)裝置以及所述定位裝置可進(jìn)行操作，以通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)分別確定所述標(biāo)識(shí)符、所述權(quán)重以及所述位置。
12.根據(jù)權(quán)利要求8到11中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的第一化身；標(biāo)識(shí)出所述多個(gè)化身中的最接近于所述多個(gè)化身中的所述第一化身的第二化身；確定是否可以將所述多個(gè)化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，將所述第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，創(chuàng)建包括所述多個(gè)化身中的所述第二化身的新群集，從而創(chuàng)建多個(gè)群集；確定所述多個(gè)群集中的兩個(gè)群集之間的角間隙；創(chuàng)建位于所述角間隙中的另一群集；以及將所述多個(gè)化身中的至少一個(gè)化身包括在所述另一群集中。
13.根據(jù)權(quán)利要求8到11中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的一個(gè)化身；確定從所述化身延伸到所述多個(gè)化身中的所述一個(gè)化身的輻射線(xiàn)；對(duì)所述多個(gè)化身中的每一個(gè)與所述輻射線(xiàn)的絕對(duì)角距進(jìn)行計(jì)算；將所述多個(gè)化身中的每一個(gè)的所述絕對(duì)角距排列成升序列表；對(duì)所述升序列表中的所述多個(gè)絕對(duì)角距中的相繼的絕對(duì)角距之間的差分角間隔進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個(gè)差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個(gè)化身中的兩個(gè)化身等分的另一輻射線(xiàn)。
14.一種用于創(chuàng)建可以用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的設(shè)備，該設(shè)備包括標(biāo)識(shí)裝置，其可進(jìn)行操作以確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；和定位裝置，其可進(jìn)行操作以確定所述對(duì)象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識(shí)符和所述近似位置表示可以用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
15.根據(jù)權(quán)利要求14所述的設(shè)備，還包括通信裝置，所述通信裝置可進(jìn)行操作以通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符和所述位置，以進(jìn)行處理。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
17.根據(jù)權(quán)利要求14到16中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識(shí)裝置和所述定位裝置可進(jìn)行操作，以通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)分別確定所述標(biāo)識(shí)符和所述位置。
18.根據(jù)權(quán)利要求14到17中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識(shí)裝置可進(jìn)行操作以通過(guò)以下步驟來(lái)確定所述對(duì)象的所述近似位置將所述虛擬環(huán)境劃分成多個(gè)單元格；和確定所述對(duì)象在所述多個(gè)單元格的一個(gè)單元格中的所處的位置。
19.一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場(chǎng)景的設(shè)備，該設(shè)備包括獲取裝置，其可進(jìn)行操作以獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置；和空間音頻呈現(xiàn)引擎，其可進(jìn)行操作以對(duì)所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以呈現(xiàn)出所述音頻場(chǎng)景。
20.一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的方法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建加權(quán)音頻流，該加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻；和關(guān)聯(lián)步驟，將所述加權(quán)音頻流與表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場(chǎng)景。
21.根據(jù)權(quán)利要求20所述的方法，其中，所述創(chuàng)建步驟使得所述加權(quán)音頻流包括未加權(quán)音頻流，所述未加權(quán)音頻流包括來(lái)自位于所述化身的所述聽(tīng)覺(jué)范圍的所述部分內(nèi)的另一對(duì)象的音頻。
22.根據(jù)權(quán)利要求20或21所述的方法，其中，根據(jù)預(yù)定混合操作和權(quán)重信息來(lái)執(zhí)行所述創(chuàng)建步驟，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象和/或其他多個(gè)對(duì)象的標(biāo)識(shí)信息，所述權(quán)重信息可以由音頻處理器使用來(lái)設(shè)定所述加權(quán)音頻流中的所述音頻和所述未加權(quán)音頻流的振幅。
23.根據(jù)權(quán)利要求22所述的方法，該方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán)音頻流以及所述混合操作；和通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。
24.一種為虛擬環(huán)境中的化身創(chuàng)建用于音頻場(chǎng)景中的音頻信息的方法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻的未加權(quán)音頻流；和關(guān)聯(lián)步驟，將所述未加權(quán)音頻流與表示所述虛擬環(huán)境中的所述對(duì)象的近似位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
25.根據(jù)權(quán)利要求24所述的方法，其中，根據(jù)預(yù)定混合操作來(lái)執(zhí)行所述創(chuàng)建步驟，其中，所述預(yù)定混合操作包括標(biāo)識(shí)了所述對(duì)象的標(biāo)識(shí)信息。
26.根據(jù)權(quán)利要求25所述的方法，該方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作；和通過(guò)所述通信網(wǎng)絡(luò)來(lái)發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。
27.一種用于獲得可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的一對(duì)象的標(biāo)識(shí)符；第二確定步驟，確定待施加給來(lái)自所述對(duì)象的音頻的權(quán)重；以及第三確定步驟，確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識(shí)符、所述權(quán)重以及所述位置表示可以被用來(lái)創(chuàng)建音頻場(chǎng)景的所述信息。
28.根據(jù)權(quán)利要求27所述的方法，該方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符、所述權(quán)重以及所述位置，以進(jìn)行處理。
29.根據(jù)權(quán)利要求28所述的方法，該方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
30.根據(jù)權(quán)利要求27到29中的任何一項(xiàng)所述的方法，其中，所述第一、第二以及第三確定步驟分別包括通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)確定所述標(biāo)識(shí)符、所述權(quán)重以及所述位置的步驟。
31.根據(jù)權(quán)利要求27到30中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的第一化身；標(biāo)識(shí)出所述多個(gè)化身中的最接近于所述多個(gè)化身中的所述第一化身的第二化身；確定是否可以將所述多個(gè)化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，將所述第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個(gè)化身中的所述第二化身包括在所述已有群集中時(shí)，創(chuàng)建包括所述多個(gè)化身中的所述第二化身的新群集，從而創(chuàng)建多個(gè)群集；確定所述多個(gè)群集中的兩個(gè)群集之間的角間隙；創(chuàng)建位于所述角間隙中的另一群集；以及將所述多個(gè)化身中的至少一個(gè)化身包括在所述另一群集中。
32.根據(jù)權(quán)利要求27到30中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所述聽(tīng)覺(jué)范圍的所述部分選擇所述虛擬環(huán)境中的多個(gè)化身中的一個(gè)化身；確定從所述化身延伸到所述多個(gè)化身中的所述一個(gè)化身的輻射線(xiàn)；對(duì)所述多個(gè)化身中的每一個(gè)與所述輻射線(xiàn)的絕對(duì)角距進(jìn)行計(jì)算；將所述多個(gè)化身中的每一個(gè)的所述絕對(duì)角距排列成升序列表；基于所述絕對(duì)角距對(duì)所述多個(gè)化身中的相繼的化身之間的差分角間隔進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個(gè)差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個(gè)化身中的兩個(gè)化身等分的另一輻射線(xiàn)。
33.一種用于創(chuàng)建可以被用來(lái)為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的標(biāo)識(shí)符；和第二確定步驟，確定所述對(duì)象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識(shí)符和所述近似位置表示可以被用來(lái)創(chuàng)建所述音頻場(chǎng)景的所述信息。
34.根據(jù)權(quán)利要求33所述的方法，該方法還包括以下步驟通過(guò)通信網(wǎng)絡(luò)向多個(gè)系統(tǒng)中的一個(gè)發(fā)送所述標(biāo)識(shí)符和所述位置，以進(jìn)行處理。
35.根據(jù)權(quán)利要求34所述的方法，該方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息來(lái)將所述音頻擇路到所述多個(gè)系統(tǒng)中的所述一個(gè)系統(tǒng)，以進(jìn)行處理。
36.根據(jù)權(quán)利要求33到35中的任何一項(xiàng)所述的方法，其中，所述第一和第二確定步驟分別包括通過(guò)對(duì)所述虛擬環(huán)境的表示進(jìn)行處理來(lái)確定所述標(biāo)識(shí)符和所述位置的步驟。
37.根據(jù)權(quán)利要求33到36中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所述對(duì)象的所述近似位置選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個(gè)差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個(gè)化身中的兩個(gè)化身等分的另一輻射線(xiàn)。
38.一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場(chǎng)景的方法，該方法包括以下步驟獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置；和對(duì)所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以呈現(xiàn)出所述音頻場(chǎng)景。
39.一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括用于使得計(jì)算設(shè)備執(zhí)行根據(jù)權(quán)利要求20到38中的任何一項(xiàng)所述的方法的至少一條指令。
40.一種包括根據(jù)權(quán)利要求39所述的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)。
全文摘要
本發(fā)明提供一種用于創(chuàng)建音頻場(chǎng)景的設(shè)備和方法。該用于為虛擬環(huán)境中的化身創(chuàng)建音頻場(chǎng)景的設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建包括來(lái)自位于所述化身的聽(tīng)覺(jué)范圍的一部分中的對(duì)象的音頻的加權(quán)音頻流；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述加權(quán)音頻流與表示所述聽(tīng)覺(jué)范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來(lái)，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場(chǎng)景。
文檔編號(hào)G06T15/00GK1969589SQ200580019570
公開(kāi)日2007年5月23日 申請(qǐng)日期2005年4月15日 優(yōu)先權(quán)日2004年4月16日
發(fā)明者保羅·安德魯·鮑斯特德, 法爾扎德·撒菲伊, 邁赫蘭·多拉沙齊 申請(qǐng)人:斯瑪特網(wǎng)絡(luò)技術(shù)Crc有限公司