專利名稱：用于創(chuàng)建音頻場景的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及用于創(chuàng)建音頻場景的設(shè)備和方法，并且具體地但決不是專門地應(yīng)用于創(chuàng)建虛擬環(huán)境的音頻場景。
背景技術(shù)：
近年來在創(chuàng)建視覺沉浸式虛擬環(huán)境方面已取得顯著的進(jìn)步。這些進(jìn)步已經(jīng)導(dǎo)致 了大規(guī)模多玩家角色扮演游戲的廣泛應(yīng)用，在這種游戲中參與者可以進(jìn)入公共的虛擬環(huán)境 (如戰(zhàn)場)，并在虛擬環(huán)境中由化身來代表，化身通常采用動畫人物的形式。在采用戰(zhàn)場形 式的虛擬環(huán)境的情況下，化身可以是士兵。視覺沉浸式虛擬環(huán)境的廣泛應(yīng)用部分地是由于圖像處理技術(shù)的顯著提高，圖像處 理技術(shù)使得可以生成非常詳細(xì)并且逼真的圖形虛擬環(huán)境。三維聲卡的普及提供了在虛擬環(huán) 境中向參與者提供高質(zhì)量聲音的能力。然而，盡管大量使用三維聲卡，但是現(xiàn)在的視覺沉浸 式虛擬環(huán)境通常不能為參與者提供逼真的機(jī)制以相互進(jìn)行通信。許多環(huán)境使用諸如基于文 本的聊天或步話機(jī)式話音的非沉浸式通信機(jī)制。^JL以下給出了對在本說明書中使用的各種術(shù)語的定義。加權(quán)音頻流_包括一條或更多條音頻信息的音頻信息，每條音頻信息都具有基于 源與音頻信息的接受者之間距離而調(diào)節(jié)(增大或減小)的振幅。非加權(quán)音頻流_包括一條或更多條音頻信息的音頻信息，但是與加權(quán)音頻流不 同，在非加權(quán)音頻流中各條音頻信息的振幅與原始振幅相比是不經(jīng)修改的。音頻場景_包括組合的多個聲音(例如，屬于虛擬環(huán)境內(nèi)的其他化身和其他聲音 源的多個話音)的音頻信息，空間地布置這些聲音，并且可能根據(jù)源與聲音的接受者之間 距離來使這些聲音衰減。音頻場景可能還包括代表環(huán)境的聲音特性的聲音效果。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場景的設(shè) 備，該設(shè)備包括 音頻處理器，其可進(jìn)行操作以創(chuàng)建加權(quán)音頻流，該加權(quán)音頻流包括來自位于所述 化身的聽覺范圍的一部分中的對象的音頻；和 關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述加權(quán)音頻流與表示所述聽覺范圍的所述部分在 所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻 場景。
根據(jù)本發(fā)明第一方面的設(shè)備具有幾個優(yōu)點(diǎn)。一個優(yōu)點(diǎn)在于，通過將聽覺范圍分成 一個或更多個部分，可以將音頻場景的保真度調(diào)節(jié)到所需水平。聽覺范圍中的部分的數(shù)量 越大，音頻場景的保真度就越高?？梢韵胂瘢驹O(shè)備并不限于一個部分的單個加權(quán)音頻流。 事實(shí)上，本設(shè)備能夠創(chuàng)建多個加權(quán)音頻流，每個加權(quán)音頻流都包括位于聽覺范圍的其他部 分的對象的音頻。本設(shè)備的另一個優(yōu)點(diǎn)在于，加權(quán)音頻流可以復(fù)制諸如由于在對象與接受 者之間的傳播距離而導(dǎo)致音頻的衰減的特性。本發(fā)明的還一優(yōu)點(diǎn)在于，可以將音頻流再現(xiàn) 成好像它是從該位置發(fā)出來的。由此，如果數(shù)據(jù)表示對象的位置是接受者的右手側(cè)，則可以 使用立體聲音系統(tǒng)的右音道對該音頻進(jìn)行再現(xiàn)。優(yōu)選地，所述音頻處理器還可進(jìn)行操作以創(chuàng)建所述加權(quán)音頻流，使得所述加權(quán)音 頻流包括未加權(quán)音頻流，所述未加權(quán)音頻流包括來自位于所述化身的所述聽覺范圍的所述 部分內(nèi)的另一對象的音頻。在加權(quán)音頻流中包括未加權(quán)音頻流的優(yōu)點(diǎn)在于，提供了用于表示來自位于所述化 身的所述聽覺范圍的所述部分周圍的一個或更多個其他對象的音頻的方法。未加權(quán)音頻流 的優(yōu)點(diǎn)在于，可以對未加權(quán)音頻流進(jìn)行重用，以創(chuàng)建許多化身的音頻場景，這可以減小用于 創(chuàng)建音頻場景的總處理需求。優(yōu)選地，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作和權(quán)重信息來創(chuàng)建所述 加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識了所述對象和/或所述其他多個對象的標(biāo)識信 息，所述權(quán)重信息可以由所述音頻處理器使用來設(shè)定所述加權(quán)音頻流中的所述音頻和所述 未加權(quán)音頻流的振幅。優(yōu)選地，所述設(shè)備還包括可進(jìn)行操作以通過通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán) 音頻流以及所述混合操作的通信裝置，所述通信裝置還可進(jìn)行操作以通過所述通信網(wǎng)絡(luò)來 發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。根據(jù)本發(fā)明的第二方面，提供了一種可進(jìn)行操作以為虛擬環(huán)境中的化身創(chuàng)建用于 音頻場景的音頻信息的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建未加權(quán)音頻流，該未加權(quán)音頻流包括來自位于 所述化身的聽覺范圍的一部分中的對象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述未加權(quán)音頻流與表示所述對象在所述虛擬環(huán)境 中的近似位置的數(shù)據(jù)關(guān)聯(lián)起來，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。根據(jù)本發(fā)明第二方面的設(shè)備具有幾個優(yōu)點(diǎn)，其中兩個優(yōu)點(diǎn)類似于本發(fā)明的第一方 面的上述第一和第二優(yōu)點(diǎn)。優(yōu)選地，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操作來創(chuàng)建所述未加權(quán)音頻 流，所述預(yù)定混合操作包括標(biāo)識了所述對象的標(biāo)識信息。優(yōu)選地，所述設(shè)備還包括可進(jìn)行操作以通過通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混 合操作的通信裝置，所述通信裝置還可進(jìn)行操作以通過所述通信網(wǎng)絡(luò)來發(fā)送所述未加權(quán)音 頻流和所述數(shù)據(jù)。使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。根據(jù)本發(fā)明的第三方面，提供了一種用于獲得可以被用來為虛擬環(huán)境中的化身創(chuàng) 建音頻場景的信息的設(shè)備，該設(shè)備包括
標(biāo)識裝置，其可進(jìn)行操作以確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo) 識符；加權(quán)裝置，其可進(jìn)行操作以確定待施加給來自所述對象的音頻的權(quán)重；以及定位裝置，其可進(jìn)行操作以確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識符、所述權(quán)重以及所述位置表示可以被用來創(chuàng)建所述音頻場景的所述信息。由于以下幾個原因，本發(fā)明的第三方面的獲取權(quán)重和位置的能力是有利的。第一， 可以使用權(quán)重來創(chuàng)建包括來自對象的音頻的加權(quán)音頻流。在這方面，當(dāng)將音頻插入加權(quán)音 頻流時，可以使用所述權(quán)重來設(shè)定該音頻的振幅。第二，可以使用所述位置來對音頻進(jìn)行再 現(xiàn)，就好像該音頻來自該位置一樣。例如，如果該位置表示對象的位置在接受者的右手側(cè)， 則可以使用立體聲音系統(tǒng)的右音道來再現(xiàn)出該音頻。優(yōu)選地，所述設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以通過通信網(wǎng)絡(luò)向 多個系統(tǒng)中的一個發(fā)送所述標(biāo)識符、所述權(quán)重以及所述位置，以進(jìn)行處理。使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。此外， 它使得所述設(shè)備可以將所述標(biāo)識符、所述權(quán)重以及所述位置發(fā)送給具有執(zhí)行所需處理所需 要的資源(處理能力)的系統(tǒng)。優(yōu)選地，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中， 所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多 個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。能夠提供擇路信息是有利的，因?yàn)樗沟盟鲈O(shè)備可以在通信網(wǎng)絡(luò)中有效地選擇 將用于傳送音頻的多個鏈路。優(yōu)選地，所述標(biāo)識裝置、所述加權(quán)裝置以及所述定位裝置可進(jìn)行操作以通過對所 述虛擬環(huán)境的表示進(jìn)行處理來分別確定所述標(biāo)識符、所述權(quán)重以及所述位置。優(yōu)選地，所述標(biāo)識裝置可進(jìn)行操作以通過以下步驟來確定所述聽覺范圍的所述部 分選擇所述虛擬環(huán)境中的多個化身中的第一化身；標(biāo)識出所述多個化身中的最接近于所述多個化身中的所述第一化身的第二化 身；確定是否可以將所述多個化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個化身中的所述第二化身包括在所述已有群集中時，將所述 第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個化身中的所述第二化身包括在所述已有群集中時，創(chuàng)建包 括所述多個化身中的所述第二化身的新群集，從而創(chuàng)建多個群集；確定所述多個群集中的兩個群集之間的角間隙；創(chuàng)建基本上位于所述角間隙中的另一群集；以及將所述多個化身中的至少一個化身包括在所述另一群集中。另選地，所述標(biāo)識裝置可進(jìn)行操作以通過以下步驟來確定所述聽覺范圍的所述部 分選擇所述虛擬環(huán)境中的多個化身中的一個化身；確定從所述化身延伸到所述多個化身中的所述一個化身的輻射線；
對所述多個化身中的每一個與所述輻射線的絕對角距進(jìn)行計(jì)算；將所述多個化身中的每一個的所述絕對角距排列成升序列表；對所述升序列表中的所述多個絕對角距中的相繼的絕對角距之間的差分角間隔 進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個差分角間 隔；以及確定從所述化身發(fā)出并將與所述差分角間隔中的所述至少一個相關(guān)聯(lián)的所述多 個化身中的兩個化身等分的另一輻射線。根據(jù)本發(fā)明的第四方面，提供了一種用于創(chuàng)建可以被用來為虛擬環(huán)境中的化身創(chuàng) 建音頻場景的信息的設(shè)備，該設(shè)備包括標(biāo)識裝置，其可進(jìn)行操作以確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo) 識符；和定位裝置，其可進(jìn)行操作以確定所述對象在所述虛擬環(huán)境中的近似位置，其中，所 述標(biāo)識符和所述近似位置表示可以被用來創(chuàng)建所述音頻場景的所述信息。確定對象的近似位置是有利的，因?yàn)榭梢允褂迷摻莆恢脕碓佻F(xiàn)來自該對象的音 頻，就好像所述音頻是從所述位置發(fā)出的一樣。優(yōu)選地，所述設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以通過通信網(wǎng)絡(luò)向 多個系統(tǒng)中的一個發(fā)送所述標(biāo)識符和所述位置，以進(jìn)行處理。使用該通信裝置是有利的，因?yàn)樗沟每梢栽诜植际江h(huán)境中使用所述設(shè)備。此外， 它使得所述設(shè)備可以將所述標(biāo)識符、所述權(quán)重以及所述位置發(fā)送給具有執(zhí)行所需處理所需 要的資源(處理能力)的系統(tǒng)。優(yōu)選地，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中， 所述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多 個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。能夠提供擇路信息是有利的，因?yàn)樗沟盟鲈O(shè)備可以在通信網(wǎng)絡(luò)中有效地選擇 將用于傳送音頻的多個鏈路。優(yōu)選地，所述標(biāo)識裝置和所述定位裝置可進(jìn)行操作以通過對所述虛擬環(huán)境的表示 進(jìn)行處理來分別確定所述標(biāo)識符和所述位置。優(yōu)選地，所述標(biāo)識裝置可進(jìn)行操作以通過以下步驟來確定所述對象的所述近似位 置將所述虛擬環(huán)境劃分成多個單元格；和確定所述對象在所述多個單元格的一個單元格中的大約所處的位置。根據(jù)本發(fā)明的第五方面，提供了一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場景的設(shè) 備，該設(shè)備包括獲取裝置，其可進(jìn)行操作以獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來自位 于所述化身的聽覺范圍的一部分中的對象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表 示所述聽覺范圍的所述部分在所述虛擬環(huán)境中的位置；和空間音頻呈現(xiàn)引擎，其可進(jìn)行操作以對所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以 呈現(xiàn)出所述音頻場景。
根據(jù)本發(fā)明的第六方面，提供了一種用于為虛擬環(huán)境中的化身創(chuàng)建音頻場景的方 法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建包括來自位于所述化身的聽覺范圍的一部分中的對象的音頻的加 權(quán)音頻流；和關(guān)聯(lián)步驟，將所述加權(quán)音頻流與表示所述聽覺范圍的所述部分在所述虛擬環(huán)境中 的位置的數(shù)據(jù)關(guān)聯(lián)起來，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場景。優(yōu)選地，所述創(chuàng)建步驟使得所述加權(quán)音頻流包括未加權(quán)音頻流，所述未加權(quán)音頻 流包括來自位于所述化身的所述聽覺范圍的所述部分內(nèi)的另一對象的音頻。優(yōu)選地，根據(jù)預(yù)定混合操作和權(quán)重信息來執(zhí)行所述創(chuàng)建步驟，所述預(yù)定混合操作 包括標(biāo)識了所述對象和/或所述其他多個對象的標(biāo)識信息，所述權(quán)重信息可以由所述音頻 處理器使用來設(shè)定所述加權(quán)音頻流中的所述音頻和未加權(quán)音頻流的振幅。優(yōu)選地，所述方法還包括以下步驟通過通信網(wǎng)絡(luò)接收所述音頻、所述未加權(quán)音頻流以及所述混合操作；和通過所述通信網(wǎng)絡(luò)來發(fā)送所述加權(quán)音頻流和所述數(shù)據(jù)。根據(jù)本發(fā)明的第七方面，提供了一種為虛擬環(huán)境中的化身創(chuàng)建用于音頻場景的音 頻信息的方法，該方法包括以下步驟創(chuàng)建步驟，創(chuàng)建包括來自位于所述化身的聽覺范圍的一部分中的對象的音頻的未 加權(quán)音頻流；和關(guān)聯(lián)步驟，將所述未加權(quán)音頻流與表示所述對象在所述虛擬環(huán)境中的近似位置的 數(shù)據(jù)關(guān)聯(lián)起來，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。優(yōu)選地，根據(jù)預(yù)定混合操作來執(zhí)行所述創(chuàng)建步驟，其中，所述預(yù)定混合操作包括標(biāo) 識了所述對象的標(biāo)識信息。優(yōu)選地，所述方法還包括以下步驟通過通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作；和通過所述通信網(wǎng)絡(luò)來發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。根據(jù)本發(fā)明的第八方面，提供了一種用于獲得可以被用來為虛擬環(huán)境中的化身創(chuàng) 建音頻場景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo)識符；第二確定步驟，確定待施加給來自所述對象的音頻的權(quán)重；以及第三確定步驟，確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識符、所述 權(quán)重以及所述位置表示可以被用來創(chuàng)建音頻場景的所述信息。優(yōu)選地，所述方法還包括以下步驟通過通信網(wǎng)絡(luò)向多個系統(tǒng)中的一個發(fā)送所述 標(biāo)識符、所述權(quán)重以及所述位置，以進(jìn)行處理。優(yōu)選地，所述方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所 述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個 系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。優(yōu)選地，所述第一、第二以及第三確定步驟分別包括通過對所述虛擬環(huán)境的表示 進(jìn)行處理來確定所述標(biāo)識符、所述權(quán)重以及所述位置的步驟。優(yōu)選地，所述方法還包括以下步驟以確定所述聽覺范圍的所述部分
選擇所述虛擬環(huán)境中的多個化身中的第一化身；標(biāo)識出所述多個化身中的最接近于所述多個化身中的所述第一化身的第二化 身；確定是否可以將所述多個化身中的所述第二化身包括在已有群集中；當(dāng)確定可以將所述多個化身中的所述第二化身包括在所述已有群集中時，將所述第二化身包括在所述已有群集中；當(dāng)確定不能將所述多個化身中的所述第二化身包括在所述已有群集中時，創(chuàng)建包 括所述多個化身中的所述第二化身的新群集，從而創(chuàng)建多個群集；確定所述多個群集中的兩個群集之間的角間隙；創(chuàng)建位于所述角間隙中的還一群集；以及將所述多個化身中的至少一個化身包括在所述還一群集中。另選地，所述方法還包括以下步驟以確定所述聽覺范圍的所述位置選擇所述虛擬環(huán)境中的多個化身中的一個化身；確定從所述化身延伸到所述多個化身中的所述一個化身的輻射線；對所述多個化身中的每一個與所述輻射線的絕對角距進(jìn)行計(jì)算；將所述多個化身中的每一個的所述絕對角距排列成升序列表；對所述升序列中的所述絕對角距中的相繼的絕對角距之間的差分角間隔進(jìn)行計(jì) 算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個差分角間 隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個化身中的兩個化 身等分的另一輻射線。根據(jù)本發(fā)明的第九方面，提供了一種用于創(chuàng)建可以被用來為虛擬環(huán)境中的化身創(chuàng) 建音頻場景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo)識符；和第二確定步驟，確定所述對象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識符和 所述近似位置表示可以被用來創(chuàng)建所述音頻場景的所述信息。優(yōu)選地，所述方法還包括以下步驟通過通信網(wǎng)絡(luò)向多個系統(tǒng)中的一個發(fā)送所述 標(biāo)識符和所述位置，以進(jìn)行處理。優(yōu)選地，所述方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的擇路信息，其中，所 述擇路信息是如下信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述音頻擇路到所述多個 系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。優(yōu)選地，所述第一和第二確定步驟分別包括通過對所述虛擬環(huán)境的表示進(jìn)行處理 來確定所述標(biāo)識符和所述位置的步驟。優(yōu)選地，所述方法還包括以下步驟以確定所述對象的所述近似位置將所述虛擬環(huán)境劃分成多個單元格；和確定所述對象在所述多個單元格的一個單元格中的大約所處的位置。根據(jù)本發(fā)明的第十方面，提供了一種用于為虛擬環(huán)境中的化身呈現(xiàn)音頻場景的方 法，該方法包括以下步驟
獲取加權(quán)音頻流和數(shù)據(jù)，所述加權(quán)音頻流包括來自位于所述化身的聽覺范圍的一 部分中的對象的音頻，所述數(shù)據(jù)與所述加權(quán)音頻流相關(guān)聯(lián)并表示所述聽覺范圍的所述部分 在所述虛擬環(huán)境中的位置；和對所述加權(quán)音頻流和所述數(shù)據(jù)進(jìn)行處理，以呈現(xiàn)出所述音頻場景。根據(jù)本發(fā)明的第十一方面，提供了一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括用于使得 計(jì)算設(shè)備執(zhí)行根據(jù)本發(fā)明的第六、第七、第八、第九以及第十方面的所述方法的至少一條指 令。根據(jù)本發(fā)明的第十二方面，提供了一種包括根據(jù)本發(fā)明的第十一方面的計(jì)算機(jī)程 序的計(jì)算機(jī)可讀介質(zhì)。


盡管任何其他實(shí)施例可能落在本發(fā)明的范圍內(nèi)，但是以下僅以示例的方式參照附 圖對本發(fā)明的一實(shí)施例進(jìn)行描述，在附圖中圖1提供了根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的框圖；圖2提供了由圖1所示的系統(tǒng)執(zhí)行的各種步驟的流程圖；圖3提供了在圖1所示的系統(tǒng)中使用的柵格概要算法中包括的步驟的流程圖；圖4例示了由圖1所示的系統(tǒng)使用的地圖；圖5例示了由圖1所示的系統(tǒng)使用的控制表；圖6提供了在圖1所示的系統(tǒng)中使用的群集概要算法中包括的步驟的流程圖；圖7是對使用圖6的算法而形成的群集的例示；圖8是在另選群集化算法中包括的各種步驟的流程圖；圖9提供了對針對圖4所示的地圖運(yùn)行圖8的另選群集化算法的結(jié)果的視覺描 述；圖10例示了由圖1所示的系統(tǒng)使用的另一控制表；圖11提供了在由圖1所示的系統(tǒng)執(zhí)行的處理中包括的步驟的流程圖；以及圖12提供了在由圖1所示的系統(tǒng)執(zhí)行的處理中包括的步驟的流程圖。
具體實(shí)施例方式參照例示了實(shí)現(xiàn)了本發(fā)明的系統(tǒng)101的圖1，系統(tǒng)101包括音頻場景創(chuàng)建系統(tǒng) 103 ；虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105 ；以及客戶機(jī)計(jì)算設(shè)備107。系統(tǒng)101還包括通信網(wǎng)絡(luò)109。 音頻場景創(chuàng)建系統(tǒng)103、虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105以及客戶機(jī)計(jì)算設(shè)備107連接到通信網(wǎng) 絡(luò)109，并被配置成使用網(wǎng)絡(luò)109以按分布式方式進(jìn)行操作；即，通過通信網(wǎng)絡(luò)109相互交 換信息。通信網(wǎng)絡(luò)109采用諸如因特網(wǎng)的公眾接入分組交換網(wǎng)絡(luò)的形式，因此由許多互連 的路由器(圖中未示出)組成。一般來說，將虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105配置成對與虛擬環(huán)境(如戰(zhàn)場)有關(guān)的 動態(tài)信息進(jìn)行維護(hù)。由系統(tǒng)105維護(hù)的動態(tài)信息例如包括虛擬環(huán)境中的各種化身的位置， 并且，在虛擬環(huán)境涉及游戲的情況下，包括單個玩家的分?jǐn)?shù)。將音頻場景創(chuàng)建系統(tǒng)103基本 上配置成對虛擬環(huán)境中的多個參與者的與實(shí)時音頻有關(guān)的方面進(jìn)行創(chuàng)建和管理(如參與 者語音)；即，對音頻場景進(jìn)行創(chuàng)建和管理。將客戶機(jī)計(jì)算設(shè)備107基本上配置成與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105和音頻場景創(chuàng)建系統(tǒng)103相交互，以允許使用客戶機(jī)計(jì)算設(shè)備107的 人參與到虛擬環(huán)境中。更具體來說，圖形環(huán)境狀態(tài)維護(hù)系統(tǒng)105采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤 存儲器以及隨機(jī)存取存儲器)的計(jì)算機(jī)服務(wù)器(或者在另選實(shí)施例中，采用相互互連的多 個分布式計(jì)算機(jī)服務(wù)器)的形式。除了硬件以外，計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級操 作(例如，存儲器管理)的操作系統(tǒng)(如Linux或微軟Windows)。操作系統(tǒng)還提供了用于 執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，計(jì)算機(jī)服務(wù)器包括應(yīng)用程序包，該應(yīng)用程序包被裝載在硬 盤存儲器上并且能夠?qū)εc虛擬環(huán)境有關(guān)的動態(tài)信息進(jìn)行維護(hù)。在這方面，如果虛擬環(huán)境例 如是戰(zhàn)場，那么動態(tài)信息可能表示某個化身(其例如代表士兵)位于坦克中。虛擬環(huán)境狀 態(tài)維護(hù)系統(tǒng)105基本上包括采用軟件形式的兩個模塊111和113。第一個模塊111基本上 負(fù)責(zé)向客戶機(jī)計(jì)算設(shè)備107發(fā)送(與虛擬環(huán)境有關(guān)的)動態(tài)信息和從客戶機(jī)計(jì)算設(shè)備107 接收該動態(tài)信息。將第二個模塊113配置成向音頻場景創(chuàng)建系統(tǒng)103發(fā)送該動態(tài)信息。如前所述，將音頻場景創(chuàng)建系統(tǒng)103基本上配置成對多個音頻場景進(jìn)行創(chuàng)建和管 理。每個音頻場景都基本上表示對虛擬環(huán)境中的化身可能會聽到的聲音的逼真再現(xiàn)。為了 創(chuàng)建這些音頻場景，音頻場景創(chuàng)建系統(tǒng)103包括控制服務(wù)器115、概要(summarisation)服 務(wù)器117(本發(fā)明的另選實(shí)施例可能包括多個分布式概要服務(wù)器)以及多個分布式場景創(chuàng) 建服務(wù)器119?？刂品?wù)器115、概要服務(wù)器117以及所述多個分布式場景創(chuàng)建服務(wù)器119 連接到通信網(wǎng)絡(luò)109，并使用通信網(wǎng)絡(luò)109來按分布式方式進(jìn)行相互合作?？刂品?wù)器115采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤存儲器以及隨機(jī)存取存 儲器)的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級操 作的操作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán) 境。在這方面，該計(jì)算機(jī)服務(wù)器包括被裝載到硬盤存儲器上并執(zhí)行圖2所示的流程圖201的 各種步驟的應(yīng)用軟件。該應(yīng)用軟件執(zhí)行的第一個步驟203是與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105 進(jìn)行交互，以獲得與虛擬環(huán)境有關(guān)的動態(tài)信息。該應(yīng)用軟件獲得并處理該動態(tài)信息，以標(biāo)識 出存在于虛擬環(huán)境中的各種化身和虛擬環(huán)境中的化身的位置。虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105 還可以對動態(tài)信息進(jìn)行處理，以獲得這些化身的狀態(tài)的詳情(例如，活動的或不活動的)和 任何聲音障礙物的詳情。為了獲得動態(tài)信息，控制服務(wù)器115的應(yīng)用軟件通過通信網(wǎng)絡(luò)109 與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105中的第二個模塊113進(jìn)行交互。一旦控制服務(wù)器115的應(yīng)用軟件從虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105獲得了動態(tài)信息， 它就開始對該動態(tài)信息進(jìn)行處理，以創(chuàng)建由概要服務(wù)器117和場景創(chuàng)建服務(wù)器119來處理 的許多混合操作，以針對虛擬環(huán)境中的各化身創(chuàng)建音頻場景。接在初始步驟203之后，控制 服務(wù)器115執(zhí)行運(yùn)行柵格概要算法的步驟205。參照示出了柵格概要算法的流程圖301的 圖3，柵格概要算法的第一個步驟303是使用在初始步驟203中獲得動態(tài)信息來形成虛擬環(huán) 境的地圖401 (可在圖4中看到)。地圖401被劃分成多個單元格并繪示出多個化身在虛擬 環(huán)境中的位置。地圖401將這些化身繪示成小黑點(diǎn)。盡管本實(shí)施例只包括單個地圖401，但 是可以想像在本發(fā)明的另選實(shí)施例中可以使用多個地圖401。注意，將虛擬環(huán)境中的各化身視為具有被分成交互區(qū)和背景區(qū)的聽覺范圍。交互區(qū)通常被視為直接圍繞化身的聽覺范圍的部分，而背景區(qū)是聽覺范圍的位于聽覺范圍的周 圍附近(外限)的部分。作為示例，在圖4中將化身的聽覺范圍的交互區(qū)示為圍繞化身的圓圈。在形成地圖401時，控制服務(wù)器115的應(yīng)用軟件確保各單元格的尺寸大于或等于化身的交互區(qū)。當(dāng)執(zhí)行柵格概要算法時而執(zhí)行的下一步驟305是確定地圖401中的各單元格的 ‘質(zhì)心’。基本上通過標(biāo)識出各單元格中的這樣的點(diǎn)來確定質(zhì)心，即，單元格內(nèi)的多個化身以 該點(diǎn)為中心?？梢詫①|(zhì)心視為這些化身在虛擬環(huán)境中的近似位置。柵格概要算法中的最后 一個步驟307是基于地圖401對由概要服務(wù)器117使用的控制表501 (其被示于圖5中) 進(jìn)行更新?？刂票?01包括多個行，每一行都表示地圖401中的多個單元格中的一個。每 一行都還含有相應(yīng)單元格中的每個化身的標(biāo)識符和該單元格的質(zhì)心。實(shí)際上可以將控制表 501中的每一行都視為未加權(quán)混合操作。為了對控制表501進(jìn)行更新，控制服務(wù)器115的應(yīng) 用軟件通過通信網(wǎng)絡(luò)109與概要服務(wù)器117進(jìn)行交互。一旦控制服務(wù)器115的應(yīng)用軟件完成了運(yùn)行柵格概要算法的步驟205，則它執(zhí)行 的下一步驟207是運(yùn)行群集概要算法。圖6提供了在群集概要算法中包括的各種步驟的流 程圖601。群集概要算法的第一個步驟603是選擇虛擬環(huán)境中的多個化身中的第一化身。 接在第一個步驟603之后，群集概要算法包括選擇所述多個化身中的與在第一個步驟603 中選擇的所述多個化身中的第一化身最近的第二化身。一旦選擇了所述多個化身中的第二 化身，群集概要算法包括確定所述多個化身中的第二化身是否適合于(fit in to)先前定 義的群集的步驟607。接在前一步驟607之后，群集概要算法包括如果所述多個化身中的第 二化身適合于先前定義的群集則將它置于該群集中的步驟609。另一方面，如果確定所述多 個化身中的第二化身不適合于先前定義的群集，則群集概要算法包括執(zhí)行建立以所述多個 化身中的第二化身為中心的新群集的步驟611。注意，執(zhí)行前述步驟603到611，直到建立 了預(yù)定數(shù)量M個群集。一旦建立了 M個群集，則群集概要算法包括執(zhí)行找出該M個群集之間的最大角間 隙的步驟613。一旦確定了最大角間隙，則群集概要算法包括在該最大角間隙中建立新群集 的步驟615。重復(fù)前述步驟613和615，直到建立了總共K個群集。注意，群集數(shù)量MS群 集數(shù)量K。群集概要算法的最后一個步驟617包括將所有剩余的化身置于所述K個群集(它 們是得到最小角誤差的那些群集)中的最佳群集內(nèi)；即，在不對來自源的聲音進(jìn)行概要的 情況下，從所述多個化身中的第一化身的視點(diǎn)給出的聲音源與該聲音源的實(shí)際位置之間的角差。一旦執(zhí)行了群集概要算法的步驟603到617，則在控制服務(wù)器115上運(yùn)行的應(yīng)用 軟件進(jìn)行到執(zhí)行最后一個步驟209，在本說明書的隨后段落中對該步驟進(jìn)行詳細(xì)討論。圖7 示出了對使用群集概要算法而建立的群集的例示。本領(lǐng)域的技術(shù)人員將容易理解，本發(fā)明并不限于使用上述群集化算法。以示例的 方式，以下對可以在本發(fā)明的另一實(shí)施例中使用的另選群集化算法進(jìn)行描述。圖8中的流 程圖807示出了在該另選群集化算法中包括的步驟。另選群集概要算法的第一個步驟803是選擇虛擬環(huán)境中的多個化身中的一個化 身。下一步驟805是接著確定位于該化身的聽覺范圍內(nèi)的多個化身和多個柵格概要的總 數(shù)。這些柵格概要基本上是由概要服務(wù)器117生成的未加權(quán)音頻流。在本說明書的隨后段落中對概要服務(wù)器117的該方面的詳細(xì)說明進(jìn)行了闡述。接在前一步驟805之后，下一步驟807是對聽覺范圍內(nèi)的多個化身和多個柵格概 要的總數(shù)是否小于或等于K(其為基于可用于發(fā)送音頻場景的帶寬量而選擇的數(shù)量)進(jìn)行 評定。如果確定化身和柵格概要的總數(shù)小于或等于K，則在控制服務(wù)器115上運(yùn)行的應(yīng)用軟 件進(jìn)行到本算法的最后一個步驟209 (在本說明書的隨后段落中對該步驟進(jìn)行討論)。
在聽覺范圍內(nèi)的化身和/或柵格概要的總數(shù)大于K的情況下，控制服務(wù)器115繼 續(xù)執(zhí)行本另選群集概要算法。在此情況下，本另選群集概要算法中的下一步驟809是在地 圖401上有效地繪制從(在先前的步驟803中選擇的)所述化身起發(fā)出并經(jīng)過所述化身的 聽覺范圍內(nèi)的任何其他化身的輻射線。在步驟809之后，下一步驟811是對每個化身的絕對 角距和所述化身的聽覺范圍內(nèi)的柵格概要進(jìn)行計(jì)算。接在步驟811之后，本另選群集群化 算法包括將這些絕對角距排列成升序列表的步驟813。下一步驟815是對該升序列表中的 每兩個相繼的絕對角距的差分角間隔進(jìn)行計(jì)算。一旦執(zhí)行了前一步驟815，下一步驟817就 是標(biāo)識出K個最大差分角距。下一步驟819是通過在與所述K個最大差分角距相關(guān)聯(lián)的多 個化身中的每一個之間有效地形成多條輻射線來將所述化身的聽覺范圍劃分為K個部分。 將這些輻射線之間的區(qū)域稱為聽覺范圍的一部分。圖9示出了對地圖401運(yùn)行本另選群集 概要算法的效果。作為本另選群集概要算法的前述步驟的示例，考慮包括總共10個化身/柵格概要 和K等于4的虛擬環(huán)境。假設(shè)本另選群集概要算法的初始步驟811和813得到了按升序的 以下絕對角距列表0，10，16，48，67，120，143，170，222以及253，它們分別對應(yīng)于化身/柵格概要A0到
A90本另選群集概要算法的隨后步驟815(其包括對以上列表中的每兩個相繼的絕對 角距的差分角間隔進(jìn)行計(jì)算)的結(jié)果如下10,6,32,19,53,23,27,52,31 以及 107本另選群集概要算法的步驟817 (其包括標(biāo)識出K (4)個最大差分角距)的結(jié)果是 選擇以下差分角距107，53，52 以及 32本另選群集概要算法的步驟819 (其包括將聽覺范圍劃分成多個部分)的結(jié)果是 定義了以下K(4)個化身群集I=Ac^A1 以及 A32:Α3 禾口 A43:Α5、Α6 以及 A74:Α8 禾口 A9接在前述多個步驟之后，本另選群集概要算法包括確定所述多個化身在虛擬環(huán)境 中的位置的步驟821。在控制服務(wù)器115上運(yùn)行的應(yīng)用軟件通過與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng) 105中的第二個模塊113進(jìn)行交互來執(zhí)行該步驟。一旦確定了所述多個化身的位置，本另選 群集概要算法包括利用所述多個化身的位置來確定在所述多個化身與針對其正在運(yùn)行本 另選群集概要算法的化身之間的距離。在步驟823之后，本另選群集概要算法包括利用這 些距離來確定待施加給從所述化身的聽覺范圍內(nèi)的所述多個化身發(fā)出的音頻的權(quán)重的步驟825。步驟825還包括利用(根據(jù)柵格概要算法確定的)質(zhì)心來確定對所述化身的聽覺 范圍內(nèi)的各柵格概要的權(quán)重的步驟。在此階段，本另選群集概要算法包括如下步驟827 確定在對聽覺范圍進(jìn)行分割 的先前步驟819中標(biāo)識出該聽覺范圍的所述多個部分中的每一個部分的質(zhì)心。與柵格概要 算法一樣，本另選群集概要算法通過選擇各部分中的所述多個化身以其為中心的位置來確 定質(zhì)心。本另選群集概要算法的最后一個步驟829包括對所述多個場景創(chuàng)建服務(wù)器119中 的控制表1001 (其被示于圖10中)進(jìn)行更新。這包括對控制表1001進(jìn)行更新以包括聽覺 范圍內(nèi)的所述多個部分中的所述多個化身中的每一個的標(biāo)識符、待施加于所述多個部分中 的所述多個化身的多個權(quán)重以及所述多個部分中的每一個的質(zhì)心。注意，控制服務(wù)器115 通過通信網(wǎng)絡(luò)109對場景創(chuàng)建服務(wù)器119中的控制表1001進(jìn)行更新。如可以在圖10中看到的，所述多個場景創(chuàng)建服務(wù)器119中的控制表1001包括多 個行。每一行都對應(yīng)于化身的聽覺范圍的一部分，并含有聽覺范圍的各部分中的多個化身 /柵格概要的標(biāo)識符(分別為S1^nziK控制表1001的每一行還包括待施加給來自這些化 身/柵格概要的音頻的權(quán)重(W)和所述多個部分的質(zhì)心(其被包含在控制表1001的“位置 坐標(biāo)” 一欄中)。質(zhì)心具有X，y坐標(biāo)的形式。當(dāng)完成了本另選群集概要算法的最后一個步驟829時，運(yùn)行在控制服務(wù)器115上 的應(yīng)用軟件進(jìn)行到執(zhí)行它的最后一個步驟209。最后一個步驟209包括與通信網(wǎng)絡(luò)109進(jìn) 行交互，以建立多個專用通信鏈路。這些通信鏈路是這樣的它們使得可以將音頻從客戶機(jī) 計(jì)算設(shè)備107傳送到概要服務(wù)器117和/或所述多個場景創(chuàng)建服務(wù)器119，并將柵格概要 (未加權(quán)音頻流)從概要服務(wù)器117傳送到所述多個場景創(chuàng)建服務(wù)器119。一旦控制服務(wù)器115完成了前述步驟203到209，概要服務(wù)器117就能夠創(chuàng)建多個 未加權(quán)音頻流(柵格概要)。概要服務(wù)器117采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤存儲 裝置以及隨機(jī)存取存儲器)的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包 括執(zhí)行各種系統(tǒng)級操作的操作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于 執(zhí)行應(yīng)用軟件的環(huán)境。在這方面，該計(jì)算機(jī)服務(wù)器包括被配置成執(zhí)行混合處理(圖11例示 的流程圖1101示出了該混合處理的步驟)的應(yīng)用軟件，以創(chuàng)建多個未加權(quán)音頻流。流程圖1101的第一個步驟1103是獲得與在概要服務(wù)器117中的控制表501的“待 混合流”一欄中標(biāo)識的多個化身中的每一個相關(guān)聯(lián)的音頻流sn。圖5例示了該控制表501。 注意，概要服務(wù)器117通過通信網(wǎng)絡(luò)109獲得這些音頻流Sn。在這方面，與通信網(wǎng)絡(luò)109相 交互的控制服務(wù)器115的先前步驟209建立了在通信網(wǎng)絡(luò)109中的多個必要鏈接，以使得 概要服務(wù)器117可以接收這些音頻流Sn。然后，對于控制表501中的每一行，下一步驟1105 是將所標(biāo)識出的多個音頻流Sn混合起來，從而產(chǎn)生M個混合音頻流。這M個混合音頻流中 的每一個都包括在控制表501中的M行中的每一行的“待混合流”一欄中標(biāo)識出的多個音 頻流Sn。當(dāng)在混合步驟1105中對所述多個音頻流Sn進(jìn)行混合時，使得每個音頻流Sn都具 有它們最初未經(jīng)改變的振幅。因此將該M個混合音頻流視為未加權(quán)音頻流。如前所述，這 些未加權(quán)音頻流含有來自位于圖4所示的地圖401的多個單元格中的多個化身的音頻。流程圖1101中的下一步驟1107是使用地圖401中的相應(yīng)單元格的對應(yīng)質(zhì)心對這 些未加權(quán)音頻流進(jìn)行標(biāo)記。該步驟1107實(shí)際上包括插入來自控制表501的“單元格的質(zhì)心” 一欄的x，y坐標(biāo)。處理流程圖1101中的最后一個步驟1109是將這些未加權(quán)音頻流從 概要服務(wù)器117轉(zhuǎn)發(fā)給合適的場景創(chuàng)建服務(wù)器119，這是通過使用通信網(wǎng)絡(luò)109將這些未加 權(quán)音頻流從概要服務(wù)器117轉(zhuǎn)發(fā)給場景創(chuàng)建服務(wù)器119來實(shí)現(xiàn)的。與通信網(wǎng)絡(luò)109相交互 的控制服務(wù)器115的先前步驟209建立了在通信網(wǎng)絡(luò)109中的多個必要鏈接，以使得可以 將這些未加權(quán)音頻流從概要服務(wù)器117傳送給場景創(chuàng)建服務(wù)器119。一旦已將這些未加權(quán)音頻流傳送給場景創(chuàng)建服務(wù)器119，則能夠執(zhí)行混合處理以 創(chuàng)建多個加權(quán)音頻流。圖12的流程圖1201示出了在該混合處理中包括的步驟。每個場景 創(chuàng)建服務(wù)器119都采用包括傳統(tǒng)計(jì)算機(jī)硬件(如主板、硬盤存儲裝置以及隨機(jī)存取存儲器) 的計(jì)算機(jī)服務(wù)器的形式。除了硬件以外，該計(jì)算機(jī)服務(wù)器還包括執(zhí)行各種系統(tǒng)級操作的操 作系統(tǒng)(如Linux或微軟Windows)。該操作系統(tǒng)還提供了用于執(zhí)行應(yīng)用軟件的環(huán)境。在這 方面，該計(jì)算機(jī)服務(wù)器包括被配置成執(zhí)行流程圖1201的各種步驟的應(yīng)用軟件。除了流程圖1201導(dǎo)致創(chuàng)建加權(quán)音頻流(而不是產(chǎn)生未加權(quán)音頻流)以外，流程圖 1201的步驟基本上與由概要服務(wù)器117執(zhí)行的流程圖1101的步驟相同。如可以在圖12中 看到的，第一個步驟1203包括獲得在場景創(chuàng)建服務(wù)器119的控制表1001中標(biāo)識出的音頻 流Zi和Sn，其中Zi是來自概要服務(wù)器117的未加權(quán)音頻流，Sn是與特定化身相關(guān)聯(lián)的音頻 流。然后，對于控制表1001中的每一行，流程圖1201包括步驟1205 將在控制表1001的 “群集概要流”中標(biāo)識出的音頻流Zi與Sn混合起來，從而產(chǎn)生多個加權(quán)音頻流。該多個加 權(quán)音頻流中的每一個都包括在控制表1001中的對應(yīng)行中標(biāo)識出的音頻流Zi與Sn。與由概 要服務(wù)器117創(chuàng)建的未加權(quán)音頻流不同，加權(quán)音頻流中的音頻流Zi和Sn具有不同的振幅。 在混合步驟1205中實(shí)際上通過將音頻流Zi和Sn乘以它們的相關(guān)聯(lián)的權(quán)重Wn(這些權(quán)重Wn 也被包含在控制表1001的“群集概要流” 一欄中)來確定所述振幅。流程圖1201中的下一步驟1207是使用包含在控制表1001的對應(yīng)“位置坐標(biāo)”一 欄中的質(zhì)心對這些加權(quán)音頻流進(jìn)行標(biāo)記。該步驟1207實(shí)際上包括插入包含在“位置坐標(biāo)” 一欄中的x，y坐標(biāo)。流程圖1201的最后一個步驟1209是將這些加權(quán)音頻流通過通信網(wǎng)絡(luò) 109發(fā)送給客戶機(jī)計(jì)算設(shè)備107以進(jìn)行處理?？蛻魴C(jī)計(jì)算設(shè)備107采用包括典型計(jì)算機(jī)硬件(如主板、硬盤以及存儲器)的 個人計(jì)算機(jī)的形式。除了硬件以外，該客戶機(jī)計(jì)算設(shè)備107還裝載有操作系統(tǒng)(如微軟 Windows)，該操作系統(tǒng)對各種系統(tǒng)級操作進(jìn)行管理并提供了可以在其中執(zhí)行應(yīng)用軟件的環(huán) 境?？蛻魴C(jī)計(jì)算設(shè)備107還包括音頻客戶端121 ；虛擬環(huán)境客戶端123 ；以及空間音頻渲染 (rending)引擎125。音頻客戶端121采用被配置成從所述多個場景創(chuàng)建服務(wù)器119接收 多個加權(quán)音頻流并對這些加權(quán)音頻流進(jìn)行處理的應(yīng)用軟件的形式。空間音頻渲染引擎125 采用音頻渲染軟件和聲卡的形式。當(dāng)接收到來自場景創(chuàng)建服務(wù)器119的加權(quán)音頻流時，音 頻客戶端121與空間音頻渲染引擎125進(jìn)行交互，以對這些加權(quán)音頻流進(jìn)行呈現(xiàn)(再現(xiàn))， 從而使用客戶機(jī)計(jì)算設(shè)備107為人創(chuàng)建音頻場景。在這方面，空間音頻渲染引擎125連接 到一組揚(yáng)聲器，使用這組揚(yáng)聲器來向人傳送音頻場景。注意，音頻客戶端121在對加權(quán)音頻 流進(jìn)行標(biāo)記的先前步驟1207中通過場景創(chuàng)建服務(wù)器119提取插入在加權(quán)音頻流中的位置 信息。將所提取的位置信息(連同加權(quán)音頻流一起)傳送給空間音頻渲染引擎125，空間音 頻渲染引擎125接著利用該位置信息來對信息進(jìn)行再現(xiàn)，就好像它是從該位置(即，例如從 右手側(cè))發(fā)出的一樣。
虛擬環(huán)境客戶端123采用軟件(在另選實(shí)施例中可能是某些專用圖像處理硬件)的形式，并且基本上被配置成與虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105的第一個模塊111進(jìn)行交互，以 獲得與虛擬環(huán)境有關(guān)的動態(tài)信息。當(dāng)接收到動態(tài)信息時，圖形客戶端123對該動態(tài)信息進(jìn) 行處理，以再現(xiàn)(呈現(xiàn))出虛擬環(huán)境。為了使得可以將該虛擬環(huán)境顯示給使用客戶機(jī)計(jì)算 設(shè)備107的人，客戶機(jī)計(jì)算設(shè)備107還包括監(jiān)視器(未示出)。圖形客戶端123還被配置成 向虛擬環(huán)境狀態(tài)維護(hù)系統(tǒng)105提供與在虛擬環(huán)境中存在的人有關(guān)的動態(tài)信息。本領(lǐng)域的技術(shù)人員將理解，這里描述的本發(fā)明可以容許除已具體描述的那些變型 和修改以外的變型和修改。應(yīng)當(dāng)理解，本發(fā)明包括落在本發(fā)明的精神和范圍內(nèi)的所有這種 變型和修改。
權(quán)利要求
一種可進(jìn)行操作以為虛擬環(huán)境中的化身創(chuàng)建用于音頻場景中的音頻信息的設(shè)備，該設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建未加權(quán)音頻流，該未加權(quán)音頻流包括來自位于所述化身的聽覺范圍的一部分中的對象的音頻；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述未加權(quán)音頻流與表示所述對象在所述虛擬環(huán)境中的近似位置的數(shù)據(jù)關(guān)聯(lián)起來，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述音頻處理器可進(jìn)行操作以根據(jù)預(yù)定混合操 作來創(chuàng)建所述未加權(quán)音頻流，所述預(yù)定混合操作包括標(biāo)識了所述對象的標(biāo)識信息。
3.根據(jù)權(quán)利要求2所述的設(shè)備，該設(shè)備還包括可進(jìn)行操作以通過通信網(wǎng)絡(luò)接收所述音 頻和所述預(yù)定混合操作的通信裝置，所述通信網(wǎng)絡(luò)還可被操作以通過所述通信網(wǎng)絡(luò)來發(fā)送 所述未加權(quán)音頻流和所述數(shù)據(jù)。
4.一種用于獲得可以用來為虛擬環(huán)境中的化身創(chuàng)建音頻場景的信息的設(shè)備，該設(shè)備包括標(biāo)識裝置，其可進(jìn)行操作以確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo)識符；加權(quán)裝置，其可進(jìn)行操作以確定待施加給來自所述對象的音頻的權(quán)重；以及 定位裝置，其可進(jìn)行操作以確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識 符、所述權(quán)重以及所述位置表示可以被用來創(chuàng)建所述音頻場景的所述信息。
5.根據(jù)權(quán)利要求4所述的設(shè)備，該設(shè)備還包括通信裝置，所述通信裝置可進(jìn)行操作以 通過通信網(wǎng)絡(luò)向多個系統(tǒng)中的一個發(fā)送所述標(biāo)識符、所述權(quán)重以及所述位置，以進(jìn)行處理。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述通 信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信 息將所述音頻擇路到所述多個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。
7.根據(jù)權(quán)利要求4到6中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識裝置、所述加權(quán)裝置 以及所述定位裝置可進(jìn)行操作，以通過對所述虛擬環(huán)境的表示進(jìn)行處理來分別確定所述標(biāo) 識符、所述權(quán)重以及所述位置。
8.根據(jù)權(quán)利要求4到7中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識裝置可進(jìn)行操作以通 過以下步驟來確定所述聽覺范圍的所述部分選擇所述虛擬環(huán)境中的多個化身中的第一化身；標(biāo)識出所述多個化身中的最接近于所述多個化身中的所述第一化身的第二化身； 確定是否可以將所述多個化身中的所述第二化身包括在已有群集中； 當(dāng)確定可以將所述多個化身中的所述第二化身包括在所述已有群集中時，將所述第二 化身包括在所述已有群集中；當(dāng)確定不能將所述多個化身中的所述第二化身包括在所述已有群集中時，創(chuàng)建包括所 述多個化身中的所述第二化身的新群集，從而創(chuàng)建多個群集； 確定所述多個群集中的兩個群集之間的角間隙； 創(chuàng)建位于所述角間隙中的另一群集；以及 將所述多個化身中的至少一個化身包括在所述另一群集中。
9.根據(jù)權(quán)利要求4到7中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識裝置可進(jìn)行操作以通過以下步驟來確定所述聽覺范圍的所述部分選擇所述虛擬環(huán)境中的多個化身中的一個化身；確定從所述化身延伸到所述多個化身中的所述一個化身的輻射線；對所述多個化身中的每一個與所述輻射線的絕對角距進(jìn)行計(jì)算；將所述多個化身中的每一個的所述絕對角距排列成升序列表；對所述升序列表中的所述多個絕對角距中的相繼的絕對角距之間的差分角間隔進(jìn)行 計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個化身中的兩個化身等 分的另一輻射線。
10.一種用于創(chuàng)建可以用來為虛擬環(huán)境中的化身創(chuàng)建音頻場景的信息的設(shè)備，該設(shè)備 包括標(biāo)識裝置，其可進(jìn)行操作以確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo)識 符；和定位裝置，其可進(jìn)行操作以確定所述對象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo) 識符和所述近似位置表示可以用來創(chuàng)建所述音頻場景的所述信息。
11.根據(jù)權(quán)利要求10所述的設(shè)備，還包括通信裝置，所述通信裝置可進(jìn)行操作以通過 通信網(wǎng)絡(luò)向多個系統(tǒng)中的一個發(fā)送所述標(biāo)識符和所述位置，以進(jìn)行處理。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中，所述通信裝置還可進(jìn)行操作以創(chuàng)建用于所述 通信網(wǎng)絡(luò)的擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路 信息將所述音頻擇路到所述多個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。
13.根據(jù)權(quán)利要求10到12中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識裝置和所述定位 裝置可進(jìn)行操作，以通過對所述虛擬環(huán)境的表示進(jìn)行處理來分別確定所述標(biāo)識符和所述位 置。
14.根據(jù)權(quán)利要求10到13中的任何一項(xiàng)所述的設(shè)備，其中，所述標(biāo)識裝置可進(jìn)行操作 以通過以下步驟來確定所述對象的所述近似位置將所述虛擬環(huán)境劃分成多個單元格；和確定所述對象在所述多個單元格的一個單元格中的所處的位置。
15.一種為虛擬環(huán)境中的化身創(chuàng)建用于音頻場景中的音頻信息的方法，該方法包括以 下步驟創(chuàng)建步驟，創(chuàng)建包括來自位于所述化身的聽覺范圍的一部分中的對象的音頻的未加權(quán) 音頻流；和關(guān)聯(lián)步驟，將所述未加權(quán)音頻流與表示所述虛擬環(huán)境中的所述對象的近似位置的數(shù)據(jù) 關(guān)聯(lián)起來，其中，所述未加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻信息。
16.根據(jù)權(quán)利要求15所述的方法，其中，根據(jù)預(yù)定混合操作來執(zhí)行所述創(chuàng)建步驟，其 中，所述預(yù)定混合操作包括標(biāo)識了所述對象的標(biāo)識信息。
17.根據(jù)權(quán)利要求16所述的方法，該方法還包括以下步驟通過通信網(wǎng)絡(luò)接收所述音頻和所述預(yù)定混合操作；和通過所述通信網(wǎng)絡(luò)來發(fā)送所述未加權(quán)音頻流和所述數(shù)據(jù)。
18.一種用于獲得可以被用來為虛擬環(huán)境中的化身創(chuàng)建音頻場景的信息的方法，該方 法包括以下步驟第一確定步驟，確定位于所述化身的聽覺范圍的一部分中的一對象的標(biāo)識符； 第二確定步驟，確定待施加給來自所述對象的音頻的權(quán)重；以及 第三確定步驟，確定所述部分在所述虛擬環(huán)境中的位置，其中，所述標(biāo)識符、所述權(quán)重 以及所述位置表示可以被用來創(chuàng)建音頻場景的所述信息。
19.根據(jù)權(quán)利要求16所述的方法，該方法還包括以下步驟通過通信網(wǎng)絡(luò)向多個系統(tǒng) 中的一個發(fā)送所述標(biāo)識符、所述權(quán)重以及所述位置，以進(jìn)行處理。
20.根據(jù)權(quán)利要求19所述的方法，該方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的 擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息將所述 音頻擇路到所述多個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。
21.根據(jù)權(quán)利要求16到20中的任何一項(xiàng)所述的方法，其中，所述第一、第二以及第三確 定步驟分別包括通過對所述虛擬環(huán)境的表示進(jìn)行處理來確定所述標(biāo)識符、所述權(quán)重以及所 述位置的步驟。
22.根據(jù)權(quán)利要求16到21中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所 述聽覺范圍的所述部分選擇所述虛擬環(huán)境中的多個化身中的第一化身；標(biāo)識出所述多個化身中的最接近于所述多個化身中的所述第一化身的第二化身； 確定是否可以將所述多個化身中的所述第二化身包括在已有群集中； 當(dāng)確定可以將所述多個化身中的所述第二化身包括在所述已有群集中時，將所述第二 化身包括在所述已有群集中；當(dāng)確定不能將所述多個化身中的所述第二化身包括在所述已有群集中時，創(chuàng)建包括所 述多個化身中的所述第二化身的新群集，從而創(chuàng)建多個群集； 確定所述多個群集中的兩個群集之間的角間隙； 創(chuàng)建位于所述角間隙中的另一群集；以及 將所述多個化身中的至少一個化身包括在所述另一群集中。
23.根據(jù)權(quán)利要求16到21中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所 述聽覺范圍的所述部分選擇所述虛擬環(huán)境中的多個化身中的一個化身；確定從所述化身延伸到所述多個化身中的所述一個化身的輻射線；對所述多個化身中的每一個與所述輻射線的絕對角距進(jìn)行計(jì)算；將所述多個化身中的每一個的所述絕對角距排列成升序列表；基于所述絕對角距對所述多個化身中的相繼的化身之間的差分角間隔進(jìn)行計(jì)算；選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個化身中的兩個化身等 分的另一輻射線。
24.一種用于創(chuàng)建可以被用來為虛擬環(huán)境中的化身創(chuàng)建音頻場景的信息的方法，該方法包括以下步驟第一確定步驟，確定位于所述化身的聽覺范圍的一部分中的對象的標(biāo)識符；和 第二確定步驟，確定所述對象在所述虛擬環(huán)境中的近似位置，其中，所述標(biāo)識符和所述 近似位置表示可以被用來創(chuàng)建所述音頻場景的所述信息。
25.根據(jù)權(quán)利要求24所述的方法，該方法還包括以下步驟通過通信網(wǎng)絡(luò)向多個系統(tǒng) 中的一個發(fā)送所述標(biāo)識符和所述位置，以進(jìn)行處理。
26.根據(jù)權(quán)利要求25所述的方法，該方法還包括以下步驟創(chuàng)建用于所述通信網(wǎng)絡(luò)的 擇路信息，其中，所述擇路信息是如下的信息所述通信網(wǎng)絡(luò)可以使用所述擇路信息來將所 述音頻擇路到所述多個系統(tǒng)中的所述一個系統(tǒng)，以進(jìn)行處理。
27.根據(jù)權(quán)利要求24到26中的任何一項(xiàng)所述的方法，其中，所述第一和第二確定步驟 分別包括通過對所述虛擬環(huán)境的表示進(jìn)行處理來確定所述標(biāo)識符和所述位置的步驟。
28.根據(jù)權(quán)利要求24到27中的任何一項(xiàng)所述的方法，該方法還包括以下步驟以確定所 述對象的所述近似位置選擇所述差分角間隔中的具有比其他差分角間隔更高的值的至少一個差分角間隔；以及確定從所述化身發(fā)出并將與所述差分角間隔相關(guān)聯(lián)的所述多個化身中的兩個化身等 分的另一輻射線。
全文摘要
本發(fā)明提供一種用于創(chuàng)建音頻場景的設(shè)備和方法。該用于為虛擬環(huán)境中的化身創(chuàng)建音頻場景的設(shè)備包括音頻處理器，其可進(jìn)行操作以創(chuàng)建包括來自位于所述化身的聽覺范圍的一部分中的對象的音頻的加權(quán)音頻流；和關(guān)聯(lián)裝置，其可進(jìn)行操作以將所述加權(quán)音頻流與表示所述聽覺范圍的所述部分在所述虛擬環(huán)境中的位置的數(shù)據(jù)關(guān)聯(lián)起來，其中，所述加權(quán)音頻流和所述數(shù)據(jù)表示所述音頻場景。
文檔編號H04R5/00GK101827301SQ201010145178
公開日2010年9月8日 申請日期2005年4月15日 優(yōu)先權(quán)日2004年4月16日
發(fā)明者保羅·安德魯·鮑斯特德, 法爾扎德·撒菲伊, 邁赫蘭·多拉沙齊 申請人:杜比實(shí)驗(yàn)室特許公司