生成環(huán)繞立體聲聲場的制作方法
【專利摘要】本申請涉及生成環(huán)繞立體聲聲場。具體地，提出一種用于生成環(huán)繞立體聲聲場的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。該方法包括：接收由多個音頻捕獲設(shè)備捕獲的音頻信號；估計(jì)多個音頻捕獲設(shè)備的拓?fù)洌徊⑶抑辽俨糠值鼗诠烙?jì)的拓?fù)鋸慕邮盏囊纛l信號生成環(huán)繞立體聲聲場。
【專利說明】生成環(huán)繞立體聲聲場

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信號處理。更具體地，本發(fā)明的實(shí)施例涉及生成環(huán)繞立體聲聲場。

【背景技術(shù)】
[0002] 傳統(tǒng)上，環(huán)繞立體聲聲場或是由專用的環(huán)繞立體聲聲場記錄設(shè)備裝置創(chuàng)建，或者 由專業(yè)的混音工程師或軟件應(yīng)用將聲源平推到不同的聲道而生成。這兩種辦法對終端用戶 來說都無法輕易實(shí)現(xiàn)。在過去的數(shù)十年中，諸如移動電話、平板電腦、媒體播放器和游戲機(jī) 等越來越多的普適移動設(shè)備已經(jīng)配備有音頻捕獲和/或處理功能。然而，多數(shù)移動設(shè)備（移 動電話、平板電腦、媒體播放器、游戲機(jī)）僅被用于實(shí)現(xiàn)單聲道音頻捕獲。
[0003] 已經(jīng)提出了多種方法用于使用移動設(shè)備來創(chuàng)建環(huán)繞立體聲聲場。然而，這些方法 或者嚴(yán)格依賴接入點(diǎn)，或者沒有將日常使用的非專業(yè)移動設(shè)備的特性納入考慮。例如，在使 用異質(zhì)用戶設(shè)備的自組織（ad hoc)網(wǎng)絡(luò)生成環(huán)繞立體聲聲場時，不同移動設(shè)備的記錄時間 可能是不同步的，并且移動設(shè)備的位置和拓?fù)淇赡苁俏粗?。而且，音頻捕獲設(shè)備的增益及 頻率響應(yīng)可能不同。因此，目前，無法通過日常用戶所使用音頻捕獲設(shè)備而有效且高效地生 成環(huán)繞立體聲聲場。
[0004] 有鑒于此，在本領(lǐng)域中需要一種能夠以有效且高效的方式生成環(huán)繞立體聲聲場的 解決方案。


【發(fā)明內(nèi)容】

[0005] 為了解決上述和其他潛在問題，本發(fā)明的實(shí)施例提出一種用于生成環(huán)繞立體聲聲 場的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。
[0006] 在一個方面，本發(fā)明的實(shí)施例提供一種生成環(huán)繞立體聲聲場的方法。該方法包括： 接收由多個音頻捕獲設(shè)備捕獲的音頻信號；估計(jì)多個音頻捕獲設(shè)備的拓?fù)?；以及至少部?地基于估計(jì)的拓?fù)鋸慕邮盏囊纛l信號生成環(huán)繞立體聲聲場。該方面的實(shí)施例還包括相應(yīng)的 計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括有形地包含于機(jī)器可讀介質(zhì)上的用于執(zhí)行該方法 的計(jì)算機(jī)程序。
[0007] 在另一方面，本發(fā)明的實(shí)施例提供一種生成環(huán)繞立體聲聲場的裝置。該裝置包含： 接收單元，被配置為接收由多個音頻捕獲設(shè)備捕獲的音頻信號；拓?fù)涔烙?jì)單元，被配置為估 計(jì)多個音頻捕獲設(shè)備的拓?fù)?；以及生成單元，被配置為至少部分地基于估?jì)的拓?fù)渖森h(huán) 繞立體聲聲場。
[0008] 可以實(shí)現(xiàn)本發(fā)明的這些實(shí)施例以實(shí)現(xiàn)以下一個或多個優(yōu)點(diǎn)。根據(jù)本發(fā)明的實(shí)施 例，環(huán)繞立體聲聲場可以通過使用終端用戶的音頻捕獲設(shè)備（諸如裝備在移動電話上的麥 克風(fēng)）的自組織網(wǎng)絡(luò)而生成。由此，可以不再需要昂貴且復(fù)雜的專業(yè)設(shè)備和/或人類專家。 此外，通過基于對音頻捕獲設(shè)備的拓?fù)涔烙?jì)而動態(tài)地生成環(huán)繞立體聲聲場，可以將環(huán)繞立 體聲聲場的品質(zhì)維持在較高水平。
[0009] 通過連同附圖閱讀下列【具體實(shí)施方式】，還將理解本發(fā)明的實(shí)施例的其他特征和優(yōu) 勢，附圖以示例方式圖示了本發(fā)明的精神和原理。

【專利附圖】

【附圖說明】
[0010] 本發(fā)明的一個或多個實(shí)施例的細(xì)節(jié)在下列附圖和描述中闡明。本發(fā)明的其他特 征、方面和優(yōu)勢將從描述、附圖和權(quán)利要求中變得明顯，其中：
[0011] 圖1示出了本發(fā)明的示例實(shí)施例可實(shí)現(xiàn)于其中的系統(tǒng)的框圖；
[0012] 圖2A-圖2C示出了根據(jù)本發(fā)明示例實(shí)施例的音頻捕獲設(shè)備的拓?fù)涞娜舾墒纠?示意圖；
[0013] 圖3示出了根據(jù)本發(fā)明示例實(shí)施例的用于生成環(huán)繞立體聲聲場的方法的流程圖；
[0014] 圖4A-圖4C分別不出了在使用一個不例映射矩陣時針對各種頻率的B-格式處理 中的W、X和Y聲道的極性圖（polar pattern)的示意圖；
[0015] 圖5A-圖5C分別示出了在使用另一示例映射矩陣時針對各種頻率的B-格式處理 中的W、X和Y聲道的極性圖的示意圖；
[0016] 圖6示出了根據(jù)本發(fā)明示例實(shí)施例的用于生成環(huán)繞立體聲聲場的裝置的框圖； [0017] 圖7示出了用于實(shí)現(xiàn)本發(fā)明的示例實(shí)施例的用戶終端的框圖；以及
[0018] 圖8示出了用于實(shí)施本發(fā)明的示例實(shí)施例的系統(tǒng)的框圖。
[0019] 貫穿所有附圖，相同或相似的參考標(biāo)號指示相同或相似的元素。

【具體實(shí)施方式】
[0020] 總體上，本發(fā)明的實(shí)施例提供用于生成環(huán)繞立體聲聲場的方法、裝置和計(jì)算機(jī)程 序產(chǎn)品。根據(jù)本發(fā)明的實(shí)施例，環(huán)繞立體聲聲場可以通過使用音頻捕獲設(shè)備（諸如終端用 戶的移動電話）的自組織網(wǎng)絡(luò)而被有效和準(zhǔn)確地生成。下面將詳細(xì)描述本發(fā)明的某些實(shí)施 例。
[0021] 首先參考圖1，其示出了本發(fā)明的實(shí)施例可實(shí)現(xiàn)于其中的系統(tǒng)100的框圖。在圖1 中，系統(tǒng)100包括多個音頻捕獲設(shè)備101以及服務(wù)器102。根據(jù)本發(fā)明的實(shí)施例，除了其他 功能之外，音頻捕獲設(shè)備101，能夠捕獲、記錄和/或處理音頻信號。音頻捕獲設(shè)備101的示 例可以包括但不限于移動電話、個人數(shù)字助理（PDA)、膝上型計(jì)算機(jī)、平板式計(jì)算機(jī)、個人計(jì) 算機(jī)（PC)或任何配備有音頻捕獲功能的其他適當(dāng)?shù)挠脩艚K端。例如，可以購得的移動電話 通常都配備至少一個麥克風(fēng)，因此可以充當(dāng)音頻捕獲設(shè)備101。
[0022] 根據(jù)本發(fā)明的實(shí)施例，音頻捕獲設(shè)備101可以被布置在一個或多個自組織網(wǎng)絡(luò)或 組103中，每個自組織網(wǎng)絡(luò)103可以包括一個或多個音頻捕獲設(shè)備。音頻捕獲設(shè)備可以按 照預(yù)定義的策略被分組，
[0023] 或者被動態(tài)地分組，將在下文詳述。不同組可以位于相同或不同的物理位置。在 每個組內(nèi)，音頻捕獲設(shè)備位于相同的物理位置并且可以彼此接近地放置。
[0024] 圖2A-圖2C示出了包括三個音頻捕獲設(shè)備的組的某些示例。在圖2A-圖2C中 示出的示例實(shí)施例中，音頻捕獲設(shè)備101可以是移動電話、PDA或任何其他的便攜式用戶終 端，其配備了用于捕獲音頻信號的音頻捕獲元件201，諸如一個或多個麥克風(fēng)。特別地，在圖 2C中示出的示例實(shí)施例中，音頻捕獲設(shè)備101還配備有視頻捕獲元件202,諸如照相機(jī)，以 使得音頻捕獲設(shè)備101可以被配置為在捕獲音頻信號的同時捕獲視頻和/或圖像。
[0025] 應(yīng)當(dāng)注意，一個組內(nèi)的音頻捕獲設(shè)備的數(shù)目不限于三個。相反，任何合適數(shù)目的音 頻捕獲設(shè)備都可以被安排進(jìn)組。此外，在一個組內(nèi)，多個音頻捕獲設(shè)備可以被安排成任何期 望的拓?fù)?。在某些?shí)施例中，組內(nèi)的音頻捕獲設(shè)備可以借助于計(jì)算機(jī)網(wǎng)絡(luò)、藍(lán)牙、紅外線、電 信等彼此通信，這里僅僅是幾個例子。
[0026] 繼續(xù)參考圖1，如圖所示，服務(wù)器102經(jīng)由網(wǎng)絡(luò)連接可通信地連接至音頻捕獲設(shè)備 101的組。音頻捕獲設(shè)備101和服務(wù)器102例如可以通過計(jì)算機(jī)網(wǎng)絡(luò)，諸如局域網(wǎng)（"LAN")、 廣域網(wǎng)（"WAN"）或因特網(wǎng)、通信網(wǎng)絡(luò)、近場通信連接或其任何組合而彼此通信。本發(fā)明的 范圍在此方面不受限制。
[0027] 在操作中，環(huán)繞立體聲聲場的生成可以由音頻捕獲設(shè)備101或者由服務(wù)器102發(fā) 起。特別地，在某些實(shí)施例中，音頻捕獲設(shè)備101可以登錄到服務(wù)器102并且請求服務(wù)器 102生成環(huán)繞立體聲聲場。然后，發(fā)送請求的音頻捕獲設(shè)備101將變成主設(shè)備，它向其他捕 獲設(shè)備發(fā)送邀請，以邀請其他捕獲設(shè)備加入音頻捕獲會話。在此方面，可能存在主設(shè)備所屬 的預(yù)定的組。在這些實(shí)施例中，該組內(nèi)的其他音頻捕獲設(shè)備接收來自主設(shè)備的邀請并且加 入音頻捕獲會話。備選地或附加地，另外一個或多個音頻捕獲設(shè)備可以被動態(tài)地識別并且 與主設(shè)備分組在一起。例如，在GPS(全球定位服務(wù)）之類的定位服務(wù)可用于音頻捕獲設(shè)備 101的情況下，可以自動地邀請與主設(shè)備鄰近的一個或多個音頻捕獲設(shè)備加入音頻捕獲組。 在某些備選實(shí)施例中，對音頻捕獲設(shè)備的發(fā)現(xiàn)和分組也可以由服務(wù)器102執(zhí)行。
[0028] 在形成音頻捕獲設(shè)備的組之后，服務(wù)器102向該組內(nèi)的所有音頻捕獲設(shè)備發(fā)送捕 獲命令。備選地，捕獲命令可以由組內(nèi)的音頻捕獲設(shè)備101之一發(fā)送，例如由主設(shè)備發(fā)送。 在接收到捕獲命令之后，組內(nèi)的每個音頻捕獲設(shè)備將立即開始捕獲并且記錄音頻信號。當(dāng) 任何捕獲設(shè)備停止捕獲時，音頻捕獲會話將結(jié)束。在音頻捕獲期間，音頻信號可以被本地記 錄在音頻捕獲設(shè)備101上，并且在捕獲會話完成之后被發(fā)送至服務(wù)器102。備選地，所捕獲 的音頻信號可以實(shí)時地傳輸至服務(wù)器102。
[0029] 根據(jù)本發(fā)明的實(shí)施例，被一個組的音頻捕獲設(shè)備101捕獲的音頻信號被分配相同 的組標(biāo)識（ID)，使得服務(wù)器102能夠識別傳入的音頻信號是否屬于相同的組。另外，除音頻 信號之外，可以向服務(wù)器102發(fā)送與音頻捕獲會話有關(guān)的任何信息，包括組內(nèi)的音頻捕獲 設(shè)備101的數(shù)目、一個或多個音頻捕獲設(shè)備101的參數(shù)，等等。
[0030] 基于由多個捕獲設(shè)備101的組捕獲的音頻信號，服務(wù)器102執(zhí)行一系列操作以處 理音頻信號從而生成環(huán)繞立體聲聲場。在此方面，圖3示出了用于根據(jù)多個捕獲設(shè)備101 所捕獲的音頻信號生成環(huán)繞立體聲聲場的方法的流程圖。
[0031] 如圖3所示，當(dāng)在步驟S301處接收到由一組音頻捕獲設(shè)備101捕獲的音頻信號之 后，在步驟S302處估計(jì)這些音頻捕獲設(shè)備的拓?fù)洹９烙?jì)組內(nèi)的音頻捕獲設(shè)備101的位置 的拓?fù)鋵τ陔S后的空間處理而言是重要的，其對于重現(xiàn)聲場具有直接的影響。根據(jù)本發(fā)明 的實(shí)施例，音頻捕獲設(shè)備的拓?fù)淇梢酝ㄟ^各種方式來估計(jì)。例如，在某些實(shí)施例中，音頻捕 獲設(shè)備101的拓?fù)淇梢允穷A(yù)定的并且因此是服務(wù)器102所知道的。在這種情況下，服務(wù)器 102可以使用組ID來確定音頻信號發(fā)送自哪個組，繼而獲取與所確定的組相關(guān)聯(lián)的預(yù)定拓 撲作為拓?fù)涔烙?jì)。
[0032] 備選地或附加地，音頻捕獲設(shè)備101的拓?fù)淇梢曰诮M內(nèi)的多個音頻捕獲設(shè)備 101的每個配對之間的距離來估計(jì)。存在多種可能方式能夠獲取音頻捕獲設(shè)備101的每個 配對之間的距離。例如，在那些音頻捕獲設(shè)備能夠回放音頻的實(shí)施例中，每個音頻捕獲設(shè)備 101都可以被配置為各自同時回放一段音頻，并且接收來自組內(nèi)其他設(shè)備的音頻信號。也 即，每個音頻捕獲設(shè)備101向組內(nèi)的其他成員廣播一個唯一的音頻信號。作為示例，每個音 頻捕獲設(shè)備可以回放跨唯一頻率范圍的和/或具有任何其他特殊聲學(xué)特征的線性調(diào)頻信 號（linear chirp signal)。通過記錄線性調(diào)頻信號被收到時的時刻，可以通過聲學(xué)測距處 理來計(jì)算每對音頻捕獲設(shè)備101之間的距離，這是本領(lǐng)域技術(shù)人員所知道的，并且不再在 此詳述。
[0033] 這種距離計(jì)算例如可以在服務(wù)器102執(zhí)行。備選地，如果音頻捕獲設(shè)備可以直接 地彼此通信，這種距離計(jì)算也可以在客戶端執(zhí)行。在服務(wù)器102處，如果組內(nèi)僅存在兩個音 頻捕獲設(shè)備101，則無需附加的處理。當(dāng)存在多于兩個音頻捕獲設(shè)備101時，在某些實(shí)施例 中，可以在已獲取的距離上執(zhí)行多維定標(biāo)（Multidimensional Scaling，MDS)分析或類似處 理以估計(jì)音頻捕獲設(shè)備的拓?fù)洹Ｌ貏e地，利用指示音頻捕獲設(shè)備101的配對之間距離的輸 入矩陣，MDS可被應(yīng)用以生成音頻捕獲設(shè)備101在二維空間中的坐標(biāo)。例如，假設(shè)在包括三 個設(shè)備的組內(nèi)的測量到的距離矩陣是：
[0034]

【權(quán)利要求】
1. 一種用于生成環(huán)繞立體聲聲場的方法，所述方法包括： 接收由多個音頻捕獲設(shè)備捕獲的音頻信號； 估計(jì)所述多個音頻捕獲設(shè)備的拓?fù)洌灰约? 至少部分地基于估計(jì)的所述拓?fù)?，從接收的所述音頻信號生成所述環(huán)繞立體聲聲場。
2. 根據(jù)權(quán)利要求1所述的方法，其中估計(jì)所述多個音頻捕獲設(shè)備的所述拓?fù)浒ǎ?獲取所述多個音頻捕獲設(shè)備中的每對音頻捕獲設(shè)備之間的距離；以及 通過對獲取的所述距離執(zhí)行多維定標(biāo)MDS分析來估計(jì)所述拓?fù)洹?br> 3. 根據(jù)任意前述權(quán)利要求所述的方法，其中生成所述環(huán)繞立體聲聲場包括： 基于所述多個音頻捕獲設(shè)備的數(shù)目來選擇用于處理所述音頻信號的模式。
4. 根據(jù)任意前述權(quán)利要求所述的方法，其中生成所述環(huán)繞立體聲聲場包括： 確定與所述多個音頻捕獲設(shè)備的估計(jì)的所述拓?fù)湎嗥ヅ涞耐負(fù)淠０澹? 至少部分地基于確定的所述拓?fù)淠０鍋磉x擇用于所述音頻信號的權(quán)重；以及 使用選擇的所述權(quán)重來處理所述音頻信號以生成所述環(huán)繞立體聲聲場。
5. 根據(jù)權(quán)利要求4所述的方法，其中選擇所述權(quán)重包括： 基于確定的所述拓?fù)淠０搴退鲆纛l信號的頻率來選擇所述權(quán)重。
6. 根據(jù)任意前述權(quán)利要求所述的方法，還包括： 對接收的所述音頻信號執(zhí)行時間對齊。
7. 根據(jù)權(quán)利要求6所述的方法，其中執(zhí)行所述時間對齊包括應(yīng)用基于協(xié)議的時鐘同步 處理、端對端時鐘同步處理和互相關(guān)處理中的至少一個。
8. 根據(jù)任意前述權(quán)利要求所述的方法，還包括： 估計(jì)生成的所述環(huán)繞立體聲聲場相對于渲染設(shè)備的波達(dá)方向DOA ;以及 至少部分地基于估計(jì)的所述DOA來旋轉(zhuǎn)生成的所述環(huán)繞立體聲聲場。
9. 根據(jù)權(quán)利要求8所述的方法，其中旋轉(zhuǎn)生成的所述環(huán)繞立體聲聲場包括： 基于估計(jì)的所述DOA和生成的所述環(huán)繞立體聲聲場的能量，旋轉(zhuǎn)生成的所述環(huán)繞立體 聲聲場。
10. 根據(jù)任意前述權(quán)利要求所述的方法，還包括： 將生成的所述環(huán)繞立體聲聲場轉(zhuǎn)換為用于在渲染設(shè)備上回放的目標(biāo)格式。
11. 一種用于生成環(huán)繞立體聲聲場的裝置，所述裝置包括： 接收單元，被配置為接收由多個音頻捕獲設(shè)備捕獲的音頻信號； 拓?fù)涔烙?jì)單元，被配置為估計(jì)所述多個音頻捕獲設(shè)備的拓?fù)洌灰约?生成單元，被配置為至少部分地基于估計(jì)的所述拓?fù)涠鴱慕邮盏乃鲆纛l信號生成所 述環(huán)繞立體聲聲場。
12. 根據(jù)權(quán)利要求11所述的裝置，其中所述估計(jì)單元包括： 距離獲取單元，被配置為獲取所述多個音頻捕獲設(shè)備中的每對音頻捕獲設(shè)備之間的距 離；以及 MDS單元，被配置為通過對獲取的所述距離執(zhí)行多維定標(biāo)MDS分析來估計(jì)所述拓?fù)洹?br> 13. 根據(jù)權(quán)利要求11至12任一項(xiàng)所述的裝置，其中所述生成單元包括： 模式選擇單元，被配置為基于所述多個音頻捕獲設(shè)備的數(shù)目來選擇用于處理所述音頻 信號的模式。
14. 根據(jù)權(quán)利要求11至13任一項(xiàng)所述的裝置，其中所述生成單元包括： 模板確定單元，被配置為確定與所述多個音頻捕獲設(shè)備的估計(jì)的所述拓?fù)湎嗥ヅ涞耐?撲模板； 權(quán)重選擇單元，被配置為至少部分地基于確定的所述拓?fù)淠０鍋磉x擇用于所述音頻信 號的權(quán)重；以及 信號處理單元，被配置為使用選擇的所述權(quán)重來處理所述音頻信號以生成所述環(huán)繞立 體聲聲場。
15. 根據(jù)權(quán)利要求14所述的裝置，其中所述權(quán)重選擇單元包括： 被配置為基于確定的所述拓?fù)淠０搴退鲆纛l信號的頻率來選擇所述權(quán)重的單元。
16. 根據(jù)權(quán)利要求11至15任一項(xiàng)所述的裝置，還包括： 時間對齊單元，被配置為對接收的所述音頻信號執(zhí)行時間對齊。
17. 根據(jù)權(quán)利要求16所述的裝置，其中所述時間對齊單元被配置為應(yīng)用基于協(xié)議的時 鐘同步處理、端對端時鐘同步處理和互相關(guān)處理中的至少一個。
18. 根據(jù)權(quán)利要求11至17任一項(xiàng)所述的裝置，還包括： DOA估計(jì)單元，被配置為估計(jì)生成的所述環(huán)繞立體聲聲場相對于渲染設(shè)備的波達(dá)方向 DOA ;以及 旋轉(zhuǎn)單元，被配置為至少部分地基于估計(jì)的所述DOA來旋轉(zhuǎn)生成的所述環(huán)繞立體聲聲 場。
19. 根據(jù)權(quán)利要求18所述的裝置，其中所述旋轉(zhuǎn)單元包括： 被配置為基于估計(jì)的所述DOA和生成的所述環(huán)繞立體聲聲場的能量來旋轉(zhuǎn)生成的所 述環(huán)繞立體聲聲場的單元。
20. 根據(jù)權(quán)利要求11至19任一項(xiàng)所述的裝置，還包括： 轉(zhuǎn)換單元，被配置為將生成的所述環(huán)繞立體聲聲場轉(zhuǎn)換為用于在渲染設(shè)備上回放的目 標(biāo)格式。
21. -種計(jì)算機(jī)程序產(chǎn)品，包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算 機(jī)程序包含被配置為執(zhí)行根據(jù)權(quán)利要求1-10任一項(xiàng)所述的方法的程序代碼。
【文檔編號】H04S3/00GK104244164SQ201310246729
【公開日】2014年12月24日 申請日期:2013年6月18日 優(yōu)先權(quán)日:2013年6月18日
【發(fā)明者】孫學(xué)京, 程斌, 徐森, 雙志偉, 王珺 申請人:杜比實(shí)驗(yàn)室特許公司