壓縮和解壓縮高階高保真度立體聲響復制信號表示的方法及裝置制造方法
【專利摘要】高階高保真度立體聲響復制(HOA)表示在最佳聽音位置附近的完整聲場，其不依賴于擴音器結構。高空間分辨率需要大量的HOA系數(shù)。在本發(fā)明中，估計主聲音方向，并且將HOA信號表示分解成時域中的主方向信號和相關的方向信息以及HOA域中的環(huán)境分量，繼之以通過降低它的階來壓縮環(huán)境分量。階降低后的環(huán)境分量被變換到空間域，并且與方向信號一起被感知編碼。在接收器側，編碼后的方向信號和階降低后經(jīng)編碼的環(huán)境分量被感知地解壓縮，被感知地解壓縮的環(huán)境信號被變換到降低的階的HOA域表示，繼之以階擴展。從方向信號、對應的方向信息以及原始階的環(huán)境HOA分量重新組成總的HOA表示。
【專利說明】壓縮和解壓縮高階高保真度立體聲響復制信號表示的方法 及裝置

【技術領域】
[0001] 本發(fā)明涉及一種壓縮和解壓縮高階高保真度立體聲響復制（Higher Order Ambisonics)信號表示的方法及裝置，其中以不同的方式處理方向和環(huán)境（ambient)分量。

【背景技術】
[0002] 高階高保真度立體聲響復制（Η0Α)提供了以下優(yōu)點：捕獲三維空間中的特定位置 附近的完整聲場，該位置被稱為"最佳聽音位置（sweet spot)"。與像立體聲或環(huán)繞聲這樣 的基于信道的技術相反，這種Η0Α表示不依賴于具體的擴音器結構。但是，這種靈活性以在 特定擴音器結構上回放該Η0Α表示所需的解碼處理為代價。
[0003] Η0Α基于使用截斷的球諧函數(shù)（SH)展開式的在期望的聽者位置附近的位置X的 單獨的角形波數(shù)量k的氣壓的復數(shù)幅度的描述，其中，在不失一般性的情況下，可以將期望 的聽者位置假設為球坐標系統(tǒng)的原點。這種表示的空間分辨率隨著該展開式的增長的最大 階N提高。不幸的是，展開式系數(shù)的數(shù)量0隨階N而平方地增長，亦即0= (N+1)2。例如， 使用階N = 4的典型的Η0Α表示需要0 = 25個Η0Α系數(shù)。給出期望的采樣率fs和每個樣 本的比特數(shù)量Nb，傳送Η0Α信號表示的總的比特率按照0 · fs · Nb來確定，并且在針對每個 樣本采用Nb = 16個比特，采樣率為fs = 48kHz的情況下的階N = 4的Η0Α信號表示的傳 輸導致19. 2MBits/s的比特率。因此，壓縮Η0Α信號表示是非常值得做的。
[0004] 關于現(xiàn)存空間音頻壓縮方法的概述可以在專利申請EP 10306472. 1中或者在 I.Elfitri、B.GUnel、A.M.Kondoz 的"Multichannel Audio Coding Based on Analysis by Synthesis"（Proceedings of the IEEE，第 99 卷，第 4 期，657-670 頁，2011 年 4 月）中找 到。
[0005] 下面的技術與本發(fā)明更相關。
[0006] 可以如 V· Pulkki 在"Spatial Sound Reproduction with Directional Audio Coding"(Joumal of Audio Eng. Society，第 55(6)卷，5〇3-516 頁，2007 年）中所述的使用 方向音頻編碼（DirAC)來壓縮B格式信號（等效于一階高保真度立體聲響復制表示）。在 對電子會議應用提出的一個版本中，將B格式信號編碼成單個全向信號以及以單一方向形 式的邊信息和針對每個頻帶的擴散參數(shù)。然而，作為結果的數(shù)據(jù)率的顯著降低以在再現(xiàn)時 得到的較小的信號質量為代價。另外，DirAC受限于一階高保真度立體聲響復制表示的壓 縮，其受到非常低的空間分辨率的影響。
[0007] 已知的用于壓縮具有N> 1的Η0Α表示的方法相當少。其中之一利用感知高 級首頻編碼（AAC)編碼解碼器對單獨的Η0Α系數(shù)序列進彳了直接編碼，參見E. Hellerud、 I. Burnett、A_Solvang、U. Peter Svensson 的"Encoding Higher Order Ambisonics with AAC"（第1?屆AES大會，阿姆斯特丹，2008年）。然而，該方法的固有問題是永遠不會被 聽到的信號的感知編碼。通常通過Η0Α系數(shù)序列的加 權和來獲得重構的回放信號。這是為 什么當在特定的擴首器結構上呈現(xiàn)解壓縮后的Η0Α表示時未屏蔽感知編碼噪聲的概率很 高的原因。以更技術性的術語，感知編碼噪聲未屏蔽的主要問題是單獨的HOA系數(shù)序列之 間的高度的互相關性。因為在單獨的H0A系數(shù)序列中的編碼后的噪聲信號通常彼此不相 關，所以可能出現(xiàn)感知編碼噪聲的結構重疊，同時與噪聲無關的H0A系數(shù)序列在重疊處被 消去。另一個問題是所提到的互相關性導致感知編碼器的效率降低。
[0008] 為了將這些影響的程度最小化，在EP 10306472. 1中提出在感知編碼之前將H0A 表示變換為空間域中的等效表示。空間域信號對應于常規(guī)的方向信號，并且如果擴音器被 置于與對空間域變換假設的那些方向完全相同的方向上，則將對應于擴音器信號。
[0009] 到空間域的變換降低了單獨的空間域信號之間的互相關性。然而，并未徹底消除 互相關性。關于相對較高的互相關性的示例是其方向落入空間域信號所覆蓋的相鄰方向之 間的方向信號。
[0010] EP 10306472. 1和上述的Hellerud等人的論文的另一個不足是經(jīng)感知編碼的信 號的數(shù)量是（N+1)2,其中，N是Η0Α表示的階。因此，壓縮后的Η0Α表示的數(shù)據(jù)率隨高保真 度立體聲響復制階而平方地增長。
[0011] 本發(fā)明的壓縮處理將Η0Α聲場表示分解為方向分量和環(huán)境分量。具體對于計算方 向聲場分量，在下面描述了一種新的處理，用于估計若干主聲音方向。
[0012] 關于基于高保真度立體聲響復制的方向估計的現(xiàn)存方法，上述的Pulkki的論文 描述了一種結合DirAC編碼的方法，用于基于B格式聲場表示來估計方向。方向根據(jù)平 均強度矢量獲得，其指向聲場能量流動的方向。在0.]^^；11!、5.63111!〇1；、￡.八.？^^3613的 "Direction-of-Arrival Estimation using Acoustic Vector Sensors in the Presence ofNoise"(IEEE Proc. Of the ICASSP，105-108 頁，2011 年）中提出了一種基于 B 格式的替 代。通過搜索對引入到那個方向的波束形成器輸出信號提供最大能量的那個方向，迭代地 進行方向估計。
[0013] 然而，對于方向估計，兩種方法都受約束于B格式，其受到相對較低的空間分辨率 的影響。另一不足之處是該估計被限制于僅僅單個主方向。
[0014] Η0Α表示提供了改善的空間分辨率，從而允許對若干主方向的改善的估計?，F(xiàn)存的 基于Η0Α聲場表示對若干方向進行估計的方法相當稀少。在N. Epain、C. Jin、A. van Schaik 的"The Application of Compressive Sampling to the Analysis and Synthesis of Spatial Sound Fields"（127th Convention of the Audio Eng. Soc·，紐約，2009 年）中 以及在 A. Wabnitz、N. Epain、A. van Schaik、C Jin 的 "Time Domain Reconstruction of Spatial Sound Fields Using Compressed Sensing"（IEEE Proc. of the ICASSP,465-468 頁，2011年）中提出了一種基于壓縮傳感的方法。主要想法是假設聲場是空間稀疏的，亦即 由僅僅少量的方向信號構成。在球上分配大量的測試方向之后，采用最優(yōu)化算法以便發(fā)現(xiàn) 盡可能少的測試方向以及對應的方向信號，使得它們被給出的Η0Α表示良好地描述。與實 際上由給出的Η0Α表示提供的空間分辨率相比，該方法提供了一種改善的空間分辨率，因 為其避開了從給出的Η0Α表示的有限階導致的空間離差。然而，該算法的性能高度依賴于 是否滿足稀疏性假設。具體地，如果聲場包括任何的較小的附加環(huán)境分量，或者如果Η0Α表 示受到將在從多信道記錄計算時出現(xiàn)的噪聲的影響，則該方法將失敗。
[0015] 另一個更直觀的方法是將給出的Η0Α表示變換成在B· Rafaely的"Plane-wave decomposition of the sound field on a sphere by spherical convolution"(J. Acoust. Soc. Am.，第4卷，第116號，2149-2157頁，2004年10月）中所述的空間域，然后搜索方向 功率中的最大值。該方法的不足之處是環(huán)境分量的存在將導致方向功率分布的模糊，并且 與不存在任何環(huán)境分量相比，將導致方向功率的最大值的移位。


【發(fā)明內(nèi)容】

[0016] 本發(fā)明要解決的問題是提供一種Η0Α信號的壓縮，由此仍然保持Η0Α信號表示的 高空間分辨率。通過在權利要求1和2中所述的方法解決該問題。在權利要求3和4中公 開了利用這些方法的裝置。
[0017] 本發(fā)明解決聲場的高階高保真度立體聲響復制Η0Α表示的壓縮。在本申請中，術 語"Η0Α"是指所述高階高保真度立體聲響復制表示以及對應地編碼或表示后的音頻信號。 估計主聲音方向，并且將Η0Α信號表示分解成時域中的若千主方向信號和相關的方向信息 以及Η0Α域中的環(huán)境分量，繼之以通過降低其階來壓縮環(huán)境分量。在該分解之后，將降低了 階的環(huán)境Η0Α分量變換到空間域，并且與方向信號一起進行感知編碼。
[0018] 在接收器或解碼器側，感知地解壓縮編碼后的方向信號和階降低后經(jīng)編碼的環(huán)境 分量。將經(jīng)感知解壓縮的環(huán)境信號變換成降低了階的Η0Α域表示，繼之以階擴展。從方向 信號和對應的方向信息以及從原始階的環(huán)境Η0Α分量重新組成總的Η0Α表示。
[0019] 有利地，環(huán)境聲場分量可以通過具有低于原始的階的Η0Α表示以足夠的準確度來 表示，并且主方向信號的提取確保了在壓縮和解壓縮之后仍然獲得高空間分辨率。
[0020] 原則上，本發(fā)明的方法適于壓縮高階高保真度立體聲響復制Η0Α信號表示，所述 方法包括以下步驟：
[0021] -估計主方向，其中，所述主方向估計取決于能量上的主Η0Α分量的方向功率分 布；
[0022] -將Η0Α信號表示分解或解碼成時域中的若干主方向信號和相關的方向信息以及 Η0Α域中的殘差環(huán)境分量，其中，所述殘差環(huán)境分量表示所述Η0Α信號表示和所述主方向信 號的表示之間的差異；
[0023] -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮所述 殘差環(huán)境分量；
[0024] -將降低了階的所述殘差環(huán)境Η0Α分量變換到空間域；
[0025] -對所述主方向信號和所述變換后的殘差環(huán)境Η0Α分量進行感知編碼。
[0026] 原則上，本發(fā)明的方法適于對通過以下步驟進行了壓縮的高階高保真度立體聲響 復制Η0Α信號表示進行解壓縮：
[0027] -估計主方向，其中，所述主方向估計取決于能量上的主Η0Α分量的方向功率分 布；
[0028] -將Η0Α信號表示分解或解碼成時域中的若千主方向信號和相關的方向信息以及 Η0Α域中的殘差環(huán)境分量，其中，所述殘差環(huán)境分量表示所述Η0Α信號表示和所述主方向信 號的表示之間的差異；
[0029] -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮所述 殘差環(huán)境分量；
[0030] -將降低了階的所述殘差環(huán)境分量變換到空間域；
[0031]-對所述主方向信號和所述變換后的殘差環(huán)境Η0Α分量進行感知編碼；
[0032] 所述方法包括以下步驟：
[0033] -對所述經(jīng)感知編碼的主方向信號和所述經(jīng)感知編碼的變換后的殘差環(huán)境Η0Α分 量進行感知解碼； ^ ^
[0034] -對經(jīng)感知解碼的變換后的殘差環(huán)境Η0Α分量進行逆變換以便取得Η0Α域表不；
[0035] -對經(jīng)逆變換的殘差環(huán)境Η0Α分量進行階擴展以便建立原始階的環(huán)境Η0Α分量；
[0036] -組成所述經(jīng)感知解碼的主方向信號、所述方向信息以及所述經(jīng)原始階擴展的環(huán) 境Η0Α分量以便取得Η0Α信號表不。
[0037] 原則上，本發(fā)明的裝置適于壓縮高階高保真度立體聲響復制Η0Α信號表示，所述 裝置包括：
[0038] -適于估計主方向的部件，其中，所述主方向估計取決于能量上的主Η0Α分量的方 向功率分布；
[0039] -適于將Η0Α信號表示分解或解碼成時域中的若干主方向信號和相關的方向信息 以及Η0Α域中的殘差環(huán)境分量的部件，其中，所述殘差環(huán)境分量表示所述Η0Α信號表示和所 述主方向信號的表示之間的差異；
[0040] -適于通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮 所述殘差環(huán)境分量的部件；
[0041] -適于將降低了階的所述殘差環(huán)境分量變換到空間域的部件；
[0042] -適于對所述主方向信號和所述變換后的殘差環(huán)境Η0Α分量進行感知編碼的部 件。 一一
[0043] 原則上，本發(fā)明的裝置適于對通過以下步驟進行了壓縮的高階高保真度立體聲響 復制Η0Α信號表示進行解壓縮：
[0044] -估計主方向，其中，所述主方向估計取決于能量上的主Η0Α分量的方向功率分 布；
[0045] -將Η0Α信號表示分解或解碼成時域中的若干主方向信號和相關的方向彳目息以及 Η0Α域中的殘差環(huán)境分量，其中，所述殘差環(huán)境分量表不所述Η0Α彳胃號表不和所述主方向?旨 號的表示之間的差異；
[0046] -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮所述 殘差環(huán)境分量；
[0047] -將降低了階的所述殘差環(huán)境分量變換到空間域；
[0048] -對所述主方向信號和所述變換后的殘差環(huán)境Η0Α分量進行感知編碼；
[0049] 所述裝置包括：
[0050] -適于對經(jīng)感知編碼的主方向信號和經(jīng)感知編碼的變換后的殘差環(huán)境Η0Α分量進 行感知解碼的部件；
[0051] -適于對經(jīng)感知解碼的變換后的殘差環(huán)境Η0Α分量進行逆變換以便取得Η0Α域表 不的部件；
[0052] -適于對所述經(jīng)逆變換的殘差環(huán)境Η0Α分量進行階擴展以便建立原始階的環(huán)境 Η0Α分量的部件；
[0053] -適于組成所述經(jīng)感知解碼的主方向信號、所述方向信息以及所述經(jīng)原始階擴展 的環(huán)境HOA分量以便取得HOA信號表示的部件。
[0054]在相應的從屬權利要求中公開了本發(fā)明的有利的另外的實施例。

【專利附圖】

【附圖說明】
[0055] 參照【專利附圖】

【附圖說明】本發(fā)明的示例性實施例，附圖中：
[0056]圖1是關于不同的咼保真度立體聲響復制階N和角Θ e [0, JI ]的規(guī)一化離差函 數(shù) VN (Θ);
[0057] 圖2是根據(jù)本發(fā)明的壓縮處理的框圖；
[0058] 圖3是根據(jù)本發(fā)明的解壓縮處理的框圖。

【具體實施方式】
[0059]高保真度立體聲響復制信號使用球諧函數(shù)（SH)展開式描述無源區(qū)域內(nèi)的聲場。 這種描述的靈活性可以歸因于聲壓的時間和空間行為基本上由波動方程確定這一物理特 性。
[0060] 波動方程和球諧函數(shù)展開式
[0061] 為了對高保真度立體聲響復制進行更詳細的描述，下面假設球坐標系統(tǒng)，其中，通 過半徑r >0(亦即，到坐標原點的距離）、從極軸z測量的傾斜角Θ e [0, π]以及從X軸 在X = y平面中測量的方位角Φ e [0,2 π [來表示空間x = (r，θ，φ)τ中的點。在該球 坐標系統(tǒng)中，關于連通的無源區(qū)域內(nèi)的聲壓p(t，x)(其中，t表示時間）的波動方程由Earl G. Williams 的教科書 "Fourier Acoustics"（Applied Mathematical Sciences 第 93 卷， Academic Press，1999 年）給出：
[0062]

【權利要求】
1. 一種用于壓縮高階高保真度立體聲響復制信號表示（c(i))的方法，所述方法包括 以下步驟： -估計主方向（22)，其中，所述主方向估計取決于能量上的主HOA分量的方向功率分 布； -將HOA信號表不分解或解碼（23,24)成時域中的若干主方向信號（X(I))和相關的方 向信息>以及HOA域中的殘差環(huán)境分量（CA (1))，其中，所述殘差環(huán)境分量表示 所述HOA信號表示（C(I))和所述主方向信號（X(I))的表示（Cdik(I))之間的差異； -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮（25)所 述殘差環(huán)境分量； _將降低了階的所述殘差環(huán)境HOA分量（CA,KED(1))變換（26)到空間域；以及 -對所述主方向信號和所述變換后的殘差環(huán)境HOA分量進行感知編碼（27)。
2. -種用于對通過以下步驟進行了壓縮的高階高保真度立體聲響復制HOA信號表示 (C(I))進行解壓縮的方法： -估計主方向（22)，其中，所述主方向估計取決于能量上的主HOA分量的方向功率分 布； -將HOA信號表不分解或解碼（23,24)成時域中的若干主方向信號（X(I))和相關的方 向信息（:iD〇Ma)：)以及HOA域中的殘差環(huán)境分量（CA (1))，其中，所述殘差環(huán)境分量表示 所述HOA信號表示（C(I))和所述主方向信號（X(I))的表示（Cdik(I))之間的差異； -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮（25)所 述殘差環(huán)境分量； _將降低了階的所述殘差環(huán)境HOA分量（CA,KED(1))變換（26)到空間域；以及 -對所述主方向信號和所述變換后的殘差環(huán)境HOA分量進行感知編碼（27)， 所述方法包括以下步驟： -對所述經(jīng)感知編碼的主方向信號（X?)和所述經(jīng)感知編碼的變換后的殘差環(huán)境HOA 分量（,A,RED?)進行感知解碼（31); -對所述經(jīng)感知解碼的變換后的殘差環(huán)境HOA分量（《^REDW)進行逆變換（32)以便 取得HOA域表示（CA,RBD(〇); -對所述經(jīng)逆變換的殘差環(huán)境HOA分量執(zhí)行（33)階擴展以便建立原始階的環(huán)境HOA分 量以及 -組成（34)所述經(jīng)感知解碼的主方向信號所述方向信息以及 所述經(jīng)原始階擴展的環(huán)境HOA分量（匕(〇：)以便取得HOA信號表示5.根據(jù)權利 要求1、3和4之一所述的方法，其中，聯(lián)合地對所述主信號（X(I))和所述變換后的HOA(WA, ⑴）進行感知壓縮（27)。
3. -種用于壓縮高階高保真度立體聲響復制HOA信號表示（C(L))的裝置，所述裝置包 括： -適于估計主方向的部件（22)，其中，所述主方向估計取決于能量上的主HOA分量的方 向功率分布； -適于將HOA信號表不分解或解碼成時域中的若干主方向信號（X(I))和相關的方向信 息（Idom(O)以及HOA域中的殘差環(huán)境分量（Ca(I))的部件（23, 24)，其中，所述殘差環(huán)境 分量表示所述HOA信號表示（C(I))和所述主方向信號（X(I))的表示（Cdik(I))之間的差 異； -適于通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮所述 殘差環(huán)境分量的部件（25); -適于將降低了階的所述殘差環(huán)境HOA分量（CA, KED(1))變換到空間域的部件（26);以 及 -適于對所述主方向信號和所述變換后的殘差環(huán)境HOA分量進行感知編碼的部件 (27)。
4. 一種用于對通過以下步驟進行了壓縮的高階高保真度立體聲響復制HOA信號表示 (C(I))進行解壓縮的裝置： -估計主方向（22)，其中，所述主方向估計取決于能量上的主HOA分量的方向功率分 布； -將HOA信號表不分解或解碼（23,24)成時域中的若干主方向信號（X(I))和相關的方 向信息（:iD￡)M(0：)以及HOA域中的殘差環(huán)境分量（Ca(I))，其中，所述殘差環(huán)境分量表示 所述HOA信號表示（C(I))和所述主方向信號（X(I))的表示（Cdik(I))之間的差異； -通過與所述殘差環(huán)境分量的原始階相比降低所述殘差環(huán)境分量的階來壓縮（25)所 述殘差環(huán)境分量； _將降低了階的所述殘差環(huán)境HOA分量（CA,KED(1))變換（26)到空間域；以及 -對所述主方向信號和所述變換后的殘差環(huán)境HOA分量進行感知編碼（27)， 所述裝置包括： -適于對所述經(jīng)感知編碼的主方向信號（KO)和所述經(jīng)感知編碼的變換后的殘差環(huán) 境HOA分量（WrAjiED(O)進行感知解碼的部件（31); -適于對所述經(jīng)感知解碼的變換后的殘差環(huán)境HOA分量（》a,REDW)進行逆變換以便取 得HOA域表示（eA,RSD(o)的部件（32); -適于對所述經(jīng)逆變換的殘差環(huán)境HOA分量執(zhí)行階擴展以便建立原始階的環(huán)境HOA分 量（亡A(O)的部件（33);以及 -適于組成所述經(jīng)感知解碼的主方向信號（1(1〕）、所述方向信息（Idom(O)以及 所述經(jīng)原始階擴展的環(huán)境HOA分量以便取得HOA信號表示的部件（34)。
5. 根據(jù)權利要求1所述的方法的方法或者根據(jù)權利要求3所述的裝置的裝置，其中，將 HOA系數(shù)的進入矢量（c(j))成幀（21)為非重疊的幀（C(l))，并且其中，幀持續(xù)時間可以是 25ms 〇
6. 根據(jù)權利要求I或5所述的方法的方法或者根據(jù)權利要求3或5所述的裝置的裝 置，其中，所述主方向估計（22)取決于幀的長重疊組，使得對于每個當前幀，考慮鄰近幀的 內(nèi)容。
7. 根據(jù)權利要求1、5和6之一所述的方法的方法或者根據(jù)權利要求3、5和6之一所述 的裝置的裝置，其中，聯(lián)合地對所述主方向信號（X(I))和所述變換后的環(huán)境HOA分量（W A, ⑴）進行感知壓縮（27)。
8. 根據(jù)權利要求1和5至7之一所述的方法的方法或者根據(jù)權利要求3和5至7之一 所述的裝置的裝置，其中，所述將HOA信號表示分解成時域中的若干主方向信號和相關的 方向信息以及HOA域中的殘差環(huán)境分量被用于對HOA表不的信號自適應類DirAC呈現(xiàn)，其 中，DirAC表示根據(jù)Pulkki的方向音頻編碼。
9. 一種根據(jù)權利要求1和5至8之一所述的方法壓縮的HOA信號。
【文檔編號】H04H20/89GK104285390SQ201380025029
【公開日】2015年1月14日 申請日期:2013年5月6日 優(yōu)先權日:2012年5月14日
【發(fā)明者】A.克魯格, S.科唐, J.貝姆, J-M.巴特克 申請人:湯姆遜許可公司