專利名稱：多聲道音頻信號的雙耳演示的制作方法
技術領域：
本申請涉及多聲道音頻信號的雙耳演示(rendering)。
背景技術：
已經(jīng)提出許多音頻編碼算法，以有效地編碼或壓縮一個聲道的音頻數(shù)據(jù)，即單音頻信號。使用心理聲學，適當?shù)卣{節(jié)音頻樣本、將其量化或甚至設為零，以將不相關性從例如PCM編碼音頻信號中移除。也執(zhí)行冗余的移除。
更進一步地，已經(jīng)使用在立體聲音頻信號的左聲道與右聲道之間的類似性，以有效地編碼/壓縮立體聲音頻信號。
然而，即將的應用引起對音頻編碼算法的進一步需求。例如，在電話會議、計算機游戲、音樂性能等中，必須并行地發(fā)送部分地或甚至完全不相關聯(lián)的多個音頻信號。為了保持用以對這些音頻信號進行編碼所需要的位率足夠低，以與低位率的發(fā)送應用兼容，近來已提出將多個輸入音頻信號降混為降混信號(諸如一立體聲或甚至單降混信號)的音頻編譯碼器。例如，MPEG環(huán)繞標準以該標準所指示的方式將輸入聲道降混為降混信號。通過使用所謂的OIT1及TIT1方塊的來執(zhí)行該降混，OTr1及ΤΤΓ1方塊分別用以將二個信號降混為一個信號且將三個信號降混為二個信號。為了降混多于三個的信號，使用這些方塊的分層結構。除了輸出單降混信號，每一 OIT1方塊輸出在二個輸入聲道之間的聲道位準差、及表示在二個輸入聲道之間的相干性或互相關性的聲道內相干性參數(shù)/互相關性參數(shù)。參數(shù)與MPEG環(huán)繞數(shù)據(jù)流中的MPEG環(huán)繞編碼器的降混信號一起輸出。類似地，每一 ΤΤΓ1方塊發(fā)送能夠從產(chǎn)生的立體聲降混信號中恢復三個輸入聲道的聲道預測系數(shù)。聲道預測系數(shù)也作為MPEG環(huán)繞數(shù)據(jù)流中的側信息被發(fā)送。該MPEG環(huán)繞譯碼器通過使用發(fā)送的側信息升混該降混信號，且恢復輸入至該MPEG環(huán)繞編碼器中的原始聲道。
然而，不幸的是，MPEG環(huán)繞不能滿足許多應用的所有需要。例如，該MPEG環(huán)繞譯碼器專用于升混該MPEG環(huán)繞編碼器的降混信號，使得MPEG環(huán)繞編碼器的輸入聲道恢復成原先的樣子。換句話說，該MPEG環(huán)繞數(shù)據(jù)流專用于通過使用已用以編碼的揚聲器配置或由例如立體聲的典型配置來播放。
然而，根據(jù)一些應用，如果揚聲器的配置可在譯碼器端自由地改變，將是有利的。
為了處理后者的需要，當前設計了空間音頻目標編碼(SAOC)標準。每一聲道作為單個的目標來對待，且將所有的目標降混為降混信號。也就是說，將目標作為彼此獨立而不依附于任何特定的揚聲器配置，但能夠任意地將(虛擬的)揚聲器定位于譯碼器端的音頻信號來處理。單個的目標可包含單個的聲源，例如樂器或聲道。不同于MPEG環(huán)繞譯碼器， SAOC譯碼器可自由地單個地升混該降混信號，以在任何揚聲器配置上回放單個的目標。為了使SAOC譯碼器能夠恢復已編碼于SAOC數(shù)據(jù)流中的單個目標，目標位準差和對于一起形成立體聲(或多聲道)信號的目標的目標內互相關參數(shù)作為SAOC比特流中的側信息被發(fā)送。除此之外，SAOC譯碼器/轉碼器提供具有揭示如何將單個目標降混為降混信號的信息。因而，在譯碼器端，可能通過使用用戶控制的演示信息來恢復單個SAOC聲道，且在任何揚聲器配置上演示該信號。
然而，雖然上述的編譯碼器(即MPEG環(huán)繞及SA0C)能夠在具有多于二個揚聲器的揚聲器配置上發(fā)送及演示多聲道音頻內容，但是以耳機作為音頻再生系統(tǒng)的需求日益增加，使得這些編譯碼器也必須能夠在耳機上演示音頻內容。對比于揚聲器的回放，在頭部里感知在耳機中再現(xiàn)的立體聲音頻內容。在某些物理位置處，不存在從聲源至耳膜的聲學路徑的影響，致使由于確定聲音源的所感知的方位、高度及距離的線索實質上缺失了或極其不準確，而使得空間圖像聽起來不自然。因而，為了解決在耳機上由于不準確或缺少聲源定位線索所導致的不自然的聲音階段，已經(jīng)提出各種技術來模擬虛擬的揚聲器裝備。思想是將聲源定位的線索添加至每一揚聲器信號上。如果空間聲學特性包括在這些測量數(shù)據(jù)中， 那么通過使用所謂的頭部相關轉換函數(shù)(HRTF)或雙耳空間脈沖響應(BRIR)來過濾音頻信號而實現(xiàn)該添加。然而，由上述的函數(shù)來過濾每一揚聲器信號將使得需要在譯碼器/再生端具有顯著較高量的運算能力。特別的是，必須首先執(zhí)行在“虛擬”揚聲器位置上演示多聲道音頻信號，其中，接著通過各自的轉換函數(shù)或脈沖響應來過濾所獲得的每一揚聲器信號， 以獲得雙耳輸出信號的左聲道及右聲道。更糟糕的是由于為了實現(xiàn)虛擬揚聲器信號，相當大量的合成去相關信號將必須混合至這些升混信號中，以補償在原始不相關音頻輸入信號之間的相關性(該相關性由將多個音頻輸入信號降混為降混信號而產(chǎn)生)，所獲得的雙耳輸出信號從而將具有差的音頻質量。
在目前的SAOC編譯碼器版本中，側信息內的SAOC參數(shù)允許使用原則上包括耳機的任何播放裝備，來進行音頻目標的用戶交互空間演示。對耳機的雙耳演示允許使用頭部相關轉換函數(shù)(HRTF)參數(shù)來在3D空間中對虛擬的目標位置進行空間控制。例如，可通過將這種情況限制為單降混的SAOC情況(其中將輸入信號均等地混合至單聲道中)，而實現(xiàn)在 SAOC中的雙耳演示。不幸的是，單降混使得所有音頻信號必須混合為共同的單降混信號，使得最大程度地失去在原始音頻信號之間的原始相關性特性，因而雙耳演示輸出信號的演示質量不是最佳的。
因而，本發(fā)明的目的是提供用以雙耳演示多聲道音頻信號的方案，使得雙耳演示的結果獲得改良，同時避免對由原始音頻信號組成降混信號的自由度的限制。
此目的由根據(jù)權利要求1所述的裝置及根據(jù)權利要求10所述的方法來實現(xiàn)。

發(fā)明內容
本發(fā)明的基本思想之一是，與從單降混音頻信號開始雙耳演示多聲道音頻信號相比，從立體聲降混信號開始雙耳演示多聲道音頻信號更加有利，原因是由于極少的目標存在于立體聲降混信號中的事實，在單個音頻信號之間的去相關量被更佳地保存；且因為在編碼器端在立體聲降混信號的二個聲道之間選擇的可能性，使不同降混聲道中的音頻信號之間的相關性特性能夠被部分地保存。換句話說，由于編碼器的降混，目標內相干性被退化，這在譯碼端必須考慮，其中在譯碼端雙耳輸出信號的聲道內相干性對于虛擬聲源寬度的感知是重要的測量，而使用立體聲降混代替單降混降低了退化量，使得通過雙耳演示立體聲降混信號來恢復/生成適當量的聲道內相干性，能實現(xiàn)更佳的質量。
本申請案的另一主要思想是，前述ICCdCC =聲道內相干性)控制可通過去相關信號來實現(xiàn)，該去相關信號形成對立體聲降混信號之降混聲道的單降混的感知等效物，然而是與該單降混去相關。因而，立體聲降混信號代替單降混信號的使用保存了多個音頻信號的一些相關性特性，而這些特性在使用單降混信號時會失去，雙耳演示可基于表示第一及第二降混聲道二者的去相關信號，從而與單獨地去相關每個立體聲降混聲道相比，減少了去相關或合成信號處理量。


參照附圖，更詳細地描述本申請的優(yōu)選實施例，其中 圖1示出可實施本發(fā)明實施例的SOAC編碼器/譯碼器安排的方塊圖； 圖2示出單音頻信號的頻譜表示的示意及說明圖； 圖3示出根據(jù)本發(fā)明實施例的能夠雙耳演示的音頻譯碼器的方塊圖； 圖4示出根據(jù)本發(fā)明實施例的第3圖的降混預處理方塊的方塊圖； 圖5示出根據(jù)第一替代方式，由第3圖的SAOC參數(shù)處理單元42所執(zhí)行的步驟的流程圖；以及 圖6示出說明收聽測試結果的圖形。
具體實施例方式在以下更詳細地描述本發(fā)明之實施例前，先說明SAOC編譯碼器及SAOC比特流中所發(fā)送的SAOC參數(shù)，以使能夠更容易理解下面所更詳細描述的特定實施例。
圖1示出SAOC編碼器10及SAOC譯碼器12的大致安排。該SAOC編碼器10接收作為輸入的N個目標，即音頻信號H1至14n。特別的是，編碼器10包含降混器16，該降混器16接收降混信號H1至14N且將它們降混為降混信號18。在第1圖中，該降混信號示例地示出為立體聲降混信號。然而，該編碼器10及譯碼器12也可能以單模式來操作，在這種情況下，該降混信號將是單降混信號。然而，下面的描述專注于立體聲降混的情況。立體聲降混信號18的聲道被表示為LO及R0。
為了使SAOC譯碼器12能夠恢復單個目標H1至14N，降混器16向SAOC譯碼器12 提供包括SAOC參數(shù)的側信息，SAOC參數(shù)包括目標位準差(OLD)、目標內互相關參數(shù)(IOC)、 降混增益值(DMG)及降混聲道位準差(DCLD)。包括SAOC參數(shù)的側信息20與該降混信號 18 一起形成由SAOC譯碼器12所接收的SAOC輸出數(shù)據(jù)流21。
該SAOC譯碼器12包含接收降混信號18及側信息20的升混器22，以通過輸入至 SAOC譯碼器12的演示信息沈及HRTF參數(shù)27所指示的演示，來在任何使用者所選定的聲道組21至24m，上恢復及演示音頻信號H1及14N，其意思在下面予以更詳細地描述。下面的描述專注于雙耳演示，其中M’ = 2，且輸出信號特別地專用于耳機的再現(xiàn)，盡管譯碼12也能夠根據(jù)使用者輸入26中的指令而在其它(非雙耳)揚聲器配置上演示。
音頻信號H1至1、可以任何編碼域(例如以時域或頻譜域)輸入至降混器16中。 在實例中，音頻信號H1至14n以時域(諸如PCM編碼)輸入至降混器16中，降混器16使用諸如混合QMF組的濾波器組(例如具有對于最低頻帶尼奎斯特濾波器擴展以增加其頻率分辨率的一組復指數(shù)調變?yōu)V波器)，以將信號轉換至頻譜域中，其中音頻信號在特定的濾波器組分辨率下，表示在與不同頻譜部分相關聯(lián)的多個子帶中。如果音頻信號H1至14n已在降混器16所期望的表示中，那么同樣地不必執(zhí)行頻譜分解。
圖2示出在上述的頻譜域中的音頻信號。如所見的，音頻信號表示為多個子帶信號。每一子帶信號301至30[)由一序列的子帶值組成，該序列子帶值由小方框32指出。如所見的，子帶信號SO1至30P的子帶值32在時間上互相同步，使得對于每一個連續(xù)濾波器組的時隙34，每一子帶SO1至30P恰好包含一個子帶值32。如頻率軸35所說明，子帶信號SO1 至30P與不同的頻率區(qū)域相關聯(lián)，且如時間軸37所說明，濾波器組的時隙34在時間中連續(xù)布置。
如上所述，降混器16運算來自輸入音頻信號H1至14n的SAOC參數(shù)。降混器16以時間/頻率分辨率來執(zhí)行此運算，該時間/頻率分辨率可相對于由濾波器組的時隙34及子帶分解所確定的原始的時間/頻率分辨率而降低特定量，其中該特定量可通過各自的語法元素bsFrameLength及bsFreqRes，在側信息20中被通過信號發(fā)送至譯碼器側。例如，連續(xù)濾波器組的時隙34的群組可分別形成幀36。換句話說，音頻信號可分割為例如在時間中交迭或在時間中相鄰的幀。在這種情況下，bsFrameLength可定義每個幀的時隙38參數(shù)的數(shù)目，即供諸如OLD及IOC之SAOC參數(shù)在SAOC幀36中被運算的時間單元，且bsFreqRes可定義SAOC參數(shù)被運算的處理頻帶的數(shù)目，即頻域被細分割且SAOC參數(shù)被確定及發(fā)送的頻帶的數(shù)目。通過此方式，每一幀分割為在圖2中由虛線所示例表示的時間/頻率瓦片39。
該降混器16根據(jù)下面的公式計算SAOC參數(shù)。特別的是，降混器16對每一目標i 運算目標位準差，為
權利要求
1.一種用于將多聲道音頻信號雙耳演示為雙耳輸出信號04)的設備，所述多聲道音頻信號包含多個音頻信號(H1-Hn)被降混的立體聲降混信號(18)，且包含側信息(20)，所述側信息OO)包含對于每一音頻信號指示出各自音頻信號已分別混合至立體聲降混信號(18)的第一聲道(LO)及第二聲道(RO)中的程度的降混信息(DMG，DCLD)，所述側信息OO)還包含多個音頻信號的目標位準信息(OLD)及目標內互相關信息(IOC)，所述目標內互相關信息(IOC)描述在所述多個音頻信號的音頻信號對之間的類似性，所述設備配置成基于第一演示指示(G1’"1)從所述立體聲降混信號(18)的第一及第二聲道來運算G7) 初步雙耳信號(M)，所述第一演示指示根據(jù)目標內互相關信息、目標位準信息、降混信息、 使每一音頻信號相關于虛擬揚聲器位置的演示信息及HRTF參數(shù)而定；產(chǎn)生(50)去相關信號(Xf )，所述去相關信號(Xf )作為對所述立體聲降混信號 (18)的第一及第二聲道的單降混(58)的感知等效物，且然而與所述單降混(58)去相關；根據(jù)第二演示指示(P/"1)從所述去相關信號(6 運算(5 校正雙耳信號(64)，所述第二演示指示OP/,依據(jù)所述目標內互相關信息、所述目標位準信息、所述降混信息、所述演示信息及所述HRTF參數(shù)而定；及將初步雙耳信號(54)與校正雙耳信號(64)相混合(5 ，以獲得該雙耳輸出信號 04)。
2.根據(jù)權利要求1所述的設備，其中所述設備進一步配置成在產(chǎn)生去相關信號 (Xf )時，將立體聲降混信號(18)的第一及第二聲道求和，并且對所述和去相關以獲得所述去相關信號(62)。
3.根據(jù)權利要求1或2所述的設備，進一步配置成 評估(80)初步雙耳信號(54)的實際雙耳聲道內相干性值；確定(8 目標雙耳聲道內相干性值；及基于實際雙耳聲道內相干性值及目標雙耳聲道內相干性值，設定(84)混合率，所述混合率確定由初步雙耳信號(54)的運算07)處理的立體聲降混信號(18)的第一及第二聲道以及由去相關信號的產(chǎn)生(50)以及由校正雙耳信號(64)的運算(52)處理的立體聲降混信號(18)的第一及第二聲道分別影響雙耳輸出信號04)的程度。
4.根據(jù)權利要求3所述的設備，其中所述設備進一步配置成在設定所述混合率時，基于實際雙耳聲道內相干性值及目標雙耳聲道內相干性值，通過設定第一演示指示(G1’。1)及第二演示指示(Pj,m )來設定所述混合率。
5.根據(jù)權利要求3或4所述的設備，其中所述設備進一步配置成在確定目標雙耳聲道內相干性值時，基于目標協(xié)方差矩陣F = A E A*的分量來執(zhí)行所述確定，其中“*”表示共軛轉置，A是使音頻信號分別與雙耳輸出信號的第一及第二聲道相關的目標雙耳演示矩陣且由演示信息及HRTF參數(shù)來唯一決定，且E是由目標內互相關信息及目標位準信息唯一決定的矩陣。
6.根據(jù)權利要求5所述的設備，其中所述設備進一步配置成在運算初步雙耳信號(54) 時使得X1=GX其中X是hi的向量，所述X的分量對應于立體聲降混信號(18)的第一及第二聲道， 束是&1的向量，所述I1的分量對應于初步雙耳信號(54)的第一及第二聲道，G是表示第一演示指示且具有的大小的第一演示矩陣，即
其中，X e {1,2},
其中<、<及4是大小為2x2的子目標協(xié)方差矩陣Fx的系數(shù)，即Fx = A Ex A*,其中
是·2. 1 2, NxN矩陣Ex的系數(shù)，N是音頻信號的數(shù)目，e"是大小為NxN的矩陣E的系數(shù)，且《由降混信息唯一地決定，其中<指示音頻信號i已混合至立體聲降混信號(18)的第一聲道中的程度，且<定義音頻信號i已混合至立體聲輸出信號(18) 的第二聲道中的程度，其中Vx是標量，即Vx = DxE (Dx) *+ ε，且Dx是IxN的矩陣，Dx的系數(shù)是《， 其中所述設備進一步配置成在運算校正雙耳輸出信號(64)時使得K = Pz-Xd其中&是去相關信號，12是211的向量，所述I2的分量對應于所述校正雙耳信號(64) 的第一及第二聲道，且P2是表示第二演示指示且具有2x2大小的第二演示矩陣，即
其中增益PL及ra定義為
其中C11及C22是該初步雙耳信號(54)的2x2協(xié)方差矩陣C的系數(shù)，即
其中V是標量，S卩V = W E W*+ε，W是大小為IxN的單降混矩陣，其系數(shù)由《 唯一決定，^ = 且g為來
其中所述設備進一步配置成在評估該實際雙耳聲道內相干性值時確定實際雙耳聲道內相干性值為
其中所述設備進一步配置成在確定目標雙耳聲道內相干性值時確定目標雙耳聲道內相干性值為
且其中所述設備進一步配置成在設定混合率時根據(jù)下式確定旋轉角α及β，
其中ε表示用于避免分別被0除的較小常數(shù)。
7.根據(jù)權利要求1所述的設備，其中所述設備進一步配置成在運算初步雙耳信號(54) 時使得
其中X是hi的向量，所述X的分量對應于立體聲降混信號(18)的第一及第二聲道， 向量，所述I1的分量對應于初步雙耳信號(54)的該第一及第二聲道，G是表示第一演示指示且具有2x2大小的第一演示矩陣，即G = AED* (DEDT1，其中E是由目標內互相關信息及目標位準信息來唯一決定的矩陣；D是MN的矩陣，其系數(shù)Clij由降混信息唯一決定，其中Cllj指示音頻信號j已混合至立體聲降混信號(18)的第一聲道中的程度，且‘定義音頻信號j已混合至立體聲輸出信號 (18)的第二聲道中的程度；A是使音頻信號分別與雙耳輸出信號的第一及第二聲道相關的目標雙耳演示矩陣，且由演示信息及HRTF參數(shù)來唯一確定，其中所述設備進一步配置成在運算校正雙耳輸出信號(64)時使得
其中&是去相關信號，I2是2x1的向量，I2的分量對應于校正雙耳信號(64)的第一及第二聲道，且P是表示第二演示指示且具有2x2大小的第二演示矩陣，且被確定以使得PP* =AR，其中 AR = AEA*-G0DED*G0*'而(；。=G。
8.根據(jù)權利要求1所述的設備，其中所述設備進一步配置成在運算初步雙耳信號(54) 時使得
其中X是hi的向量，X的分量對應于立體聲降混信號(18)的第一及第二聲道，戈是 2x1的向量，戈的分量對應于初步雙耳信號(54)的第一及第二聲道，G是表示該第一演示指示且具有2x2大小的第一演示矩陣，即G = (G0DED*G0*) (G0DED*G0*AEA*G0DED*G0*)1/2 (G0DED*G0*) ^1G0 其中(；。=AED* (DED*)其中E是由目標內互相關信息及目標位準信息來唯一決定的矩陣； D是MN的矩陣，D的系數(shù)由降混信息來唯一決定，其中扎指示音頻信號j已混合至立體聲降混信號(18)的第一聲道中的該程度，且‘定義音頻信號j已混合至立體聲輸出信號(18)的第二聲道中的程度；A是使音頻信號分別與雙耳輸出信號的第一及第二聲道相關的目標雙耳演示矩陣，且由演示信息及HRTF參數(shù)來唯一確定，其中所述設備進一步配置成在運算校正雙耳輸出信號(64)時使得 Xi=P Xd其中&是去相關信號，文2是2x1的向量，所述I2的分量對應于所述校正雙耳信號(64) 的第一及第二聲道，且P是表示第二演示指示且具有2x2大小的第二演示矩陣，并且被確定使得 pp* = (AEA*-GDED*G*) /V，其中 V 是標量。
9.根據(jù)前述權利要求中任一項所述的設備，其中所述降混信息(DMG，DCLD)是時間相關的，且目標位準信息(OLD)及目標內互相關信息(IOC)是時間及頻率相關的。
10.一種用于將多聲道音頻信號雙耳演示為雙耳輸出信號04)的方法，所述多聲道音頻信號包含多個音頻信號(H1-Hn)被降混的立體聲降混信號(18)，且包含側信息(20)，所述側信息00)包含對于每一音頻信號指示出各自音頻信號已分別混合至立體聲降混信號(18)的第一聲道(LO)及第二聲道(RO)中的程度的降混信息(DMG，DCLD)，所述側信息00)還包含多個音頻信號的目標位準信息(OLD)及目標內互相關信息(IOC)，所述目標內互相關信息(IOC)描述在所述多個音頻信號的音頻信號對之間的類似性，所述方法包括基于第一演示指示(G1’"1)從所述立體聲降混信號(18)的第一及第二聲道來運算初步雙耳信號64)，所述第演示指示根據(jù)目標內互相關信息、目標位準信息、降混信息、使每一音頻信號相關于虛擬揚聲器位置的演示信息及HRTF參數(shù)而定；產(chǎn)生去相關信號(Xf )，所述去相關信號(Xf )作為對所述立體聲降混信號(18)的第一及第二聲道的單降混(58)的感知等效物，且然而與所述單降混(58)去相關；根據(jù)第二演示指示從所述去相關信號(6 運算校正雙耳信號(64)，所述第二演示指示(Aim)依據(jù)所述目標內互相關信息、所述目標位準信息、所述降混信息、所述演示信息及所述HRTF參數(shù)而定；及將初步雙耳信號(54)與校正雙耳信號(64)相混合，以獲得該雙耳輸出信號04)。
11.一種具有指令的計算機程序，當所述指令在計算機上運行時，用于執(zhí)行根據(jù)權利要求10所述的方法。
全文摘要
描述了將多聲道音頻信號雙耳演示為雙耳輸出信號(24)。該多聲道音頻信號包含多個音頻信號(141-14N)被降混的立體聲降混信號(18)及側信息，且該側信息包含對于每一音頻信號指示出各自音頻信號已分別混合至立體聲降混信號(18)的第一聲道及一第二聲道中的程度的降混信息(DMG，DCLD)，該側信息還包含音頻信號的目標位準信息及目標內互相關信息，該目標內互相關信息描述在多個音頻信號的音頻信號對之間的相似性。基于第一演示指示，從立體聲降混信號(18)的第一及第二聲道來運算初步雙耳信號(54)。產(chǎn)生去相關信號作為對該立體聲降混信號(18)的第一及第二聲道的單降混(58)的感知等效物，且然而與該單降混(58)去相關。根據(jù)第二演示指示從去相關信號(62)運算校正雙耳信號(64)，且初步雙耳信號(54)與校正雙耳信號(64)相混合，以獲得該雙耳輸出信號(24)。
文檔編號H04S1/00GK102187691SQ200980139685
公開日2011年9月14日 申請日期2009年9月25日 優(yōu)先權日2008年10月7日
發(fā)明者杰羅恩·科彭斯, 哈拉爾德·蒙特, 萊奧尼德·特倫蒂夫, 科奈利亞·費爾施, 約翰內斯·希勒佩特, 奧立夫·赫爾穆, 拉斯·維萊摩爾斯, 彥·普洛斯提斯, 杰羅恩·布瑞巴特, 約納斯·恩德加德 申請人:弗朗霍夫應用科學研究促進協(xié)會, 皇家飛利浦電子股份有限公司, 杜比瑞典公司