一種3d混音方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及3D混音技術(shù)領(lǐng)域，尤其涉及一種3D混音方法及裝置。
【背景技術(shù)】
[0002]在多人參與的電話(huà)會(huì)議中，每個(gè)人經(jīng)電話(huà)麥克風(fēng)采集到的信號(hào)都是單聲道的。簡(jiǎn)單的將所有人的聲音混合，會(huì)有一些問(wèn)題:首先，在多個(gè)人同時(shí)講話(huà)的場(chǎng)景下，互相疊加的聲音會(huì)對(duì)聽(tīng)音者造成聽(tīng)覺(jué)和理解上的困難;其次，沒(méi)有個(gè)方位信息的混音會(huì)缺乏臨場(chǎng)感。但是如果引入3D混音，這些問(wèn)題就會(huì)得到解決。HRTF卷積是一種適應(yīng)性很好的3D混音方法，將單聲道音頻信號(hào)與指定的HRTF函數(shù)卷積，就可以獲得能夠用耳機(jī)重放的立體聲，混音讓聽(tīng)音者通過(guò)耳機(jī)重放，聽(tīng)音者才能感覺(jué)到每一個(gè)說(shuō)話(huà)人都在自己身邊的不同位置上。在現(xiàn)有技術(shù)中，對(duì)于處理有N個(gè)人參加會(huì)議的3D混音方法，對(duì)于每一個(gè)人來(lái)說(shuō)，其他N-1個(gè)人都是說(shuō)話(huà)人，而自己是唯一的聽(tīng)音者，為了讓每一個(gè)人聽(tīng)到3D混音后的效果，必須指定N-1對(duì)HRTF并且用它們與其他每一個(gè)人的聲音信號(hào)卷積。由于對(duì)每一個(gè)人來(lái)說(shuō)，其他所有人都分布在不同的位置，因此，為了讓所有人聽(tīng)到3D效果，就要有N*(N-1)對(duì)HRTF卷積。也就是現(xiàn)有技術(shù)中HRTF卷積方法的計(jì)算量需要N的平方的數(shù)量級(jí)，計(jì)算復(fù)雜。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于提供一種3D混音方法，旨在解決現(xiàn)有的3D混音中HRTF卷積時(shí)，計(jì)算量復(fù)雜的問(wèn)題。
[0004]本發(fā)明提供的一種3D混音方法，方法包括以下步驟:
[0005]設(shè)置公共聽(tīng)音位置；
[0006]確定聲源到達(dá)公共聽(tīng)音位置的傳輸路徑；
[0007]將聲源對(duì)應(yīng)的音頻信號(hào)與傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF進(jìn)行卷積；
[0008]將所有卷積后的結(jié)果疊加得到3D混音信號(hào)。
[0009]進(jìn)一步的，確定所有發(fā)聲位置達(dá)到所述公共聽(tīng)音位置的傳輸路徑，包括:
[0010]根據(jù)聲源到達(dá)公共聽(tīng)音位置的直達(dá)路徑和反射路徑確定所有傳輸路徑。
[0011]進(jìn)一步的，將所有卷積后的結(jié)果疊加得到3D混音信號(hào)，之前還包括:
[0012]將卷積后的結(jié)果做衰減和延時(shí)處理。
[0013]進(jìn)一步的，將所有卷積后的結(jié)果疊加得到3D混音信號(hào)，具體為:
[0014]將所有做衰減和延時(shí)處理后的卷積結(jié)果疊加得到3D混音信號(hào)。
[0015]進(jìn)一步的，將所有卷積后的結(jié)果做衰減和延時(shí)處理，具體為將卷積后的結(jié)果乘以衰減系數(shù)，并根據(jù)延遲時(shí)間對(duì)卷積后的結(jié)果進(jìn)行延時(shí)處理，所述衰減系數(shù)decay = 0.5*log2(L/Ld)，所述延遲時(shí)間delay= (Ld-L)/v，其中所述L表示反射路徑的路徑總長(zhǎng)，所述Ld表示直達(dá)路徑的路徑總長(zhǎng)，所述V表示聲音速度。
[0016]本發(fā)明還提供了一種3D混音裝置，該裝置包括:
[0017]設(shè)置模塊，用于設(shè)置公共聽(tīng)音位置；
[0018]確定模塊，用于確定聲源到達(dá)所述公共聽(tīng)音位置的傳輸路徑；
[0019]卷積模塊，用于將聲源對(duì)應(yīng)的音頻信號(hào)與傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF進(jìn)行卷積；
[0020]疊加模塊，用于將所有卷積后的結(jié)果疊加得到3D混音信號(hào)。
[0021]進(jìn)一步的，確定模塊，還具體用于:
[0022]根據(jù)聲源到達(dá)公共聽(tīng)音位置的直達(dá)路徑和反射路徑確定所有傳輸路徑。
[0023]進(jìn)一步的，3D混音裝置還包括:
[0024]衰減和延遲模塊，用于將卷積后的結(jié)果做衰減和延時(shí)處理。
[0025]進(jìn)一步的，卷積模塊，還用于:
[0026]將所有做衰減和延時(shí)處理后的卷積結(jié)果疊加得到3D混音信號(hào)。
[0027]進(jìn)一步的，衰減和延時(shí)模塊，還用于將卷積后的結(jié)果乘以衰減系數(shù)，并根據(jù)延遲時(shí)間對(duì)卷積后的結(jié)果進(jìn)行延時(shí)處理；
[0028]所述衰減系數(shù)decay = 0.5*log2(L/Ld)，所述延遲時(shí)間(^137=(1^(1-1^)八，其中所述L表示反射路徑的路徑總長(zhǎng)，所述Ld表示直達(dá)路徑的路徑總長(zhǎng)，所述V表示聲音速度。
[0029]本發(fā)明的3D混音方法及裝置有益效果:本發(fā)明的3D混音方法設(shè)置公共聽(tīng)音位置，讓3D混音中將聲源對(duì)應(yīng)的音頻信號(hào)與傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF進(jìn)行卷積時(shí)，HRTF卷積方法的計(jì)算量為N的數(shù)量級(jí)，大大減少了運(yùn)算量。
【附圖說(shuō)明】
[0030]圖1是本發(fā)明一實(shí)施例提供的一種3D混音方法的流程示意圖；
[0031]圖2是本發(fā)明一實(shí)施例提供的聲源A到達(dá)公共聽(tīng)音位置T處的幾條主要傳輸路徑示意圖；
[0032]圖3是本發(fā)明又一實(shí)施例提供的3D混音方法的流程示意圖；
[0033]圖4是本發(fā)明一實(shí)施例提供的一種3D混音裝置。
【具體實(shí)施方式】
[0034]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0035]圖1是本發(fā)明一實(shí)施例提供的一種3D混音方法的流程示意圖，參考圖1，本發(fā)明實(shí)施例的3D混音方法，包括以下步驟:
[0036]步驟SlOl，設(shè)置公共聽(tīng)音位置。
[0037]在3D混音技術(shù)中，由于是虛擬混音，每一個(gè)人說(shuō)話(huà)和聽(tīng)音在不同的位置進(jìn)行，這樣的設(shè)定是可行的。例如，對(duì)于參會(huì)者A，他在As處說(shuō)話(huà)而在Al處聽(tīng)音;對(duì)于參會(huì)者B，他在Bs處說(shuō)話(huà)在BI處聽(tīng)音，等等?，F(xiàn)在取所有人的聽(tīng)音位置相同，假設(shè)在T處，也就是A1，B1以及其他人的聽(tīng)音位置都是同一個(gè)地方T處，那么不管是參會(huì)者A，還是參會(huì)者B，在聽(tīng)音的時(shí)候，說(shuō)話(huà)人相對(duì)于T處位置都是相同的。
[0038]步驟S102，確定聲源到達(dá)公共聽(tīng)音位置的傳輸路徑。
[0039]包括:根據(jù)聲源到達(dá)公共聽(tīng)音位置的直達(dá)路徑和反射路徑確定所有傳輸路徑。
[0040]圖2是本發(fā)明一實(shí)施例提供的聲源A處到達(dá)公共聽(tīng)音位置T處的幾條主要傳輸路徑示意圖。參考圖2，參會(huì)者A實(shí)際上說(shuō)話(huà)時(shí)，聲音達(dá)到公共聽(tīng)音位置T處的傳輸路徑有無(wú)數(shù)條，先確定幾條主要的承載絕大部分聲音能量的傳輸路徑，比如在一個(gè)長(zhǎng)方體的房間里，長(zhǎng)方體有六個(gè)面:U1U2U3U4、U5U6U7U8、U1U2U7U8、U3U4U5U6、U1U4U6U7、U2U3U5U8。假設(shè)參會(huì)者 A(也即說(shuō)話(huà)者)位置為U1U2U3U4對(duì)應(yīng)的中心為位置，公共聽(tīng)音位置T設(shè)置在面U5U6U7U8的中心，K、M、Q、P分別為面U1U2U7U8、U3U4U5U6、U1U4U6U7、U2U3U5U8的中心。則參會(huì)者A說(shuō)話(huà)的聲音從A處傳輸?shù)焦猜?tīng)音位置T處，有5條主要的路徑，聲源A處到達(dá)公共聽(tīng)音位置T處的直達(dá)路徑AT，聲源到達(dá)公共聽(tīng)音位置的反射路徑有:從左側(cè)面反射的路徑AKT、從右側(cè)面反射的路徑AMT、從下面反射的路徑APT、從上面反射的路徑AQT。依此方法，還可以測(cè)出其他的一些路徑，比如從A處經(jīng)過(guò)左側(cè)面反射到右側(cè)面、再?gòu)挠覀?cè)面反射到達(dá)T處的路徑，或聲音從A處經(jīng)過(guò)下面反射到上面、再?gòu)纳厦娣瓷涞竭_(dá)T處的路徑，或聲音從A處經(jīng)過(guò)左側(cè)面反射到右側(cè)面、再?gòu)挠覀?cè)面反射到左側(cè)面、再?gòu)淖髠?cè)面反射到達(dá)T處，等等，其他的路徑就不一一列舉。但是，由于直達(dá)路徑AT、反射的路徑AKT、AMT、APT、AQT這5條傳聲路徑承載了絕大部分的聲音能量，因此，考慮房間混音是只需要考慮他們就可以了。
[0041]剛才列舉的例子，是一個(gè)有規(guī)則的長(zhǎng)方體的環(huán)境中，在其他的環(huán)境中也同樣可以確定聲源到達(dá)公共聽(tīng)音位置的傳輸路徑。包括:根據(jù)聲源到達(dá)公共聽(tīng)音位置的直達(dá)路徑和反射路徑確定所有傳輸路徑。
[0042]依上面的實(shí)施例也可以確定其他參會(huì)者(說(shuō)話(huà)者)到公共聽(tīng)音位置的傳輸路徑，包括:根據(jù)聲源到達(dá)公共聽(tīng)音位置的直達(dá)路徑和反射路徑確定所有傳輸路徑，也不限于只是在長(zhǎng)方體的環(huán)境中的所有從聲源到達(dá)公共聽(tīng)音位置的傳輸路徑。
[0043]步驟S103，將聲源對(duì)應(yīng)的音頻信號(hào)與傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF進(jìn)行卷積。
[0044]從步驟S102中確定了每個(gè)聲源到達(dá)公共聽(tīng)音位置的傳輸路徑，也就能找到相應(yīng)的傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF，本發(fā)明實(shí)施例的3D混音方法將聲源對(duì)應(yīng)的音頻信號(hào)與傳輸路徑對(duì)應(yīng)的頭相關(guān)傳輸函數(shù)HRTF進(jìn)行卷積，從而得到相應(yīng)的3D虛擬混音信號(hào)。
[0045]本發(fā)明實(shí)施例中，HRTF函數(shù)是通過(guò)查找HRIR表，HRIR表示根據(jù)聲源位置相對(duì)于聽(tīng)音者的正前方方向的角度來(lái)查找的。HRTF表征的是聲源相對(duì)于聽(tīng)音者正前方方向的角度。這個(gè)角度表述為一個(gè)2維向量<x，y>其中X指水平角度，y指俯仰角度，取值范圍都是0-360度。例如〈30，60>指的是聲源位置在聽(tīng)音者正前方偏左30度，偏上60。注意偏左90度是正左方，180是后方，270是正右。同理偏上90度是正上，270度是正下。而HRIR表的獲取方法可以通過(guò)實(shí)驗(yàn)用人工頭耳內(nèi)錄音獲取。例如在距離人工頭單位長(zhǎng)度的遠(yuǎn)近，角度為〈X，y>的地方發(fā)出一個(gè)脈沖聲音，記錄下左右耳的響應(yīng)，得到HRIR表的第m行k列的HRTF。依次測(cè)完所有需要的〈X，y>，做成了一個(gè)表，就是HRIR表。例如，以一度為單位來(lái)測(cè)量，就得到360行360列的表，那么對(duì)應(yīng)角度〈X，y>的HRTF就在表的X行y列(當(dāng)然實(shí)際上不需要這么多)。查表時(shí)，就只需要知道角度<x，y>，直接找到對(duì)應(yīng)表中相應(yīng)位置的HRTF就可以了。實(shí)際中，如果表中沒(méi)有〈x，y>的HRTF，則需要用