本發(fā)明涉及聲場構(gòu)建技術(shù)領(lǐng)域，特別是涉及一種3d聲場構(gòu)建方法和vr裝置。

背景技術(shù)：

隨著vr(virtualreality，虛擬現(xiàn)實)技術(shù)的迅速發(fā)展，及用戶追求的視覺聽覺的沉浸感，對于在vr產(chǎn)品中對3d圖像和3d聲場的技術(shù)也要求越來越高。目前，3d圖像等相關(guān)的技術(shù)都發(fā)展得很成熟了，再現(xiàn)現(xiàn)實和虛幻世界中的物體并不困難。但如果只有圖像上的沉浸感，沒有聲音的渲染，那么無法使用戶真正沉浸在虛擬世界里。

我們知道vr的一個重要特性就是信息的選擇性攝入，在傳統(tǒng)顯示方式中所有的信息都在用戶的面前，沒法選擇。但vr不同，它提供了全景的觀看模式，有更豐富的畫面供選擇，需要引導(dǎo)。比如：當(dāng)一位美女在你左側(cè)拍手，你在現(xiàn)實中正常的反應(yīng)就應(yīng)該是向左側(cè)轉(zhuǎn)身，然后獲取拍手的人是美女這個信息?？梢姡曇粼谶@里起到的作用是行為產(chǎn)生的最初始依據(jù)。這就是全景音頻對vr體驗的價值。

那么如何提供一種vr中的3d聲場構(gòu)建的方法和vr裝置，模擬出現(xiàn)實世界中的聲場，實現(xiàn)全景音頻，成為目前很多vr研究者面臨的難題。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種3d聲場構(gòu)建方法和vr裝置，用以解決現(xiàn)有技術(shù)中vr中無法實現(xiàn)3d聲場構(gòu)建的缺陷，實現(xiàn)vr中的全景音頻的輸出模式。

為了解決上述問題，本發(fā)明公開了一種3d聲場構(gòu)建方法，應(yīng)用于vr產(chǎn)品，其中，包括：

根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；

根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。

本發(fā)明所述的方法，其中，所述根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號的步驟進一步包括：

根據(jù)音源與收聽者的位置關(guān)系，選取頭相關(guān)變換函數(shù)hrtf，將音源信號及音源的hrtf脈沖響應(yīng)信號做卷積獲得含有音源位置信息的音頻信號。

本發(fā)明所述的方法，其中，進一步包括：

根據(jù)音源與收聽者的位置關(guān)系，選取hrtf函數(shù)，將音源信號及音源的hrtf脈沖響應(yīng)信號通過fft運算變換到頻域上做乘積得到含有音源位置信息的音頻信號。

本發(fā)明所述的方法，其中，所述根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建的步驟進一步包括：

根據(jù)所述含有音頻位置信息的音頻信號，采用數(shù)字混響的延遲反饋網(wǎng)絡(luò)進行3d空間環(huán)境復(fù)原重建。

本發(fā)明所述的方法，其中，進一步包括：

對3d聲場空間環(huán)境重建后的聲音信號與3d聲場空間環(huán)境重建后的聲音信號本身本身經(jīng)過二階低通濾波后的聲音信號進行混合并輸出。

為了解決上述問題，本發(fā)明還公開了一種vr裝置，包括：

聲音定位模塊，用于根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；

3d聲場空間環(huán)境復(fù)原重建模塊，用于根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。

本發(fā)明所述的裝置，其中，

所述聲音定位模塊，進一步用于根據(jù)音源與收聽者的位置關(guān)系，選取hrtf函數(shù)，將音源信號及音源的hrtf脈沖響應(yīng)信號做卷積獲得含有音源位置信息的音頻信號。

本發(fā)明所述的裝置，其中，

所述聲音定位模塊，進一步用于根據(jù)音源與收聽者的位置關(guān)系，選取hrtf函數(shù)，將音源信號及音源的hrtf脈沖響應(yīng)信號通過fft運算變換到頻域上做乘積得到含有音源位置信息的音頻信號。

本發(fā)明所述的裝置，其中，

所述3d聲場空間環(huán)境復(fù)原重建模塊，進一步用于根據(jù)所述含有音頻位置信息的音頻信號，采用數(shù)字混響的延遲反饋網(wǎng)絡(luò)進行3d空間環(huán)境復(fù)原重建。

本發(fā)明所述的裝置，其中，進一步包括：

低音增強模塊，用于對3d聲場空間環(huán)境重建后的聲音信號與3d聲場空間環(huán)境重建后的聲音信號本身本身經(jīng)過二階低通濾波后的聲音信號進行混合并輸出。

本發(fā)明實施例提供的一種3d聲場構(gòu)建方法和vr裝置，通過根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；并根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。實現(xiàn)了vr中的全景音頻的輸出模式，根據(jù)收聽者位置的變動而聲場隨時重建。進一步通過對3d聲場空間環(huán)境重建后的聲音信號與其本身進行二階低通濾波后進行混合并輸出，使得將低音部分的損失進行了彌補，3d聲場更加具有現(xiàn)實感，給vr產(chǎn)品帶來聲音上的沉浸感，提升了用戶體驗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明一種3d聲場構(gòu)建方法實施例的步驟流程圖；

圖2是本發(fā)明一種3d聲場構(gòu)建方法另一實施例的步驟流程圖；

圖3是本發(fā)明一種vr裝置實施例的結(jié)構(gòu)框圖；

圖4是本發(fā)明實施例采用8個延遲線模擬聲音的反射的結(jié)構(gòu)示意圖；

圖5是本發(fā)明實施例低音增強模塊的結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例一

參照圖1，示出了本發(fā)明實施例一種3d聲場構(gòu)建方法的步驟流程圖。

本實施例的一種3d聲場構(gòu)建方法，應(yīng)用于vr產(chǎn)品，包括以下步驟：

步驟10：根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；即收聽者根據(jù)聽到的聲音確定音源位置，可以采用現(xiàn)有類似家庭影院或者影院的音響系統(tǒng)回放還原或采用雙聲道來實現(xiàn)聲音的空間定位，比如通過頭相關(guān)傳遞函數(shù)hrtf(headrelatedtransferfunction)來實現(xiàn)。通常可以根據(jù)緯度和經(jīng)度將收聽者周圍空間劃分成若干等份(比如mit以15度為間隔)，在每個采樣點，音源處產(chǎn)生脈沖信號，收聽者處收到信號經(jīng)過去處理等操作獲得該方位點的hrtf，由此得到一系列的頭相關(guān)傳遞函數(shù)?，F(xiàn)在有了收聽者和音源的方位信息就可以查表獲取正確的頭相關(guān)傳遞函數(shù)。另外，考慮到距離衰減的問題，根據(jù)收聽者所處的位置和音源之間的距離，還可以用一個函數(shù)計算距離產(chǎn)生的衰減，該函數(shù)可以采用指數(shù)衰減模型。

步驟20：根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。

本實施例的本步驟中，采用現(xiàn)有的數(shù)字混響的延遲反饋網(wǎng)絡(luò)模型，也就是使用延遲線來模擬聲音的反射。這樣可以根據(jù)調(diào)節(jié)反射線的增益以及反射線的延遲時間來控制混響時間和混響密度。通過低通濾波器來消除高頻分量增強后引起得嘯叫聲。本發(fā)明基于實現(xiàn)8個延遲線來模擬聲音的反射。如圖4所示。

在閉室聲場中聲波傳播，室內(nèi)任一點聽到的聲音都要包括兩大部分：直達聲和反聲。直達聲是聲波不經(jīng)過任何障礙物直接到達人耳的那部分，其傳播路徑較短，所以能量損失少，幅度很強。反射聲中，把與直達聲間隔時間小于50ms的反射聲稱早期反射聲，與直達聲間隔時間大于50ms的反射聲稱混響聲。早期反射聲通常只經(jīng)過一、二次反射，其能量較大，且相互之間的間隔也較大?；祉懧晞t經(jīng)過多次反射，其能量較小，而且彼此間的間隔比較小。本發(fā)明采用延遲反饋網(wǎng)絡(luò)來模擬實際場景實現(xiàn)最終的混響效果。如圖所示：使用8個延遲單元來模擬聲音到達人耳經(jīng)過的8種不同路徑延時。輸入x(n)與輸出y(n)的-2/n(本發(fā)明n＝8)混合后作為每一延遲線的外來輸入。每一延遲線的輸出也會反饋到該延遲線作為反饋輸入，反饋輸入和外來輸入混合，經(jīng)過延遲單元的延遲后，再經(jīng)過低通濾波，作為該延遲線的輸出。所有延遲線輸出混合后作為該時刻的輸出y(n)。可以用8條延時線實現(xiàn)混響的早期反射聲。而輸出y(n)的反饋可以作為混響聲。

通過本方法實施例，根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；并根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。實現(xiàn)了vr中的全景音頻的輸出模式，根據(jù)收聽者位置的變動而聲場隨時重建。

實施例二

參照圖2，示出了本發(fā)明一種3d聲場構(gòu)建方法的另一實施例步驟流程圖。本實施例的一種3d聲場構(gòu)建方法，應(yīng)用于vr產(chǎn)品，包括以下步驟：

步驟101：根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；這里，根據(jù)音源與收聽者的位置關(guān)系，選取頭相關(guān)變換函數(shù)hrtf函數(shù)，將音源信號及音源的hrtf脈沖響應(yīng)信號做卷積獲得含有音源位置信息的音頻信號。相關(guān)研究機構(gòu)根據(jù)緯度和經(jīng)度將收聽者周圍空間劃分成若干等份(比如mit以15度為間隔)，在每個采樣點，音源處產(chǎn)生脈沖信號，收聽者處收到信號經(jīng)過去處理等操作獲得該方位點的hrtf，由此得到一系列的頭相關(guān)傳遞函數(shù)?，F(xiàn)在有了收聽者和音源的方位信息就可以查表獲取正確的頭相關(guān)傳遞函數(shù)。

具體地，對于音源定位本實施例采用mit數(shù)據(jù)庫。從信號與系統(tǒng)的角度看，有了該位置點的頭相關(guān)變換函數(shù)hrtf：該函數(shù)是一種音效定位算法，對應(yīng)時域的頭相關(guān)沖擊響應(yīng)(headrelatedinpulseresponse,hrir)，那么跟輸入源進行卷積得到的音頻信號就包含有音源的位置信息:

公式一：

其中，y(n)表示：經(jīng)過頭相關(guān)脈沖響應(yīng)處理的輸出音頻序列；x(n)表示：輸入的音頻序列，表示第n個樣點；h(n)表示：頭相關(guān)脈沖響應(yīng)序列；n表示：代表時間的序號。

另外，由于卷積會占用大量的存儲空間，所以可以將輸入信號和hrtf的脈沖響應(yīng)進行fft運算變換到頻域上。時域的卷積對應(yīng)的是頻域上的乘積，因此，公式一就變成：

公式二：y(w)＝x(w)*h(w)

其中，y(w)表示：經(jīng)過頭相關(guān)脈沖響應(yīng)處理的輸出序列的傅立葉變換；x(w)表示：輸入音頻序列的傅立葉變換；h(w)表示：頭相關(guān)的脈沖響應(yīng)序列的傅立葉變換；w表示：離散頻率點。

由于輸入的音頻序列是一個很長的輸入信號，而且為了減小算法處理帶來的緩存延遲，一般都會講輸入序列x(n)分為許多段后處理，于是輸出可分解為：

其中：

由此表明，只要將x(n)的每一小段分別與h(n)卷積，然后再將這些卷積結(jié)果相加起來就可以得到輸出序列，這樣，每一段的卷積都可用上面討論的快速卷積來計算。先對h(n)以及xi(n)補零，補到具有n點長度，n＝n1+n2-1其中，n1是h(n)的長度，n2是xi(n)的序列長度。一般選擇n＝2^m，然后用基2fft算法通過正反變換計算得到n一般既不能取得太大也不能取得太小，如果太大會導(dǎo)致緩存延時的增加以及占用較多的內(nèi)存，如果太小那么cpu的占用率就會上升以及under-run發(fā)生的概率會增大。本發(fā)明采用了512個sample，處理一次的時間差不多是1ms左右。

由于yi(n)長度為n，而xi(n)的長度為n2，因此相鄰兩yi(n)序列必然有n-n2＝n1-1點發(fā)生重疊，這個重疊部分應(yīng)該相加起來才能構(gòu)成最后的輸出序列。

另外，考慮到距離衰減的問題，根據(jù)收聽者所處的位置和音源之間的距離，還可以用一個函數(shù)計算距離產(chǎn)生的衰減，該函數(shù)可以采用指數(shù)衰減模型。

步驟102：根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建；

本實施例的本步驟中，采用現(xiàn)有的數(shù)字混響的延遲反饋網(wǎng)絡(luò)模型，也就是使用延遲線來模擬聲音的反射。這樣可以根據(jù)調(diào)節(jié)反射線的增益以及反射線的延遲時間來控制混響時間和混響密度。通過低通濾波器來消除高頻分量增強后引起得嘯叫聲。本發(fā)明基于實現(xiàn)8個延遲線來模擬聲音的反射。如圖4所示。

在閉室聲場中聲波傳播，室內(nèi)任一點聽到的聲音都要包括兩大部分：直達聲和反聲。直達聲是聲波不經(jīng)過任何障礙物直接到達人耳的那部分，其傳播路徑較短，所以能量損失少，幅度很強。反射聲中，把與直達聲間隔時間小于50ms的反射聲稱早期反射聲，與直達聲間隔時間大于50ms的反射聲稱混響聲。早期反射聲通常只經(jīng)過一、二次反射，其能量較大，且相互之間的間隔也較大。混響聲則經(jīng)過多次反射，其能量較小，而且彼此間的間隔比較小。本發(fā)明采用延遲反饋網(wǎng)絡(luò)來模擬實際場景實現(xiàn)最終的混響效果。如圖所示：使用8個延遲單元來模擬聲音到達人耳經(jīng)過的8種不同路徑延時。輸入x(n)與輸出y(n)的-2/n(本發(fā)明n＝8)混合后作為每一延遲線的外來輸入。每一延遲線的輸出也會反饋到該延遲線作為反饋輸入，反饋輸入和外來輸入混合，經(jīng)過延遲單元的延遲后，再經(jīng)過低通濾波，作為該延遲線的輸出。所有延遲線輸出混合后作為該時刻的輸出y(n)?？梢杂?條延時線實現(xiàn)混響的早期反射聲。而輸出y(n)的反饋可以作為混響聲。

步驟103：參照圖5，對3d聲場空間環(huán)境重建后的聲音信號與3d聲場空間環(huán)境重建后的聲音信號本身本身經(jīng)過二階低通濾波后的生意信號進行混合并輸出，使得將低音部分的損失進行了彌補，進一步提升用戶體驗。

通過本方法實施例，通過根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號；并根據(jù)所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。實現(xiàn)了vr中的全景音頻的輸出模式，根據(jù)收聽者位置的變動而聲場隨時重建。進一步通過對3d聲場空間環(huán)境重建后的聲音信號與其本身進行二階低通濾波后進行混合并輸出，使得將低音部分的損失進行了彌補，3d聲場更加具有現(xiàn)實感，給vr產(chǎn)品帶來聲音上的沉浸感，提升了用戶體驗。

實施例三

參照圖3，示出了本發(fā)明實施例一種vr裝置的結(jié)構(gòu)框圖。

本實施例的vr裝置1，包括：聲音定位模塊2、3d聲場空間環(huán)境復(fù)原重建模塊3和低音增強模塊4。

其中，聲音定位模塊2根據(jù)音源與收聽者的位置關(guān)系，產(chǎn)生含有音源位置信息的音頻信號，3d聲場空間環(huán)境復(fù)原重建模塊3根據(jù)聲音定位模塊2輸出的所述含有音源位置信息的音頻信號，進行3d聲場空間環(huán)境復(fù)原重建。低音增強模塊4對3d聲場空間環(huán)境重建模塊3輸出的聲音信號與3d聲場空間環(huán)境重建模塊3輸出的聲音信號經(jīng)過二階低通濾波后的聲音信號進行混合并輸出。低音增強模塊采用如圖5所示結(jié)構(gòu)。

在本實施例中，對于聲音定位模塊2是根據(jù)音源與收聽者的位置關(guān)系，選取hrtf函數(shù)，將音源信號及音源的hrtf脈沖響應(yīng)信號做卷積獲得含有音源位置信息的音頻信號。為了節(jié)約存儲空間，還可以將音源信號及音源的hrtf脈沖響應(yīng)信號通過fft運算變換到頻域上做乘積得到含有音源位置信息的音頻信號。這樣既可以有效定位音源的位置，又節(jié)約了存儲空間。

在本實施例中，對于3d聲場空間環(huán)境復(fù)原重建模塊3采用現(xiàn)有的數(shù)字混響的延遲反饋網(wǎng)絡(luò)模型，也就是使用延遲線來模擬聲音的反射。

本實施例的一種vr裝置用于實現(xiàn)前述實施例一中相應(yīng)的3d聲場構(gòu)建方法，并且具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。

最后應(yīng)說明的是：以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。