相關(guān)申請的交叉引用

本申請要求2014年10月17日提交的中國專利申請no.201410562080.x的優(yōu)先權(quán)和2015年8月3日提交的美國臨時(shí)專利申請no.62/200,453的優(yōu)先權(quán)，其內(nèi)容通過引用而完全合并到此。

本文公開的示例實(shí)施例一般涉及音頻信號處理，更具體地涉及用于面向用戶體驗(yàn)的音頻信號處理的方法和系統(tǒng)。

背景技術(shù)：

近年來，對于電子設(shè)備的設(shè)計(jì)而言用戶體驗(yàn)已經(jīng)變得越來越重要。電子設(shè)備可以包括例如移動電話和平板式計(jì)算機(jī)的便攜式設(shè)備或者例如電話或臺式計(jì)算機(jī)的固定設(shè)備。

由于結(jié)構(gòu)限制，難以通過硬件設(shè)計(jì)來解決電子設(shè)備的音頻效果問題。舉例而言，電子設(shè)備的揚(yáng)聲器可能過于小，以至于不能產(chǎn)生好的音頻效果。另外，揚(yáng)聲器位置和射向的設(shè)計(jì)服從于實(shí)際約束條件。

為了改善用戶體驗(yàn)，已經(jīng)向電子設(shè)備的音頻信號應(yīng)用后處理。例如，可以通過均衡、虛擬低音、低音增強(qiáng)、音量調(diào)整、轉(zhuǎn)向立體呈現(xiàn)、聲學(xué)回聲消除、聲學(xué)噪聲消除、去混響等等來處理音頻信號。然而，因?yàn)殡娮釉O(shè)備在位置和方向方面可以具有較大靈活性，所以現(xiàn)有的后處理解決方案由于揚(yáng)聲器方向性和空中聲學(xué)阻抗的改變而難以有效控制音調(diào)。

由此，本領(lǐng)域需要一種支持面向用戶體驗(yàn)的音頻信號處理的解決方案。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述以及其他潛在的問題，本文公開的示例實(shí)施例提供一種用于面向用戶體驗(yàn)的音頻信號處理的方法和系統(tǒng)。

在一方面，本文公開的示例實(shí)施例提供一種用于面向用戶體驗(yàn)的音頻信號處理的方法。該方法包括：獲取來自電子設(shè)備的音頻傳感器的第一音頻信號，基于第一音頻信號計(jì)算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補(bǔ)償因子，以及將補(bǔ)償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。關(guān)于這點(diǎn)的實(shí)施例進(jìn)一步包括對應(yīng)的計(jì)算機(jī)程序產(chǎn)品。

在另一方面，本文公開的示例實(shí)施例提供一種用于面向用戶體驗(yàn)的音頻信號處理的系統(tǒng)。該系統(tǒng)包括：音頻信號獲取單元，被配置為獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；計(jì)算單元，被配置為基于第一音頻信號計(jì)算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補(bǔ)償因子；以及應(yīng)用單元，被配置為將補(bǔ)償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。

通過下文描述將會理解，根據(jù)示例實(shí)施例，將計(jì)算針對從電子設(shè)備到收聽者之間的聲學(xué)路徑的補(bǔ)償因子，并在將音頻信號提供給該收聽者之前將該補(bǔ)償因子應(yīng)用于該音頻信號。例如，通過至少部分地基于獲取的來自電子設(shè)備的音頻傳感器的音頻信號計(jì)算補(bǔ)償因子，有可能有效提高電子設(shè)備的音頻效果。結(jié)果是，無論電子設(shè)備如何被定位和定向，都可以實(shí)現(xiàn)聽覺方面的用戶體驗(yàn)改善。

附圖說明

通過參考附圖閱讀下文的詳細(xì)描述，示例實(shí)施例的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例而非限制性的方式示出了本文公開的若干實(shí)施例，其中：

圖1示出適于實(shí)現(xiàn)示例實(shí)施例的示例電子設(shè)備的框圖；

圖2示出適于實(shí)現(xiàn)示例實(shí)施例的場景的示意圖；

圖3示出根據(jù)示例實(shí)施例的用于面向用戶體驗(yàn)的音頻信號處理的方法的流程圖；

圖4示出根據(jù)示例實(shí)施例的用于面向用戶體驗(yàn)的音頻信號處理的方法的流程圖；以及

圖5示出根據(jù)示例實(shí)施例的用于面向用戶體驗(yàn)的音頻信號處理的系統(tǒng)的框圖。

在各個(gè)附圖中，相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分。

具體實(shí)施方式

現(xiàn)在將參考若干示例實(shí)施例來討論本文公開的主題。應(yīng)當(dāng)理解，描述這些實(shí)施例只是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實(shí)現(xiàn)本文公開的主題，而并非以任何方式限制主題的范圍。

在此使用的術(shù)語僅出于描述特定實(shí)施例的目的，并不旨在限制于示例實(shí)施例。如這里所使用的，除非上下文明確指出，單數(shù)形式“一”、“一個(gè)”和“該”旨在也包括復(fù)數(shù)形式。還應(yīng)該理解，本文所用的術(shù)語“包括”和/或“包含”規(guī)定了闡明的特征、整數(shù)、步驟、操作、元素和/或部件的存在，但不排除一個(gè)或者多個(gè)其他特征、整數(shù)、步驟、操作、元素、元件和/或組的存在。

也應(yīng)該注意到在一些備選實(shí)現(xiàn)中，所注釋的功能/行為可以以圖中所注釋的順序的亂序出現(xiàn)。例如，被順序顯示的兩個(gè)功能/動作事實(shí)上根據(jù)涉及到的功能性/動作可以基本上同時(shí)執(zhí)行或者有時(shí)可以以相反地順序執(zhí)行。

圖1示出了適于實(shí)現(xiàn)示例實(shí)施例的示例電子設(shè)備100的框圖。如圖所示，電子設(shè)備100被實(shí)現(xiàn)為具有音頻播放能力的便攜式設(shè)備。該便攜式設(shè)備例如可以是移動電話、個(gè)人數(shù)字助理(pda)、筆記本電腦、平板電腦、尋呼機(jī)、播放器、游戲裝置、照相機(jī)、全球定位系統(tǒng)(gps)設(shè)備和任何其他類型的便攜式設(shè)備，只要它們能夠采用在此描述的主題的實(shí)施例。諸如臺式機(jī)和電話之類的固定類型的設(shè)備同樣可以容易地使用在此描述的主題的實(shí)施例。

如圖所示，電子設(shè)備100包括一個(gè)或多個(gè)天線112，可操作用于與發(fā)射器114和接收器116通信。利用這些設(shè)備，電子設(shè)備100可以執(zhí)行無線通信。

電子設(shè)備100還包括至少一個(gè)控制器120。應(yīng)當(dāng)理解，控制器120包括實(shí)現(xiàn)電子設(shè)備100的所有功能所需要的電路或邏輯。例如，控制器120可以包括數(shù)字信號處理器、微處理器、a/d轉(zhuǎn)換器、d/a轉(zhuǎn)換器和/或其他適當(dāng)?shù)碾娐?。電子設(shè)備100的控制和信號處理功能根據(jù)這些設(shè)備各自的能力分配。

電子設(shè)備100還可以包括用戶接口，其例如可以包括振鈴器122、揚(yáng)聲器124、麥克風(fēng)126、顯示器128以及輸入接口130，所有以上設(shè)備都耦合至控制器120。電子設(shè)備100還可以包括用于捕捉靜態(tài)圖像和/或動態(tài)圖像的相機(jī)模塊136。進(jìn)一步地，電子設(shè)備100可以包括多個(gè)傳感器(未示出)，例如，音頻傳感器、陀螺儀、距離傳感器、重力傳感器、加速計(jì)、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器、定位傳感器，等等。音頻傳感器可以例如實(shí)現(xiàn)為麥克風(fēng)126、麥克風(fēng)陣列(未示出)，等等。

電子設(shè)備100還可以包括電池134，諸如振動電池組，用于向操作電子設(shè)備100所需要的各種電路供電，并且備選地提供機(jī)械振動作為可檢測的輸出。在一個(gè)實(shí)施例中，電子設(shè)備100還包括用戶識別模塊(uim)138。uim138通常是具有內(nèi)置的處理器的存儲器設(shè)備。uim138可以例如包括訂戶識別模塊(sim)、通用集成電路卡(uicc)、通用用戶識別模塊(usim)或可移動用戶識別模塊(r-uim)等等。uim138可以包括根據(jù)此處描述的主題的實(shí)施例的卡連接檢測裝置。

電子設(shè)備100還包括存儲設(shè)備。例如，電子設(shè)備100可以包括易失性存儲器140，例如，包括高速緩存區(qū)域中的用于臨時(shí)存儲數(shù)據(jù)的易失性隨機(jī)存取存儲器(ram)。電子設(shè)備100還可以包括其他的可以是嵌入的或可移動的非易失性存儲器142。非易失性存儲器142可以附加地或備選地例如包括eeprom和閃存等。存儲器可以存儲多個(gè)信息片段中的任意項(xiàng)和電子設(shè)備100使用的數(shù)據(jù)，以便實(shí)現(xiàn)電子設(shè)備100的功能。例如，存儲器可以包含機(jī)器可執(zhí)行指令，其在被執(zhí)行時(shí)使得控制器120實(shí)現(xiàn)下文描述的方法。

應(yīng)當(dāng)理解，圖1中的結(jié)構(gòu)框圖僅僅示出用于說明目的，并非旨在限制此處描述的主題的范圍。在某些情況下，某些組件可以按照具體需要而增加或者減少。

現(xiàn)在參考圖2，其示出適于實(shí)現(xiàn)本發(fā)明的示例實(shí)施例的場景200的示意圖。如圖所示，收聽者210正在收聽來自電子設(shè)備220的音頻聲音，例如，音樂、講話、廣播劇，等等。在一個(gè)實(shí)施例中，電子設(shè)備220例如可以由圖1所示的電子設(shè)備100來實(shí)現(xiàn)。

通過便攜式設(shè)備220的揚(yáng)聲器224播放的音頻的傳遞函數(shù)可以包括：電子設(shè)備的音頻處理，表示為a(f)；揚(yáng)聲器頻率響應(yīng)，表示為l(f)；以及從揚(yáng)聲器224到收聽者210(例如，收聽者210的頭部位置)的傳遞函數(shù)，表示為h(f,ω,θ)。ω表示定義距離因素(例如目標(biāo)區(qū)域以及它們到揚(yáng)聲器224的距離)的一組參數(shù)，并且θ表示定義電子設(shè)備220相對于頭部的方向和收聽者的方向的一組參數(shù)。假設(shè)通過揚(yáng)聲器224的音頻播放的目標(biāo)傳遞函數(shù)或理想傳遞函數(shù)是t(f)，則希望得到：

a(f)l(f)h(f,ω,θ)＝t(f)。(1)

由于電子設(shè)備220可以用于非常動態(tài)的環(huán)境并且可以旋轉(zhuǎn)，所以ω和θ可以大幅度變化。作為結(jié)果，h(f,ω,θ)可以變化。為了滿足式(1)，補(bǔ)償因子(表示為p(f,ω,θ))可以被引入以使得：

a(f)p(f,ω,θ)l(f)h(f,ω,θ)＝t(f)。(2)

根據(jù)示例實(shí)施例，p(f,ω,θ)表示依賴于方向和距離的音頻處理，其經(jīng)常可以被認(rèn)為是嘗試抵消h(f,ω,θ)的偏離的后處理。

為了補(bǔ)償方向和距離改變，需要識別p(f,ω,θ)來抵消h(f,ω,θ)的偏離。在此方面，本發(fā)明的示例實(shí)施例提出了基于從電子設(shè)備220的音頻傳感器(例如麥克風(fēng)226)獲取的音頻信號實(shí)時(shí)計(jì)算補(bǔ)償因子p(f,ω,θ)。通過應(yīng)用補(bǔ)償因子，電子設(shè)備220的音頻信號可以在被提供給收聽者210之前被補(bǔ)償。以此方式，可以實(shí)現(xiàn)均衡處理，并且可以實(shí)現(xiàn)聽覺方面的用戶體驗(yàn)改善。相關(guān)細(xì)節(jié)將在以下結(jié)合圖3和圖4中的示例實(shí)施例進(jìn)行描述。

現(xiàn)在參考圖3，其示出根據(jù)示例實(shí)施例的用于面向用戶體驗(yàn)的音頻信號處理的方法300的流程圖。方法300例如可以至少部分地由電子設(shè)備220實(shí)現(xiàn)。

在步驟s310，獲取來自電子設(shè)備的音頻傳感器的第一音頻信號。

根據(jù)本文公開的示例實(shí)施例，音頻傳感器可以以多種方式實(shí)現(xiàn)。例如，音頻傳感器可以實(shí)現(xiàn)為麥克風(fēng)、麥克風(fēng)陣列和/或任何其他適當(dāng)?shù)囊纛l傳感器，只要其能夠感測或收集從電子設(shè)備輸出的音頻信號。

如圖2所示，音頻傳感器可以實(shí)現(xiàn)為麥克風(fēng)226。從揚(yáng)聲器224到麥克風(fēng)226的聲學(xué)路徑的傳遞函數(shù)可以被定義為n(f,ω,θ)，并且揚(yáng)聲器224到麥克風(fēng)226與揚(yáng)聲器224到收聽者210之差(對應(yīng)于從麥克風(fēng)226到收聽者210的傳遞函數(shù))可以被定義為k(f,ω,θ)，其中

k(f,ω,θ)＝n(f,ω,θ)/h(f,ω,θ).(3)

在一些示例實(shí)施例中，收聽者210可能正常向前看并且將電子設(shè)備220以合適的距離放置在他/她的右前方。在這一事件中，收聽者210與電子設(shè)備220的麥克風(fēng)226之間的關(guān)系可以是基本恒定的。因此，k(f,ω,θ)可以獨(dú)立于ω和θ。換言之，由方向和/或距離的改變所引起的所有變化可以等同地嵌入在n(f,ω,θ)和h(f,ω,θ)中。

當(dāng)如圖2所示那樣音頻傳感器實(shí)現(xiàn)為麥克風(fēng)226時(shí)，在步驟s310，可以獲取麥克風(fēng)記錄，例如在該麥克風(fēng)處收集的環(huán)境聲，作為第一音頻信號。

在一些其他示例實(shí)施例中，收聽者210(例如其頭部)與麥克風(fēng)226之間的相對方向和距離并不是恒定的，例如，原因是收聽者210將他/她的頭部轉(zhuǎn)到一個(gè)位置、麥克風(fēng)226被收聽者210無意擋住，等等。對于這些情形，h(f,ω,θ)的改變可能不會完全嵌入在n(f,ω,θ)中。在這一情況下，音頻傳感器可以實(shí)現(xiàn)為麥克風(fēng)陣列(未示出)。

電子設(shè)備220的麥克風(fēng)陣列可以包括多個(gè)麥克風(fēng)。多個(gè)麥克風(fēng)具有以更佳的分辨率描述方向ω的優(yōu)點(diǎn)。距離效果圍繞揚(yáng)聲器可以是非對稱的。利用來自多個(gè)麥克風(fēng)的信息，可以支持非對稱距離模式。

此外，對于實(shí)時(shí)實(shí)現(xiàn)，多個(gè)麥克風(fēng)可以提供更加魯棒的補(bǔ)償因子。在電子設(shè)備的實(shí)際使用中，有可能無意識地通過手來覆蓋或者遮擋麥克風(fēng)。覆蓋所有麥克風(fēng)的機(jī)會非常低。因此，更多魯棒結(jié)果可以基于健康的麥克風(fēng)來實(shí)現(xiàn)。

進(jìn)一步地，在一些示例實(shí)施例中，一個(gè)或多個(gè)附加設(shè)備，諸如照相機(jī)、陀螺儀、距離傳感器、重力傳感器、加速計(jì)、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器、定位傳感器，等等，可以被采用以輔助基于音頻傳感器的補(bǔ)償。舉例而言，當(dāng)在麥克風(fēng)記錄中發(fā)現(xiàn)較大的差異時(shí)，一種可能性是電子設(shè)備的方向正在改變。另一種可能性是噪聲或其他干擾正在發(fā)生，使得即使電子設(shè)備的方向沒有改變而麥克風(fēng)記錄也發(fā)生了改變。在這種情況下，附加的設(shè)備輸入可以輔助音頻傳感器維持當(dāng)前處理或者執(zhí)行較少的主動處理。例如，多個(gè)麥克風(fēng)可以單獨(dú)使用或者與照相機(jī)一起使用，以計(jì)算收聽者210的頭部位置及其方向。當(dāng)收聽者210講話時(shí)，麥克風(fēng)陣列可以發(fā)現(xiàn)收聽者頭部的方向。另外，由于說話是近場的，所以距離曲線可以被保留。以此方式，可以獲取收聽者的距離和方向信息。

在步驟s310，在音頻傳感器被實(shí)現(xiàn)為麥克風(fēng)陣列的示例實(shí)施例中，可以首先確定麥克風(fēng)陣列中的一個(gè)或多個(gè)麥克風(fēng)的狀態(tài)。麥克風(fēng)陣列中的每個(gè)麥克風(fēng)的狀態(tài)可以基于從正常寬帶敏感性的偏離或者其他類似量來確定。基于所確定的狀態(tài)，可以針對揚(yáng)聲器224的位置執(zhí)行波束成形。舉例而言，麥克風(fēng)陣列中的多個(gè)麥克風(fēng)可以形成指向麥克風(fēng)位置的近場波束成形。然后，可以獲取在進(jìn)行了波束成形的麥克風(fēng)陣列處收集的環(huán)境聲來作為第一音頻信號。以此方式，可以增加音頻播放與環(huán)境噪聲比，這可以提高實(shí)時(shí)調(diào)整的魯棒性。

另外，應(yīng)當(dāng)理解的是，上述示例實(shí)施例僅出于示意性目的，而不意在對在此描述的主題的任何限制。電子設(shè)備的音頻傳感器可以以任何適當(dāng)?shù)男问絹韺?shí)現(xiàn)，只要其能夠獲取從電子設(shè)備輸出的音頻信號。

在步驟s320處，基于第一音頻信號計(jì)算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補(bǔ)償因子。

根據(jù)示例實(shí)施例，可以通過多種方式來計(jì)算補(bǔ)償因子。舉例而言，可以通過匹配目標(biāo)頻率響應(yīng)來計(jì)算補(bǔ)償因子。具體而言，音頻傳感器的標(biāo)稱音頻信號可以基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)來計(jì)算。通過估計(jì)電子設(shè)備周圍的環(huán)境噪聲，可以至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計(jì)算補(bǔ)償因子。相關(guān)細(xì)節(jié)將結(jié)合圖4的示例實(shí)施例來介紹。

在另一示例實(shí)施例中，替代直接匹配目標(biāo)響應(yīng)，可以基于從揚(yáng)聲器224到麥克風(fēng)226的聲學(xué)路徑的傳遞函數(shù)來計(jì)算補(bǔ)償因子，該傳遞函數(shù)可以例如通過實(shí)時(shí)系統(tǒng)識別來估計(jì)。系統(tǒng)識別方法，例如自適應(yīng)濾波，可以用于當(dāng)已知激勵音頻信號時(shí)估計(jì)幅度和相位。通過這一過程而獲得的從揚(yáng)聲器224到麥克風(fēng)226的聲學(xué)路徑的傳遞函數(shù)可以是：

w(f,ω,θ)＝a(f)p(f,ω,θ)l(f)h(f,ω,θ)k(f)s(f)(4)

其中a(f)表示電子設(shè)備中的音頻處理，l(f)表示揚(yáng)聲器頻率響應(yīng)，h(f,ω,θ)表示從揚(yáng)聲器224到收聽者210的聲學(xué)路徑的傳遞函數(shù)，k(f)表示k(f,ω,θ)的簡化并且其表示從麥克風(fēng)226到收聽者210的傳遞函數(shù)，以及s(f)表示麥克風(fēng)226的頻率響應(yīng)。

在一些示例實(shí)施例中，補(bǔ)償因子p(f,ω,θ)可以被調(diào)整為抵消所估計(jì)的傳遞函數(shù)中的變化，以保持w(f,ω,θ)恒定并且獨(dú)立于ω和θ。

系統(tǒng)識別可能很慢，例如由于高環(huán)境噪聲水平、高自相關(guān)音頻信號等等。備選地或附加地，為了加速系統(tǒng)識別，例如，當(dāng)例如通過陀螺儀來檢測到快速旋轉(zhuǎn)電子設(shè)備220或環(huán)境變化時(shí)，可以插入探測信號，例如最大長度序列(maximum-length-sequence)，以快速確定傳遞函數(shù)。探測信號可以以低于遮掩閾值的方式來插入，從而使其為不可聽的。備選地，可以應(yīng)用例如去相關(guān)方法的其他典型自適應(yīng)濾波方法來加速系統(tǒng)識別。

根據(jù)此處公開的示例實(shí)施例，可選地，補(bǔ)償因子的實(shí)時(shí)實(shí)現(xiàn)可以與預(yù)設(shè)(preset)相結(jié)合。預(yù)設(shè)可以包括多種均衡處理。各種均衡處理可以根據(jù)已有的解決方案以多種方式預(yù)先定義或獲得，并可以提前儲存在存儲器中。如本領(lǐng)域技術(shù)人員可理解的，該存儲器可以是便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存儲存取器(ram)、只讀存儲器(rom)、可擦除可編程只讀存儲器(eprom或閃存)、便攜式致密盤只讀存儲器(cd-rom)、光存儲設(shè)備、磁存儲設(shè)備，等等。

在一些示例實(shí)施例中，可以為補(bǔ)償因子確定上限和下限，并且可以在上限和下限之間的范圍內(nèi)計(jì)算補(bǔ)償因子。舉例而言，可以通過多種方式來確定該上限和下限。例如，可以獲取關(guān)于電子設(shè)備的方向和距離的信息，然后可以基于關(guān)于方向和距離的信息選擇針對所述補(bǔ)償因子的多種預(yù)設(shè)。以此方式，可以基于選擇的預(yù)設(shè)來確定上限和下限。

在一些其他示例實(shí)施例中，上限和下限可以基于音頻傳感器的記錄來確定。舉例而言，可以基于在步驟s310獲得的第一音頻信號來選擇針對補(bǔ)償因子的多個(gè)預(yù)設(shè)，然后可以基于該多個(gè)預(yù)設(shè)來確定上限和下限。

以此方式，補(bǔ)償因子的計(jì)算可以被加速，并且可以減少錯誤的發(fā)生。例如，在例如自由場、電子設(shè)備的揚(yáng)聲器朝下等極端情況下，預(yù)設(shè)可以用于約束補(bǔ)償因子以確保其總是在合理的范圍內(nèi)。

根據(jù)此處公開的示例實(shí)施例，補(bǔ)償因子可能需要進(jìn)行時(shí)域和頻域平滑。在一些示例實(shí)施例中，在步驟s320，可以對補(bǔ)償因子可進(jìn)行時(shí)域平滑或者頻域平滑。時(shí)域平滑可以防止音色和音量的突變。頻域平滑可以避免高q處理，該高q處理通常由于揚(yáng)聲器能力有限而會導(dǎo)致聽覺偽像。頻域平滑和時(shí)域平滑二者都有助于消除時(shí)間混疊的問題。

應(yīng)當(dāng)理解的是，頻域平滑或時(shí)域平滑也可提供作為示例實(shí)施例。在一些示例實(shí)施例中，可以在步驟s330應(yīng)用沒有經(jīng)過平滑的補(bǔ)償因子。

繼續(xù)參考圖3，方法300進(jìn)行到步驟s330，將補(bǔ)償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。

將從電子設(shè)備220(例如，從揚(yáng)聲器224)輸出的音頻信號可以被稱為第二音頻信號。通過將補(bǔ)償因子應(yīng)用到該第二音頻信號，可以實(shí)現(xiàn)聽覺方面的用戶體驗(yàn)改善。

圖4示出根據(jù)本發(fā)明的示例實(shí)施例的用于面向用戶體驗(yàn)的音頻信號處理的方法400的流程圖。方法400可以被認(rèn)為是以上參考圖3所描述的方法300的實(shí)施例。然而，應(yīng)當(dāng)注意的是這僅僅是出于示意示例實(shí)施例的原理的目的，而不是對本發(fā)明的范圍進(jìn)行限制。方法400例如可以由電子設(shè)備220至少部分地實(shí)現(xiàn)。

方法400在步驟s410開始，其中獲取來自電子設(shè)備的音頻傳感器的第一音頻信號。方法400中的步驟s410可以被認(rèn)為是與以上描述的方法300中的步驟s310類似。根據(jù)示例實(shí)施例，可以將音頻傳感器實(shí)現(xiàn)為麥克風(fēng)、麥克風(fēng)陣列和/或能夠感測或者收集從電子設(shè)備輸出的音頻信號的任何其他合適的音頻傳感器?？梢垣@取音頻傳感器所收集或感測的環(huán)境聲作為第一音頻信號。

在步驟s420，基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)估算音頻傳感器的標(biāo)稱音頻信號。

根據(jù)本發(fā)明的示例實(shí)施例，聲學(xué)路徑的標(biāo)稱傳遞函數(shù)可以被表示為h(f,ω0,θ0)，其代表在自由場條件下或者在沒有來自周圍物體的嚴(yán)重反射的空間中的傳遞函數(shù)。音頻傳感器的標(biāo)稱音頻信號可以是標(biāo)稱麥克風(fēng)記錄，其被表示為m0(f)并且被定義為：

m0(f)＝a(f)p(f,ω0,θ0)l(f)h(f,ω0,θ0)k(f)s(f)x(f),(5)

其中a(f)表示電子設(shè)備220中的音頻處理；l(f)表示揚(yáng)聲器頻率響應(yīng)；k(f)表示k(f,ω,θ)的簡化并且其表示從麥克風(fēng)226到收聽者210的傳遞函數(shù)；s(f)表示麥克風(fēng)的頻率響應(yīng)；并且x(f)表示原始(或未處理)的音頻信號?？梢灶A(yù)先確定p(f,ω0,θ0)，以使得

a(f)p(f,ω0,θ0)l(f)h(f,ω0,θ0)＝t(f),(6)

其中t(f)表示通過揚(yáng)聲器224的音頻播放的目標(biāo)傳遞函數(shù)。

在步驟s430，估計(jì)電子設(shè)備周圍的環(huán)境噪聲。

根據(jù)此處公開的示例實(shí)施例，電子設(shè)備周圍的環(huán)境噪聲可以通過多種方式估計(jì)，例如通過估計(jì)信噪比(snr)來估計(jì)，這可以在現(xiàn)有技術(shù)中找到并且在此不再贅述。

在步驟s440，至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計(jì)算補(bǔ)償因子。

根據(jù)示例實(shí)施例，第一音頻信號是在例如麥克風(fēng)126/226的音頻傳感器處收集的音頻信號。在一些示例實(shí)施例中，第一音頻信號可以是麥克風(fēng)226的實(shí)時(shí)記錄mc(f)，并且可以如下獲得：

mc(f)＝a(f)p(f,ωc,θc)l(f)h(f,ω,θ)k(f)s(f)x(f)+n(f)(7)

其中n(f)表示環(huán)境噪聲，p(f,ωc,θc)表示與當(dāng)前方向和距離處理相關(guān)聯(lián)的補(bǔ)償因子。為了實(shí)現(xiàn)目標(biāo)響應(yīng)，p(f,ωc,θc)可以被調(diào)整成新的補(bǔ)償因子p(f,ωn,θn)，從而新的麥克風(fēng)記錄滿足

mn(f)-n(f)＝m0(f),(8)

其中

mn(f)＝a(f)p(f,ωn,θn)l(f)h(f,ω,θ)k(f)s(f)x(f)+n(f)(9)

根據(jù)式(5)、(7)、(8)和(9),補(bǔ)償因子p(f,ωn,θn)可以如下計(jì)算：

p(f,ωn,θn)＝p(f,ωc,θc)(m0(f)/(mc(f)-n(f)))(10)

根據(jù)示例實(shí)施例，在步驟s440，可以例如通過確定其是否超過預(yù)定閾值來確定在步驟s430處估計(jì)的環(huán)境噪聲是否可忽略。如果環(huán)境噪聲沒有超過所述預(yù)定閾值，環(huán)境噪聲可以被忽略，并且可以至少部分地基于第一音頻信號mc(f)和標(biāo)稱音頻信號m0(f)來計(jì)算補(bǔ)償因子。例如，可以計(jì)算mc(f)和m0(f)之間的幅度差，并且可以通過將計(jì)算出的幅度差應(yīng)用于當(dāng)前的方向和距離處理p(f,ωc,θc)來獲取新的補(bǔ)償因子p(f,ωn,θn)。

另一方面，如果環(huán)境噪聲不可忽略，例如，環(huán)境噪聲超過所述預(yù)定閾值，可以至少部分地基于第一音頻信號和標(biāo)稱音頻信號的時(shí)間平均來計(jì)算補(bǔ)償因子。在一些實(shí)施例中，第一音頻信號和標(biāo)稱音頻信號的時(shí)間平均可以如下獲?。?/p>

e[mc(f)/m0(f)]＝p(f,ωc,θc)h(f,ωc,θc)/(p(f,ω0,θ0)h(f,ω0,θ0))

+e[n(f)/(a(f)p(f,ω0,θ0)l(f)h(f,ω0,θ0)k(f)s(f)x(f))]＝

p(f,ωc,θc)h(f,ωc,θc)/(p(f,ω0,θ0)h(f,ω0,θ0))(11)

其中e[]表示期望運(yùn)算符，并且可以通過時(shí)間平均來近似。最后一個(gè)等式來自于如下事實(shí)，環(huán)境噪聲n(f)和音頻信號x(f)不相關(guān)。為了匹配目標(biāo)響應(yīng)，應(yīng)該滿足下式：

p(f,ωn,θn)h(f,ω,θ)＝p(f,ω0,θ0)h(f,ω0,θ0)(12)

根據(jù)式(11)和(12)，可以如下獲取新的補(bǔ)償因子p(f,ωn,θn)：

p(f,ωn,θn)＝p(f,ωc,θc)e[m0(f)/(mc(f)](13)

根據(jù)另一示例實(shí)施例，如果環(huán)境噪聲不可忽略，替代直接匹配目標(biāo)響應(yīng)，也可以基于從揚(yáng)聲器124到麥克風(fēng)226的聲學(xué)路徑的傳遞函數(shù)來計(jì)算補(bǔ)償因子，其中傳遞函數(shù)可以通過例如實(shí)時(shí)系統(tǒng)識別來估計(jì)。相關(guān)細(xì)節(jié)可以在關(guān)于步驟s320的描述中找到。

繼續(xù)參考圖4，方法400進(jìn)行到在步驟s450，將補(bǔ)償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。通過將補(bǔ)償因子應(yīng)用到第二音頻信號，可以實(shí)現(xiàn)均衡過程。以此方式，可以實(shí)現(xiàn)聽覺方面的用戶體驗(yàn)改善。

現(xiàn)在參考圖5，其示出根據(jù)此處公開的示例實(shí)施例的用于改進(jìn)音頻質(zhì)量的系統(tǒng)500的簡化框圖。系統(tǒng)500至少可以在例如電子設(shè)備220處部分地實(shí)現(xiàn)。如圖所示，系統(tǒng)500包括：音頻信號獲取單元510，被配置為獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；計(jì)算單元520，被配置為基于第一音頻信號計(jì)算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補(bǔ)償因子；以及應(yīng)用單元530，被配置為將補(bǔ)償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。

在一些示例實(shí)施例中，音頻傳感器可以包括麥克風(fēng)，并且音頻信號獲取單元510可以包括：環(huán)境聲獲取單元，被配置為獲取在麥克風(fēng)處收集的環(huán)境聲作為第一音頻信號。

在一些示例實(shí)施例中，音頻傳感器可以包括麥克風(fēng)陣列，并且音頻信號獲取單元510可以包括：狀態(tài)確定單元，被配置為確定麥克風(fēng)陣列的一個(gè)或多個(gè)麥克風(fēng)的狀態(tài)；波束成形單元，被配置為基于確定的狀態(tài)執(zhí)行針對電子設(shè)備的揚(yáng)聲器的位置的波束成形；以及環(huán)境聲獲取單元，被配置為獲取在波束成形后的麥克風(fēng)陣列處收集的環(huán)境聲作為第一音頻信號。

在一些示例實(shí)施例中，音頻信號獲取單元510可以包括：輔助單元，被配置為使用以下設(shè)備中的至少一個(gè)來輔助獲取第一音頻信號：照相機(jī)、陀螺儀、距離傳感器、重力傳感器、加速計(jì)、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器以及定位傳感器。

在一些示例實(shí)施例中，計(jì)算單元520可以包括：估算單元，被配置為基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)來估算音頻傳感器的標(biāo)稱音頻信號；噪聲估計(jì)單元，被配置為估計(jì)電子設(shè)備周圍的環(huán)境噪聲。計(jì)算單元520可以被進(jìn)一步配置為至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計(jì)算補(bǔ)償因子。

在一些示例實(shí)施例中，計(jì)算單元520可以包括：確定單元，被配置為確定環(huán)境噪聲是否超過預(yù)定閾值。計(jì)算單元520可以被進(jìn)一步配置為，響應(yīng)于確定環(huán)境噪聲沒有超過預(yù)定閾值，至少部分地基于第一音頻信號和標(biāo)稱音頻信號來計(jì)算補(bǔ)償因子。計(jì)算單元520可以被進(jìn)一步配置為，響應(yīng)于確定環(huán)境噪聲超過預(yù)定閾值，至少部分地基于第一音頻信號和標(biāo)稱音頻信號的時(shí)間平均來計(jì)算補(bǔ)償因子。

在一些示例實(shí)施例中，計(jì)算單元520可以包括：路徑估計(jì)單元，被配置為估計(jì)從電子設(shè)備的揚(yáng)聲器到音頻傳感器的聲學(xué)路徑的傳遞函數(shù)。計(jì)算單元520可以被進(jìn)一步配置為，至少部分地基于估計(jì)的傳遞函數(shù)來計(jì)算補(bǔ)償因子。

在一些示例實(shí)施例中，計(jì)算單元520可以包括：限度確定單元，被配置為確定針對補(bǔ)償因子的上限和下限。計(jì)算單元520可以被進(jìn)一步配置為，在上限和下限之間的范圍內(nèi)計(jì)算補(bǔ)償因子。

在一些示例實(shí)施例中，限度確定單元可以包括：信息獲取單元，被配置為獲取關(guān)于電子設(shè)備的方向和距離的信息；以及選擇單元，被配置為基于關(guān)于方向和距離的信息選擇針對補(bǔ)償因子的多種預(yù)設(shè)。限度確定單元可以被進(jìn)一步配置為基于多種預(yù)設(shè)來確定上限和下限。

在一些示例實(shí)施例中，限度確定單元可以包括：選擇單元，被配置為基于第一音頻信號來選擇針對補(bǔ)償因子的多種預(yù)設(shè)。限度確定單元可以被進(jìn)一步配置為基于多種預(yù)設(shè)來確定上限和下限。

在一些示例實(shí)施例中，計(jì)算單元520可以包括以下中的至少一項(xiàng)：時(shí)域平滑單元，被配置為對補(bǔ)償因子進(jìn)行時(shí)域平滑；以及頻域平滑單元，被配置為對補(bǔ)償因子進(jìn)行頻域平滑。

系統(tǒng)500中所包括的單元可以利用各種方式來實(shí)現(xiàn)，包括軟件、硬件、固件或其任意組合。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)單元可以使用軟件和/或固件來實(shí)現(xiàn)，例如存儲在存儲介質(zhì)上的機(jī)器可執(zhí)行指令。除了機(jī)器可執(zhí)行指令之外或者作為替代，系統(tǒng)500中的部分或者全部單元可以至少部分地由一個(gè)或多個(gè)硬件邏輯組件來實(shí)現(xiàn)。作為示例而非限制，可以使用的示范類型的硬件邏輯組件包括現(xiàn)場可編程門陣列(fpga)、專用集成電路(asic)、專用標(biāo)準(zhǔn)品(assp)、片上系統(tǒng)(soc)、復(fù)雜可編程邏輯器件(cpld)，等等。

一般而言，此處描述的主題的各種實(shí)施例可以在硬件或?qū)Ｓ秒娐?、軟件、邏輯，或其任何組合中實(shí)施。某些方面可以在硬件中實(shí)施，而其他方面可以在可以由控制器、微處理器或其他計(jì)算設(shè)備執(zhí)行的固件或軟件中實(shí)施。當(dāng)此處描述的主題的實(shí)施例的各方面被圖示或描述為框圖、流程圖或使用某些其他圖形表示時(shí)，將理解此處描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以作為非限制性的示例在硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計(jì)算設(shè)備，或其某些組合中實(shí)施。

作為示例，此處描述的主題的實(shí)施例可以在機(jī)器可執(zhí)行指令的上下文中被描述，機(jī)器可執(zhí)行指令諸如包括在目標(biāo)的真實(shí)或者虛擬處理器上的器件中執(zhí)行的程序模塊中。一般而言，程序模塊包括例程、程序、庫、對象、類、組件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定的任務(wù)或者實(shí)現(xiàn)特定的抽象數(shù)據(jù)結(jié)構(gòu)。在各實(shí)施例中，程序模塊的功能可以在所描述的程序模塊之間合并或者分割。用于程序模塊的機(jī)器可執(zhí)行指令可以在本地或者分布式設(shè)備內(nèi)執(zhí)行。在分布式設(shè)備中，程序模塊可以位于本地和遠(yuǎn)程存儲介質(zhì)二者中。

用于實(shí)現(xiàn)此處描述的主題的方法的程序代碼可以用一種或多種編程語言編寫。這些程序代碼可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程的數(shù)據(jù)處理裝置的處理器或控制器，使得程序代碼在被處理器或控制器執(zhí)行的時(shí)候，引起在流程圖和/或框圖中規(guī)定的功能/操作被實(shí)施。程序代碼可以完全在計(jì)算機(jī)上、部分在計(jì)算機(jī)上、作為獨(dú)立的軟件包、部分在計(jì)算機(jī)上且部分在遠(yuǎn)程計(jì)算機(jī)上或完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。

在本公開的上下文中，機(jī)器可讀介質(zhì)可以是包含或存儲用于或有關(guān)于指令執(zhí)行系統(tǒng)、裝置或設(shè)備的程序的任何有形介質(zhì)。機(jī)器可讀介質(zhì)可以是機(jī)器可讀信號介質(zhì)或機(jī)器可讀存儲介質(zhì)。機(jī)器可讀介質(zhì)可以包括但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)、裝置或設(shè)備，或其任意合適的組合。機(jī)器可讀存儲介質(zhì)的更詳細(xì)示例包括帶有一根或多根導(dǎo)線的電氣連接、便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存儲存取器(ram)、只讀存儲器(rom)、可擦除可編程只讀存儲器(eprom或閃存)、光纖、便攜式致密盤只讀存儲器(cd-rom)、光存儲設(shè)備、磁存儲設(shè)備，或其任意合適的組合。

另外，盡管操作以特定順序被描繪，但這并不應(yīng)該理解為要求此類操作以示出的特定順序或以相繼順序完成，或者執(zhí)行所有圖示的操作以獲取期望結(jié)果。在某些情況下，多任務(wù)和并行處理會是有益的。同樣地，盡管上述討論包含了某些特定的實(shí)施細(xì)節(jié)，但這并不應(yīng)解釋為限制此處描述的主題的范圍，而應(yīng)解釋為對可以為特定實(shí)施例所特有的特征的描述。本說明書中在分開的實(shí)施例的上下文中描述的某些特征也可以整合實(shí)施在單個(gè)實(shí)施例中。反之，在單個(gè)實(shí)施例的上下文中描述的各種特征也可以分離地在多個(gè)實(shí)施例或在任意合適的子組合中實(shí)施。

應(yīng)當(dāng)理解，本發(fā)明的實(shí)施例不限于上述的特定實(shí)施例并且修改和其他實(shí)施例旨在包括在所附權(quán)利要求的范圍內(nèi)。盡管此處使用了特定的詞語，但他們是在一般描述意義上使用的而不是為了限制。