背景技術(shù)：

在許多情況下，需要生成聲場(chǎng)，該聲場(chǎng)包括與信號(hào)源(其可以是虛擬源)在聲場(chǎng)內(nèi)的位置有關(guān)的信息。這種信息導(dǎo)致聽者認(rèn)為信號(hào)是源于虛擬源的位置，即，認(rèn)為信號(hào)源于在三維空間中相對(duì)于聽者的位置的位置。例如，為了向觀眾提供更為身臨其境、現(xiàn)實(shí)的體驗(yàn)，可以用環(huán)繞聲輸出伴隨電影的音頻。進(jìn)一步的示例發(fā)生在計(jì)算機(jī)游戲的場(chǎng)景(context)中，其中，輸出至用戶的音頻信號(hào)包括空間信息，從而使用戶認(rèn)為音頻并非來(lái)自揚(yáng)聲器，而是來(lái)自在三維空間中的(虛擬)位置。

例如可以通過(guò)使用耳機(jī)揚(yáng)聲器來(lái)將包含空間信息的聲場(chǎng)傳遞至用戶，通過(guò)該耳機(jī)揚(yáng)聲器來(lái)接收雙耳信號(hào)。雙耳信號(hào)包括足夠的信息來(lái)重新創(chuàng)建包圍一個(gè)或者多個(gè)虛擬信號(hào)源的虛擬聲場(chǎng)。在這種情況下，例如為了保持音頻和視頻的關(guān)系(例如，同步性、一致性等)，需要考慮用戶的頭部移動(dòng)以維持穩(wěn)定的聲場(chǎng)。響應(yīng)于用戶埋頭，無(wú)法維持穩(wěn)定的聲場(chǎng)或者音頻場(chǎng)可能例如導(dǎo)致用戶認(rèn)為虛擬源(諸如，汽車)飛入了空中。但是，更常見的情況是，無(wú)法考慮用戶的頭部移動(dòng)會(huì)使源位置變成在用戶的頭部?jī)?nèi)。

技術(shù)實(shí)現(xiàn)要素：

為了提供對(duì)本公開的一些方面的基本理解，本發(fā)明內(nèi)容以簡(jiǎn)化形式介紹了對(duì)概念的選擇。本發(fā)明內(nèi)容不是本公開的廣泛概述，而且并不旨在識(shí)別本公開的關(guān)鍵元素或者至關(guān)重要的元素或者描繪本公開的范圍。本發(fā)明內(nèi)容僅僅呈現(xiàn)本公開的概念中的一些概念，作為下述具體實(shí)施方式的前言。

本公開大體上涉及用于信號(hào)處理的方法和系統(tǒng)。更具體地，本公開的方面涉及處理包含空間信息的音頻信號(hào)。

本公開的一個(gè)實(shí)施例涉及一種用于向用戶提供三維空間音頻的方法，該方法包括：將來(lái)自在虛擬揚(yáng)聲器環(huán)境中的音頻源的音頻信號(hào)輸入編碼為聲場(chǎng)格式，從而生成聲場(chǎng)數(shù)據(jù)；基于采集的與用戶的移動(dòng)相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)來(lái)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)；利用一個(gè)或者多個(gè)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)；將聲場(chǎng)數(shù)據(jù)解碼成一對(duì)雙耳空間聲道；以及將該一對(duì)雙耳空間聲道提供至用戶的耳機(jī)裝置。

在另一實(shí)施例中，用于提供三維空間音頻的方法進(jìn)一步包括：基于用戶所在的虛擬環(huán)境的參數(shù)，利用動(dòng)態(tài)房間效果來(lái)處理聲源。

在另一實(shí)施例中，在用于提供三維空間音頻的方法中的利用一個(gè)或者多個(gè)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)進(jìn)一步包括：考慮來(lái)自周圍虛擬揚(yáng)聲器環(huán)境的人體聽覺(jué)提示。

在又一實(shí)施例中，用于提供三維空間音頻的方法進(jìn)一步包括：將在空間上記錄的房間脈沖響應(yīng)參數(shù)化為方向分量和漫射分量。

在又一實(shí)施例中，用于提供三維空間音頻的方法進(jìn)一步包括：處理方向分量和漫射分量以生成數(shù)對(duì)解相關(guān)的漫射混響蹤跡濾波器(pairs of decorrelated,diffuse reverb tail filters)。

在另一實(shí)施例中，用于提供三維空間音頻的方法進(jìn)一步包括：通過(guò)利用聲學(xué)響應(yīng)的隨機(jī)性來(lái)對(duì)解相關(guān)的漫射混響蹤跡濾波器進(jìn)行建模，其中，聲學(xué)響應(yīng)包括房間脈沖響應(yīng)。

本公開的另一實(shí)施例涉及一種用于向用戶提供三維空間音頻的系統(tǒng)，該系統(tǒng)包括至少一個(gè)處理器和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)耦合至該至少一個(gè)處理器，在該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)有指令，該指令在由該至少一個(gè)處理器執(zhí)行時(shí)使該至少一個(gè)處理器：將來(lái)自在虛擬揚(yáng)聲器環(huán)境中的音頻源的音頻信號(hào)輸入編碼為聲場(chǎng)格式，從而生成聲場(chǎng)數(shù)據(jù)；基于采集的與用戶的移動(dòng)相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)來(lái)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)；利用一個(gè)或者多個(gè)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)；將聲場(chǎng)數(shù)據(jù)解碼成一對(duì)雙耳空間聲道；以及將該一對(duì)雙耳空間聲道提供至用戶的耳機(jī)裝置。

在另一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：基于用戶所在的虛擬環(huán)境的參數(shù)，利用動(dòng)態(tài)房間效果來(lái)處理聲源。

在另一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：在維持來(lái)自周圍虛擬揚(yáng)聲器環(huán)境的聲學(xué)提示的同時(shí)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)。

在又一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：從用戶的耳機(jī)裝置采集與用戶的移動(dòng)相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)。

在又一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：在考慮來(lái)自周圍虛擬揚(yáng)聲器環(huán)境的人體聽覺(jué)提示的同時(shí)利用一個(gè)或者多個(gè)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)。

在另一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：將在空間上記錄的房間脈沖響應(yīng)參數(shù)化為方向分量和漫射分量。

在又一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：處理方向分量和漫射分量以生成數(shù)對(duì)解相關(guān)的漫射混響蹤跡濾波器。

在又一實(shí)施例中，進(jìn)一步使在用于提供三維空間音頻的系統(tǒng)中的至少一個(gè)處理器：通過(guò)利用聲學(xué)響應(yīng)的隨機(jī)性來(lái)對(duì)解相關(guān)的漫射混響蹤跡濾波器進(jìn)行建模，其中，聲學(xué)響應(yīng)包括房間脈沖響應(yīng)。

在一個(gè)或者多個(gè)實(shí)施例中，本文所描述的方法和系統(tǒng)可以可選地包括以下附加特征中的一個(gè)或者多個(gè)：在維持來(lái)自周圍虛擬揚(yáng)聲器環(huán)境的聲學(xué)提示的同時(shí)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)；從用戶的耳機(jī)裝置采集與用戶的移動(dòng)相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)；將在虛擬揚(yáng)聲器環(huán)境中的每個(gè)音頻源作為單輸入聲道連同音頻源的球面坐標(biāo)位置矢量一起輸入；和/或球面坐標(biāo)位置矢量識(shí)別在虛擬揚(yáng)聲器環(huán)境中音頻源相對(duì)于用戶的位置。

本文所公開的處理器和存儲(chǔ)系統(tǒng)中的一些或者全部的實(shí)施例也可以配置為執(zhí)行上面所公開的方法實(shí)施例中的一些或者全部。上面所公開的方法中的一些或者全部的實(shí)施例也可以表示為體現(xiàn)在諸如光學(xué)存儲(chǔ)器或者磁存儲(chǔ)器等暫時(shí)性或者非暫時(shí)性處理器可讀存儲(chǔ)介質(zhì)上的指令，或者表示為經(jīng)由諸如互聯(lián)網(wǎng)或者電話連接等通信網(wǎng)絡(luò)提供至處理器或者數(shù)據(jù)處理裝置的傳播信號(hào)。

本公開的方法和系統(tǒng)的應(yīng)用性的進(jìn)一步的范圍通過(guò)下面給出的具體實(shí)施方式將變得顯而易見。然而，應(yīng)該理解，具體實(shí)施方式和具體示例在指示方法和系統(tǒng)的實(shí)施例時(shí)僅僅以舉例的方式被給出，因?yàn)閷?duì)本領(lǐng)域的技術(shù)人員而言，在本文所公開的概念的精神和范圍內(nèi)的各種變化和修改通過(guò)本具體實(shí)施方式將變得顯而易見。

附圖說(shuō)明

結(jié)合隨附權(quán)利要求書和附圖，通過(guò)對(duì)以下具體實(shí)施方式的研究，對(duì)于本領(lǐng)域的技術(shù)人員而言，本公開的這些和其它目標(biāo)、特征和特性將變得顯而易見。在附圖中：

圖1是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的在用于向用戶提供三維沉浸式空間音頻的示例系統(tǒng)中的虛擬源的示意圖，該虛擬源包括單音頻輸入和描述了該源相對(duì)于用戶位置的位置矢量。

圖2是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶提供三維沉浸式空間音頻的示例方法和系統(tǒng)的框圖。

圖3是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于將系統(tǒng)操作為向用戶提供三維沉浸式空間音頻的示例類數(shù)據(jù)和組件的框圖。

圖4是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的在雙耳響應(yīng)分解期間創(chuàng)建的示例濾波器的示意圖。

圖5是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的示例響應(yīng)測(cè)量連同對(duì)漫射性的分析的圖示。

圖6是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶提供三維沉浸式空間音頻的示例方法的流程圖。

圖7是示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的設(shè)置為向用戶提供三維沉浸式空間音頻的示例計(jì)算裝置的框圖。

本文所提供的標(biāo)題僅僅是為方便而設(shè)，并且并不一定會(huì)影響本公開所要求的范圍或者含義。

在附圖中，為了易于理解并且為了方便起見，相同的參考數(shù)字和任何首字母縮略詞識(shí)別具有相同的或者相似的結(jié)構(gòu)或者功能的元件或者動(dòng)作。在以下具體實(shí)施方式期間將詳細(xì)描述附圖。

具體實(shí)施方式

現(xiàn)在將描述本公開的方法和系統(tǒng)的各種示例和實(shí)施例。以下描述為透徹地理解這些示例并且實(shí)現(xiàn)這些示例提供了具體細(xì)節(jié)。然而，相關(guān)領(lǐng)域的技術(shù)人員要理解，在沒(méi)有這些細(xì)節(jié)中的許多細(xì)節(jié)的情況下，也可以實(shí)踐本文所描述的實(shí)施例中的一個(gè)或者多個(gè)實(shí)施例。同樣，相關(guān)領(lǐng)域的技術(shù)人員也要理解，本公開的一個(gè)或者多個(gè)實(shí)施例可以包括本文并未詳細(xì)描述的其它特征。另外，下面可能沒(méi)有詳細(xì)地示出或者描述一些已知的結(jié)構(gòu)或者功能，從而避免不必要地模糊相關(guān)描述。

除了避免可能的負(fù)面用戶體驗(yàn)(諸如，上述用戶體驗(yàn))之外，維持穩(wěn)定的聲場(chǎng)引起音頻場(chǎng)的更有效的外部化，或者，換言之，更有效地產(chǎn)生音頻源在聽者的頭部外部并且聲場(chǎng)包括位于可控位置處的源的感覺(jué)。同樣，顯然需要對(duì)生成的聲場(chǎng)進(jìn)行修改以補(bǔ)償用戶移動(dòng)，諸如，例如，用戶的頭部圍繞x軸、y軸和/或z軸的旋轉(zhuǎn)或者移動(dòng)(當(dāng)使用笛卡爾(Cartesian)系統(tǒng)來(lái)表示空間時(shí))。

這個(gè)問(wèn)題可以通過(guò)以下來(lái)解決：使用頭部追蹤裝置來(lái)檢測(cè)頭部定向的變化，并且每當(dāng)檢測(cè)到變化時(shí)，計(jì)算(多個(gè))虛擬源相對(duì)于用戶的新位置，并且為新的虛擬源位置重新計(jì)算三維聲場(chǎng)。然而，這種方法在計(jì)算上很昂貴。由于大多數(shù)應(yīng)用(諸如，計(jì)算機(jī)游戲場(chǎng)景)包括多個(gè)虛擬源，高計(jì)算成本使得這種方法不可行。此外，這種方法必須使用由每個(gè)虛擬源產(chǎn)生的原始信號(hào)以及每個(gè)虛擬源的當(dāng)前空間位置，這也可能會(huì)導(dǎo)致附加計(jì)算負(fù)擔(dān)。

對(duì)根據(jù)用戶移動(dòng)使聲場(chǎng)旋轉(zhuǎn)或者搖攝的問(wèn)題的現(xiàn)有解決方案包括使用振幅搖攝聲源。然而，由于這種現(xiàn)有方法忽視了重要的信號(hào)特性(諸如，直達(dá)混響聲能比、細(xì)微頭部移動(dòng)、和具有不正確的波前曲率的聲學(xué)視差)，所以這種現(xiàn)有方法導(dǎo)致聲場(chǎng)包含受損的距離提示。此外，由于這些現(xiàn)有解決方案必須處理次優(yōu)揚(yáng)聲器放置，所以這些現(xiàn)有解決方案也產(chǎn)生了受損的方向定位精確度。

維持穩(wěn)定的聲場(chǎng)加強(qiáng)了音頻源在聽者的頭部外部的感覺(jué)。該過(guò)程的有效性極具技術(shù)挑戰(zhàn)性。已經(jīng)識(shí)別到的一個(gè)重要因子在于，即使很小的、無(wú)意識(shí)的頭部移動(dòng)也有助于解決前后混淆。在雙耳收聽的過(guò)程中，當(dāng)使用非個(gè)性化的HRTF(頭部相關(guān)傳輸功能)時(shí)，該問(wèn)題最常發(fā)生。這時(shí)，通常難以區(qū)分虛擬聲源在頭部的前面還是后面。

因此，本公開的實(shí)施例涉及用于向用戶提供(例如，傳遞、產(chǎn)生等)三維沉浸式空間音頻的方法和系統(tǒng)。例如，根據(jù)至少一個(gè)實(shí)施例，可以經(jīng)由用戶所佩戴的耳機(jī)裝置將三維沉浸式空間音頻提供至用戶。如下面更詳細(xì)地描述的，本公開的方法和系統(tǒng)被設(shè)計(jì)為在用戶(聽者)的耳朵處重新創(chuàng)建自然發(fā)聲的聲場(chǎng)，包括針對(duì)高度和深度知覺(jué)的提示。在許多其它潛在用途和應(yīng)用當(dāng)中，本公開的方法和系統(tǒng)可以實(shí)施為虛擬現(xiàn)實(shí)(VR)應(yīng)用。

本公開的方法和系統(tǒng)被設(shè)計(jì)為在用戶的耳朵處重新創(chuàng)建聽覺(jué)環(huán)境。例如，根據(jù)至少一個(gè)實(shí)施例，該方法和系統(tǒng)(其可以基于各種數(shù)字信號(hào)處理技術(shù)，該各種數(shù)字信號(hào)處理技術(shù)通過(guò)使用例如處理器來(lái)實(shí)施，該處理器配置或者編程為根據(jù)來(lái)自程序軟件的指令執(zhí)行特定功能)可以配置為執(zhí)行示例操作的以下非詳盡清單：

(i)將輸入音頻信號(hào)編碼為聲場(chǎng)格式。這允許更大數(shù)量的源的有效呈現(xiàn)。

(ii)在維持所有房間(例如，環(huán)境)聲學(xué)提示的同時(shí)使復(fù)雜的聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)。根據(jù)至少一個(gè)實(shí)施例，可以通過(guò)從相關(guān)聯(lián)的用戶VR頭盔采集到的用戶移動(dòng)數(shù)據(jù)來(lái)控制該動(dòng)態(tài)旋轉(zhuǎn)。

(iii)在考慮強(qiáng)調(diào)外部化的人體聽覺(jué)提示的同時(shí)，利用數(shù)組高級(jí)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)。

(iv)將聲場(chǎng)數(shù)據(jù)解碼成一對(duì)雙耳空間耳機(jī)聲道。然后可以將這些雙耳空間耳機(jī)聲道饋送至用戶的耳機(jī)，就像傳統(tǒng)的左/右音頻聲道一樣。

(v)利用動(dòng)態(tài)房間效果來(lái)處理聲源，該動(dòng)態(tài)房間效果設(shè)計(jì)為模擬源-聽者對(duì)所在的虛擬環(huán)境的參數(shù)。

根據(jù)至少一個(gè)實(shí)施例，本文所描述的音頻系統(tǒng)使用非托管C++代碼(native C++code)來(lái)提供最佳性能并且授權(quán)最廣范圍的目標(biāo)平臺(tái)。應(yīng)該了解，代替或者除了C++之外，也可以使用其它編碼語(yǔ)言。在這種情況下，所提供的方法和系統(tǒng)可以集成到，例如，插件形式的各種三維(3D)視頻游戲開發(fā)環(huán)境中。

圖1示出了在用于向用戶提供三維沉浸式空間音頻的示例系統(tǒng)和周圍虛擬環(huán)境100中的虛擬源120。根據(jù)至少一個(gè)實(shí)施例，虛擬源120可以包括單音頻輸入信號(hào)和描述虛擬源120相對(duì)于用戶115的位置矢量

圖2是根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶提供三維沉浸式空間音頻的示例方法和系統(tǒng)(200)。將在虛擬環(huán)境中的每個(gè)源作為單輸入(205)聲道連同描述在虛擬環(huán)境中該源相對(duì)于聽者的位置的球面坐標(biāo)源位置矢量(215)一起輸入。

上述圖1示出了如何將在示例系統(tǒng)200中的輸入(205和215)，即，單輸入聲道205和球面坐標(biāo)源位置矢量215，與虛擬源(例如，在圖1所示的示例中的虛擬源120)相關(guān)。

在圖2中，M表示在任何一個(gè)時(shí)間被系統(tǒng)和方法渲染的活動(dòng)源的數(shù)量。根據(jù)至少一個(gè)實(shí)施例，框210(距離效果)、220(HOA搖攝)、225(HRIR(頭部相關(guān)脈沖響應(yīng))卷積)、235(RIR(房間脈沖響應(yīng))卷積)、和245(下混音)中的每一個(gè)表示在系統(tǒng)200中的處理步驟，而框230(無(wú)回聲方向IR)和240(混響環(huán)境IR)表示動(dòng)態(tài)脈沖響應(yīng)，該動(dòng)態(tài)脈沖響應(yīng)可以是預(yù)先記錄的并且用作至系統(tǒng)200的進(jìn)一步的輸入。系統(tǒng)200配置為生成雙聲道雙耳輸出(250)。

以下描述提供了關(guān)于在根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶提供三維沉浸式空間音頻的示例系統(tǒng)中的一個(gè)或者多個(gè)組件的細(xì)節(jié)。然而，應(yīng)該理解，該一個(gè)或者多個(gè)其它組件也可以包括在這種系統(tǒng)中：除了所描述的示例組件中的一個(gè)或者多個(gè)之外或者而不是所描述的示例組件中的一個(gè)或者多個(gè)。

編碼器組件

根據(jù)至少一個(gè)實(shí)施例，將M個(gè)輸入單源(205)編碼為聲場(chǎng)格式，從而使該M個(gè)輸入單源可以繞聽者搖攝和空間化。在系統(tǒng)(例如，圖2中所示的系統(tǒng)200)內(nèi)，為發(fā)出聲音的每個(gè)虛擬對(duì)象創(chuàng)建類環(huán)繞聲源(AmbisonicSource)(315)的實(shí)例，如在圖3中所示的示例類圖300中所示的。該對(duì)象然后注意距離效果、環(huán)繞聲聲道中的每一個(gè)的增益系數(shù)、記錄當(dāng)前源位置、和源音頻的“playing(播放)”。

搖攝組件

核心類(本文稱為環(huán)繞聲渲染器(AmbisonicRenderer)(320))可以包含用于渲染每個(gè)環(huán)繞聲源(315)的過(guò)程中的一個(gè)或者多個(gè)。同樣，環(huán)繞聲渲染器(320)類可以配置為執(zhí)行，例如，搖攝(例如，Pan())、卷積(例如，Convolve())、混響(例如，Reverb())、下混音(例如，Downmix())、以及各種其它操作和過(guò)程。在以下部分中提供關(guān)于搖攝、卷積和下混音過(guò)程的附加細(xì)節(jié)。

根據(jù)本公開的至少一個(gè)實(shí)施例，搖攝過(guò)程(例如，在環(huán)繞聲渲染器(320)類中的Pan())配置為將每個(gè)環(huán)繞聲源正確地放置在聽者周圍，從而使這些聽覺(jué)位置與在VR場(chǎng)景中的“視覺(jué)”位置完全匹配。在該確定中使用來(lái)自VR對(duì)象位置和聽者位置/定向的數(shù)據(jù)。在一個(gè)示例中，在正在使用這種裝置的情況下，可以通過(guò)VR頭盔部分地更新聽者位置/定向數(shù)據(jù)。

考慮到頭部旋轉(zhuǎn)，搖攝操作(例如，函數(shù))Pan()對(duì)在空間音頻場(chǎng)景中的聲道中的每一個(gè)進(jìn)行加權(quán)。這些加權(quán)影響補(bǔ)償?shù)膿u攝需要，以將系統(tǒng)的虛擬揚(yáng)聲器維持在靜止位置，盡管聽者的頭部正在轉(zhuǎn)動(dòng)。除了頭部旋轉(zhuǎn)角度之外，也應(yīng)該根據(jù)虛擬揚(yáng)聲器中的每一個(gè)的位置來(lái)抵消選擇的增益系數(shù)。

卷積組件

根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例，系統(tǒng)的卷積組件被封裝在分開的卷積器類(partitioned convolver class)325中(在圖3所示的示例類圖300中)。待實(shí)施的每個(gè)濾波器需要可以配置為在本質(zhì)上處理所有緩沖和域變換的該類的實(shí)例。該模塊化特征允許對(duì)卷積引擎進(jìn)行優(yōu)化和改變，而不需更改系統(tǒng)的剩余部分中的任何部分。

可以預(yù)先記錄在系統(tǒng)中使用的空間化濾波器中的一個(gè)或者多個(gè)，從而允許仔細(xì)選擇HRIR距離以及確保不存在記錄過(guò)程期間允許的頭部移動(dòng)的能力，與具有一些公開可用的HRIR數(shù)據(jù)集的情況一樣。進(jìn)一步地，也已經(jīng)在被認(rèn)為十分適合提供包括房間脈沖響應(yīng)的早期的、方向的部分的基本外部化提示的情況下記錄了在本文所描述的示例系統(tǒng)中使用的HRIR。將環(huán)繞聲聲道中的每一個(gè)與對(duì)應(yīng)的虛擬揚(yáng)聲器的脈沖響應(yīng)對(duì)進(jìn)行卷積。對(duì)該對(duì)卷積的需要是由于雙耳輸出的創(chuàng)建以通過(guò)耳機(jī)收聽。因此，每個(gè)揚(yáng)聲器需要兩個(gè)脈沖響應(yīng)，或者換言之，用戶的每只耳朵需要一個(gè)脈沖響應(yīng)。

混響組件

根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例，系統(tǒng)所應(yīng)用的混響效果被聲音設(shè)計(jì)師通過(guò)使用與本公開的方法和系統(tǒng)相關(guān)聯(lián)的API設(shè)計(jì)為進(jìn)行簡(jiǎn)單的更改。另外，混響效果還設(shè)計(jì)為自動(dòng)響應(yīng)在利用了系統(tǒng)的VR模擬中的環(huán)境條件的變化。早期反射和蹤跡效果在系統(tǒng)中被分開處理。例如，可以利用具有與環(huán)境混響時(shí)間匹配的解相關(guān)的指數(shù)衰減濾波器的一對(duì)卷積來(lái)實(shí)施房間響應(yīng)的混響蹤跡。

下混音組件

在Downmix()函數(shù)/過(guò)程中，將虛擬揚(yáng)聲器聲道下混音為一對(duì)雙耳聲道，一只耳朵有一個(gè)雙耳聲道。由于上述搖攝階段(例如，關(guān)于Pan()函數(shù)/過(guò)程)已經(jīng)考慮到對(duì)環(huán)繞聲效果的每個(gè)聲道的組合，所以下混音過(guò)程是非常直觀的。也正是在該函數(shù)中將雙耳混響聲道與空間化耳機(jī)饋送混合在一起。

虛擬聲卡

根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例，本公開的3D虛擬音頻系統(tǒng)的互補(bǔ)特征/組件可以是虛擬5.1聲卡，該虛擬5.1聲卡用于捕捉和呈現(xiàn)來(lái)自例如視頻游戲、電影和/或通過(guò)計(jì)算裝置傳遞的其它媒體的傳統(tǒng)5.1環(huán)繞聲輸出。一旦已經(jīng)獲取到音頻，就可以對(duì)其進(jìn)行渲染。

作為本文所描述的系統(tǒng)和方法的示例用途，輸出音頻的軟件通常檢測(cè)音頻端點(diǎn)裝置的能力，并且因此根據(jù)采樣率和聲道配置設(shè)置其音頻格式。為了使系統(tǒng)與現(xiàn)有播放軟件一起運(yùn)行，必須呈現(xiàn)端點(diǎn)，該端點(diǎn)至少提供能夠輸出環(huán)繞聲音頻的錯(cuò)覺(jué)。雖然對(duì)此的一個(gè)解決方案需要在用戶的機(jī)器中呈現(xiàn)支持物理環(huán)繞聲的硬件，但是這可能引起用戶的附加開支(取決于其系統(tǒng))，或者，在便攜式計(jì)算機(jī)中，可能是不切合實(shí)際的或者甚至是不可能實(shí)現(xiàn)的。

同樣，根據(jù)本文所描述的至少一個(gè)實(shí)施例，對(duì)此問(wèn)題的解決方案是在不具有任何硬件要求的操作系統(tǒng)中實(shí)施虛擬聲卡。從用戶的角度看，這實(shí)現(xiàn)了與硬件和軟件配置的最大兼容性，因?yàn)檐浖M足了輸出環(huán)繞聲并且用戶的系統(tǒng)無(wú)須滿足任何深?yuàn)W的硬件要求?？梢园凑毡绢I(lǐng)域的技術(shù)人員所知的直觀方式來(lái)實(shí)施虛擬聲卡。

音頻采集

根據(jù)一個(gè)實(shí)施例，可以通過(guò)使用現(xiàn)有應(yīng)用編程接口來(lái)進(jìn)行在軟件和硬件之間的音頻數(shù)據(jù)的通信。當(dāng)這種API正在音頻緩沖器之間移動(dòng)并且被發(fā)送至輸出端點(diǎn)時(shí)，其授予對(duì)音頻數(shù)據(jù)的訪問(wèn)權(quán)限。為了獲得對(duì)數(shù)據(jù)的訪問(wèn)權(quán)限，必須使用客戶端接口對(duì)象，該客戶端接口對(duì)象與感興趣的音頻裝置鏈接。利用這種客戶端接口對(duì)象，可以調(diào)用相關(guān)聯(lián)的服務(wù)。這允許程序設(shè)計(jì)員檢索在特定會(huì)話中傳送的音頻分組。可以在輸出這些分組之前對(duì)這些分組進(jìn)行修改，或者將這些分組整體地傳遞至另一音頻裝置。在這種情況下，感興趣正是后一種應(yīng)用。向虛擬音頻裝置發(fā)送環(huán)繞聲音頻，該環(huán)繞聲音頻由音頻捕捉客戶端捕捉并且然后被帶入音頻處理引擎中。系統(tǒng)的虛擬音頻裝置可以配置為將例如六個(gè)輸出聲道提供至操作系統(tǒng)，該操作系統(tǒng)將自身識(shí)別為5.1音頻裝置。在一個(gè)示例中，無(wú)論哪一個(gè)媒體或者游戲應(yīng)用正在產(chǎn)生聲音，都向這六個(gè)聲道發(fā)送16比特、44.1kHz的音頻。當(dāng)前述音頻捕捉客戶端接口截獲該音頻時(shí)，返回一定數(shù)量的音頻“幀”。

房間脈沖響應(yīng)的參數(shù)化

根據(jù)本公開的一個(gè)或者多個(gè)實(shí)施例，提供了一種通過(guò)將在空間上記錄的房間脈沖響應(yīng)(例如，SRIR)參數(shù)化為方向分量和漫射分量來(lái)進(jìn)行方向分析和漫射性估計(jì)的方法。漫射子系統(tǒng)用于形成在運(yùn)行時(shí)間應(yīng)用于源音頻信號(hào)的兩個(gè)解相關(guān)的濾波器內(nèi)核。該方法假設(shè)房間效果的方向分量已經(jīng)包含在雙耳房間脈沖響應(yīng)(BRIR)中或者被分開建模。

圖4示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的可以在雙耳響應(yīng)分解過(guò)程期間被創(chuàng)建的示例濾波器。殘差和公因子的卷積將恢復(fù)原始雙耳響應(yīng)總體來(lái)說(shuō)，可以用三個(gè)短卷積(如在示例布置450中所示)代替兩個(gè)大卷積(如在示例布置400中所示)。

漫射性估計(jì)方法是基于瞬時(shí)聲強(qiáng)矢量的時(shí)間-頻率推導(dǎo)，該瞬時(shí)聲強(qiáng)矢量描述了聲能在特定方向上的當(dāng)前流動(dòng)：

I(t)＝p(t)u(t), (1)

其中，I(t)表示聲強(qiáng)，p(t)是聲壓，并且u(t)是粒子速度。重要的是要注意，I(t)和u(t)是分量作用在x方向、y方向和z方向上的矢量。環(huán)繞聲B格式(B-Format)信號(hào)可以由一個(gè)全向分量(W)和三個(gè)方向分量(X、Y和Z)組成，該一個(gè)全向分量(W)可以用于估計(jì)聲壓，該三個(gè)方向分量(X、Y和Z)可以用于估算在所需方向x、y和z上的聲速：

p(t)＝w(t) (2)

以及

其中，i、j和k是笛卡爾單位矢量，x(t)、y(t)和z(t)是第一階環(huán)繞聲信號(hào)，并且Z₀是對(duì)空氣的比聲阻抗。

因此，可以將利用B格式信號(hào)估算得到的在頻域中的瞬時(shí)聲強(qiáng)矢量表示為：

其中，W(ω)和U(ω)是w(t)和u(t)時(shí)域信號(hào)的短時(shí)傅里葉變換(STFT)，并且*表示復(fù)共軛。矢量I(ω)的方向與聲能的流動(dòng)方向?qū)?yīng)。這就是為什么可以假設(shè)平面波源可以在-I(ω)方向上。然后可以如下計(jì)算到達(dá)的水平方向：

以及垂直方向：

其中，I_x(ω)、I_y(ω)和I_z(ω)分別是在x、y和z方向上的矢量分量。

現(xiàn)在，為了能夠從B格式空間房間脈沖響應(yīng)(Spatial Room Impulse Response(SRIR))提取方向部分，可以估計(jì)漫射系數(shù)，該漫射系數(shù)由稱為總能量密度的短時(shí)平均強(qiáng)度的大小給出：

隨后基于等效矩形帶(Equivalent Rectangular Bands(ERB))對(duì)分析輸出進(jìn)行頻譜平滑。SRIR的漫射和非漫射部分的提取是通過(guò)分別將B格式信號(hào)乘以ψ(ω)和來(lái)進(jìn)行的。

在以下示例中，為了完成真實(shí)的漫射響應(yīng)，已經(jīng)對(duì)全SRIR進(jìn)行了處理。通過(guò)使用聲場(chǎng)麥克風(fēng)測(cè)量到在大教堂中使用的SRIR離聲源32米(m)。

為了提供最佳結(jié)果，在分析中，不同的SRIR可能需要不同的參數(shù)值。雖然還未提出對(duì)方向分析的有效性的估計(jì)方法，但是有人建議可以通過(guò)試聽來(lái)驗(yàn)證產(chǎn)生的SRIR。到目前為止，在開發(fā)期間已經(jīng)通過(guò)非正式收聽定義了所有漫射性估計(jì)參數(shù)值(諸如，例如，用于時(shí)間平均的時(shí)間窗口的長(zhǎng)度、時(shí)頻分析的參數(shù)等)。然而，應(yīng)該注意，根據(jù)本公開的一個(gè)或者多個(gè)實(shí)施例，可以使用更多高級(jí)方法來(lái)確定最佳參數(shù)值，諸如，例如，正式收聽測(cè)試和/或聽覺(jué)建模。

根據(jù)本文所公開的一個(gè)或者多個(gè)實(shí)施例，可以將對(duì)方向分析參數(shù)的概述、其對(duì)分析輸出的影響、以及可能聽到的假象列成表格(例如，追蹤、記錄等)。例如，下面呈現(xiàn)的表1包括與人類聽覺(jué)的積分最匹配的參數(shù)的示例選擇。具體地，表1的內(nèi)容包括用于計(jì)算在不同頻帶處的漫射估計(jì)的示例平均窗口長(zhǎng)度。

表1

圖5示出了產(chǎn)生的SRIR的全W分量連同隨時(shí)間的頻率平均漫射性估計(jì)值。方向分量提取的成功過(guò)程的良好指示可以是：漫射性估計(jì)在RIR的早期部分中較低并且在后來(lái)增長(zhǎng)。

漫射混響蹤跡預(yù)處理

因?yàn)樯鲜雎涔烙?jì)的W、X、Y和Z聲道通常不會(huì)攜載重要的方向信息，所以本公開的方法和系統(tǒng)利用漫射估計(jì)的聲道來(lái)形成左右解相關(guān)值。根據(jù)至少一個(gè)實(shí)施例，通過(guò)使用這種技術(shù)，心形指向麥克風(fēng)(cardioid microphone)(例如，Mid或者M(jìn))正面向前(可選地，可以用全向麥克風(fēng)代替)，并且將雙向麥克風(fēng)(例如，Side或者S)指向側(cè)面，從而使其截止帶(rejection zone)剛好在前面。在M-S中，例如通過(guò)使M信號(hào)和S信號(hào)矩陣化來(lái)創(chuàng)建立體聲像，這是因?yàn)?，為了利用這種技術(shù)來(lái)導(dǎo)出立體輸出信號(hào)，需要簡(jiǎn)單的解碼矩陣：

L＝M+gS (8)

R＝M-gS (9)

使用分區(qū)卷積的實(shí)時(shí)實(shí)施方式

如通過(guò)HRTF卷積執(zhí)行的方向?yàn)V波一樣，通過(guò)與適當(dāng)?shù)臑V波器卷積來(lái)產(chǎn)生混響效果。為了適應(yīng)對(duì)混響空間進(jìn)行建模所需的本身很長(zhǎng)的濾波器，使用根據(jù)本公開的一個(gè)或者多個(gè)實(shí)施例的分區(qū)卷積系統(tǒng)和方法。例如，該系統(tǒng)將混響脈沖響應(yīng)分段為可以及時(shí)順序處理的多個(gè)塊。每個(gè)脈沖響應(yīng)分區(qū)在長(zhǎng)度上是統(tǒng)一的并且與來(lái)自相同長(zhǎng)度的輸入流的塊結(jié)合。一旦輸入塊已經(jīng)與脈沖響應(yīng)分區(qū)進(jìn)行了卷積并輸出，將其轉(zhuǎn)移至下一個(gè)分區(qū)并且再進(jìn)行一次卷積，直到到達(dá)脈沖響應(yīng)的末尾。這將輸出延遲從脈沖響應(yīng)的總長(zhǎng)度減小到單個(gè)分區(qū)的長(zhǎng)度。

利用聲學(xué)響應(yīng)的隨機(jī)性

在記錄的SRIR不可用的情況下，可以通過(guò)利用聲學(xué)響應(yīng)的隨機(jī)性來(lái)對(duì)漫射混響濾波器進(jìn)行建模?？紤]房間脈沖響應(yīng)的以下模型。設(shè)p[n]為長(zhǎng)度N(其中，“N”是任意數(shù))的隨機(jī)信號(hào)矢量，該矢量的條目與隨機(jī)多項(xiàng)式的系數(shù)對(duì)應(yīng)。將這種信號(hào)與同樣具有長(zhǎng)度N的衰減指數(shù)窗w[n]＝e-βn點(diǎn)法相乘(point wise multiply)。因此可以將房間脈沖響應(yīng)建模為：

其中，是矢量的Hadamard積。

混響時(shí)間RT₆₀是RIR的60dB衰減時(shí)間。在模型信號(hào)的情況下，這可以容易地從包絡(luò)w[n]推導(dǎo)出并且可以通過(guò)對(duì)下式求解來(lái)獲得：

以得到

可以推斷出，p[n]的根繞單元圓均勻地聚集。即，其大小具有為1的預(yù)期值。同樣，通過(guò)z變換的性質(zhì)，

因此，將P(z)的根的大小按照因子e^β縮放以成為H(z)的根，其中，z_n,n∈[1,...,N]是H(z)的根。同樣：

因此，如果從根大小的平均值將常數(shù)β估計(jì)為：

其中，z_n,n∈[1,...,N]是h[n]的根，則可以將混響時(shí)間寫為：

這僅僅取決于給定響應(yīng)的根的大小。

上述方法解決了跨頻率的恒定混響時(shí)間。然而，在現(xiàn)實(shí)世界中，聲學(xué)信號(hào)很少有這種情況。按照根唯一的方式考慮RIR允許非常容易地估計(jì)在任何恒定的或者變化的寬度的任何一組頻帶中的混響時(shí)間。所有必須做的是：僅通過(guò)利用在與至對(duì)應(yīng)的ω1和ω₂弧度之間的幅角對(duì)根進(jìn)行計(jì)數(shù)，來(lái)相應(yīng)地修改等式(16)，其中，F(xiàn)_sHz是采樣頻率。這可以用如下公式表達(dá)：

因此，由此對(duì)在臨界頻帶內(nèi)的RT₆₀的估計(jì)是可能的。

從傅里葉級(jí)數(shù)的觀點(diǎn)看RIR的蹤跡，人們可以預(yù)期其像隨機(jī)噪聲一樣出現(xiàn)，在每個(gè)頻率處具有正弦曲線，根據(jù)正態(tài)分布縮放，并且分別依次具有隨機(jī)分布的相位。出于這種考慮，可以將聲學(xué)脈沖響應(yīng)的蹤跡近似地重新構(gòu)造為正弦曲線的隨機(jī)縮放和，其中，在每個(gè)臨界頻帶中的衰減等于真實(shí)RIR的衰減?？傮w來(lái)說(shuō)，這提供了一種可靠的RIR蹤跡模擬方法。

設(shè)s_f為具有頻率f Hz和隨機(jī)相位的正弦波。設(shè)α～N(0,1)為具有高斯分布、零平均值和標(biāo)準(zhǔn)偏差為1的隨機(jī)變量。因此，可以定義出如下序列：

該序列是隨機(jī)縮放正弦曲線之和?？紤]到許多這種求和的項(xiàng)，r本質(zhì)上是具有平帶有限頻譜和像隨機(jī)多項(xiàng)式的根一樣分布的根的隨機(jī)矢量。

然后可以創(chuàng)建第二序列(表示為r_scale)：

其中，表示Hadamard積，并且β的選擇是為了向衰減包絡(luò)e^-βt賦予給定的RT₆₀。然后可以針對(duì)每個(gè)臨界頻帶(或者任何其它頻帶)修改該值，以產(chǎn)生具有與頻率有關(guān)的RT₆₀的模擬響應(yīng)蹤跡。然后可以使用上述基于根的RT₆₀估計(jì)方法來(lái)驗(yàn)證這種模擬蹤跡的根行為與真實(shí)RIR的根行為匹配。

圖6示出了根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶提供三維沉浸式空間音頻的示例過(guò)程(600)。

在框605中，可以將輸入音頻信號(hào)編碼為聲場(chǎng)格式，從而生成聲場(chǎng)數(shù)據(jù)。例如，根據(jù)本公開的至少一個(gè)實(shí)施例，可以將在圍繞用戶創(chuàng)建的虛擬揚(yáng)聲器環(huán)境中的每個(gè)音頻源(例如，聲源)作為單輸入聲道連同聲源的球面坐標(biāo)位置矢量一起輸入。聲源的球面坐標(biāo)位置矢量識(shí)別在虛擬揚(yáng)聲器環(huán)境中聲源相對(duì)于用戶的位置。

在框610中，可以基于采集的與用戶的移動(dòng)(例如，頭部移動(dòng))相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)來(lái)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)。例如，根據(jù)至少一個(gè)實(shí)施例，在維持外部環(huán)境的聲學(xué)提示的同時(shí)使聲場(chǎng)圍繞用戶動(dòng)態(tài)旋轉(zhuǎn)。另外，例如，可以從用戶的耳機(jī)裝置采集與用戶的移動(dòng)相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)。

在框615中，可以通過(guò)使用一個(gè)或者多個(gè)動(dòng)態(tài)音頻濾波器來(lái)處理編碼的音頻信號(hào)?？梢栽诳紤]環(huán)繞用戶的外部環(huán)境的人體聽覺(jué)提示的同時(shí)，執(zhí)行對(duì)編碼的音頻信號(hào)的處理。

在框620中，可以將聲場(chǎng)數(shù)據(jù)(例如，在框605中生成的)解碼為一對(duì)雙耳空間聲道。

在框625中，將該一對(duì)雙耳空間聲道提供至用戶的耳機(jī)裝置。

根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例，用于向用戶提供三維沉浸式空間音頻的示例過(guò)程(600)還可以包括：基于用戶所在的虛擬揚(yáng)聲器環(huán)境的參數(shù)，利用動(dòng)態(tài)房間效果來(lái)處理聲源。

圖7是設(shè)置為根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的向用戶提供三維沉浸式空間音頻的示例計(jì)算機(jī)(700)的高級(jí)框圖。例如，根據(jù)至少一個(gè)實(shí)施例，計(jì)算機(jī)(700)可以配置為在用戶的耳朵處重新創(chuàng)建自然發(fā)聲的聲場(chǎng)，包括針高度和深度知覺(jué)的提示。在非?；镜呐渲?701)中，計(jì)算裝置(700)通常包括一個(gè)或者多個(gè)處理器(710)和系統(tǒng)存儲(chǔ)器(720)。存儲(chǔ)器總線(730)可以用于在處理器(710)和系統(tǒng)存儲(chǔ)器(720)之間進(jìn)行通信。

根據(jù)所需配置，處理器(710)可以具有任何類型，包括但不限于微處理器(μP)、微控制器(μC)、數(shù)字信號(hào)處理器(DSP)、或者它們的任何組合。處理器(710)可以包括一級(jí)或者多級(jí)緩存(諸如，一級(jí)緩存(711)和二級(jí)緩存(712))、處理器核心(713)、和寄存器(714)。處理器核心(713)可以包括算術(shù)邏輯單元(ALU)、浮點(diǎn)單元(FPU)、數(shù)字信號(hào)處理核心(DSP核心)、或者它們的任何組合。存儲(chǔ)控制器(715)也可以與處理器(710)一起使用，或者在某些實(shí)施方式中，存儲(chǔ)控制器(715)可以是處理器(710)的內(nèi)部部件。

根據(jù)所需配置，系統(tǒng)存儲(chǔ)器(720)可以具有任何類型，包括但不限于易失性存儲(chǔ)器(諸如，RAM)、非易失性存儲(chǔ)器(諸如，ROM、閃存等)、或者它們的任何組合。系統(tǒng)存儲(chǔ)器(720)通常包括操作系統(tǒng)(721)、一個(gè)或者多個(gè)應(yīng)用(722)、和程序數(shù)據(jù)(724)。應(yīng)用(722)可以包括根據(jù)本文所描述的一個(gè)或者多個(gè)實(shí)施例的用于向用戶(723)提供三維沉浸式空間音頻的系統(tǒng)，該系統(tǒng)可以配置為在用戶的耳朵處重新創(chuàng)建自然發(fā)聲的或者認(rèn)為等效的聲場(chǎng)，包括對(duì)高度和深度知覺(jué)的提示。

程序數(shù)據(jù)(724)可以包括存儲(chǔ)指令，該指令在由一個(gè)或者多個(gè)處理裝置執(zhí)行時(shí)實(shí)施用于向用戶提供三維沉浸式空間音頻的系統(tǒng)(723)和方法。另外，根據(jù)至少一個(gè)實(shí)施例，程序數(shù)據(jù)(724)可以包括空間位置數(shù)據(jù)(725)，該空間位置數(shù)據(jù)(725)可以與關(guān)于揚(yáng)聲器在給定設(shè)置中的物理位置的數(shù)據(jù)相關(guān)。根據(jù)至少一些實(shí)施例，應(yīng)用(722)可以設(shè)置為與程序數(shù)據(jù)(724)一起在操作系統(tǒng)(721)上運(yùn)行。

計(jì)算裝置(700)可以具有附加特征或者功能、和利于在基礎(chǔ)配置(701)與任何所需裝置和接口之間的通信的附加接口。

系統(tǒng)存儲(chǔ)器(720)是計(jì)算機(jī)存儲(chǔ)介質(zhì)的示例。該計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于：RAM、ROM、EEPROM、閃存或者其它存儲(chǔ)技術(shù)、CD-ROM、數(shù)字多用盤或者其它光學(xué)存儲(chǔ)裝置、磁帶盒、磁帶、磁盤存儲(chǔ)裝置或者其它磁存儲(chǔ)裝置、或者可以用于存儲(chǔ)所需信息并且可以由計(jì)算裝置700訪問(wèn)的其它介質(zhì)。任何這種計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是裝置(700)的部分。

計(jì)算裝置(700)可以實(shí)施為小型便攜式(或者移動(dòng))電子裝置的一部分，諸如，蜂窩電話、智能電話、個(gè)人數(shù)字助理(PDA)、個(gè)人媒體播放器裝置、平板計(jì)算機(jī)(平板電腦)、無(wú)線網(wǎng)頁(yè)觀看裝置、個(gè)人頭戴式裝置、專用裝置、或者混合裝置，它們包括上述功能中的任何一種。計(jì)算裝置(700)也可以實(shí)施為個(gè)人計(jì)算機(jī)，包括膝上型計(jì)算機(jī)和非膝上型計(jì)算機(jī)配置。

前述詳細(xì)描述已經(jīng)經(jīng)由框圖、流程圖和/或示例的使用陳述了裝置和/或過(guò)程的各種實(shí)施例。由于這種框圖、流程圖和/或示例包含一種或者多種功能和/或操作，本領(lǐng)域的技術(shù)人員要理解，可以通過(guò)大范圍的硬件、軟件、固件、或者它們的幾乎所有組合單獨(dú)地和/或共同地實(shí)施在這種框圖、流程圖和/或示例內(nèi)的每種功能和/或操作。根據(jù)至少一些實(shí)施例，本文所公開的主題的多個(gè)部分可以經(jīng)由專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、數(shù)字信號(hào)處理器(DSP)、或者其它集成格式來(lái)實(shí)施。然而，本領(lǐng)域的技術(shù)人員要認(rèn)識(shí)到，本文所公開的實(shí)施例的一些方面可以全部或者部分等效地實(shí)施在集成電路中，作為在一個(gè)或者多個(gè)計(jì)算機(jī)上運(yùn)行的一個(gè)或者多個(gè)計(jì)算機(jī)程序，作為在一個(gè)或者多個(gè)處理器上運(yùn)行的一個(gè)或者多個(gè)程序，作為固件，或者作為它們的幾乎所有組合，并且鑒于本公開，對(duì)電路系統(tǒng)進(jìn)行設(shè)計(jì)和/或編寫軟件和/或固件的代碼也在本領(lǐng)域的技術(shù)人員的技術(shù)內(nèi)。另外，本領(lǐng)域的技術(shù)人員要了解，本文所公開的主題的機(jī)制能夠作為各種形式的程序產(chǎn)品而分布，并且，無(wú)論用于實(shí)際上執(zhí)行該分布的非暫時(shí)性信號(hào)承載介質(zhì)的具體類型是什么，本文所描述的主題的說(shuō)明性實(shí)施例都同樣適用。非暫時(shí)性信號(hào)承載介質(zhì)的示例包括但不限于以下：可記錄型介質(zhì)，諸如，軟盤、硬盤驅(qū)動(dòng)器、光盤(CD)、數(shù)字視頻光盤(DVD)、數(shù)字磁帶、計(jì)算機(jī)存儲(chǔ)器等；以及傳輸型介質(zhì)，諸如，數(shù)字和/或模擬通信介質(zhì)(例如，光纜、波導(dǎo)、有線通信鏈路、無(wú)線通信鏈路等)。

對(duì)于在本文中使用的實(shí)質(zhì)上任何復(fù)數(shù)形式和/或單數(shù)形式的術(shù)語(yǔ)，在適合上下文和/或應(yīng)用時(shí)，本領(lǐng)域的技術(shù)人員可以從復(fù)數(shù)形式變換為單數(shù)形式并且/或者從單數(shù)形式變換為復(fù)數(shù)形式。為清楚起見，可以明確地陳述各種單數(shù)形式/復(fù)數(shù)形式置換。

由此，已經(jīng)描述了本主題的具體實(shí)施例。其它實(shí)施例在以下權(quán)利要求書的范圍內(nèi)。在某些情況下，在權(quán)利要求書中敘述的動(dòng)作可以按照不同的順序來(lái)進(jìn)行并且仍然可以實(shí)現(xiàn)期望的結(jié)果。另外，在附圖中描繪的過(guò)程不一定需要所示的特定順序或者相繼順序，以實(shí)現(xiàn)期望的結(jié)果。在某些實(shí)施方式中，多任務(wù)處理和并行處理可以是有利的。