音頻信號(hào)的上混音的制作方法
【專利摘要】本發(fā)明的實(shí)施例涉及音頻信號(hào)的上混音。描述了一種對(duì)音頻信號(hào)進(jìn)行上混音的方法。該方法包括：將所述音頻信號(hào)分解成擴(kuò)散信號(hào)和直達(dá)信號(hào)；至少部分地基于擴(kuò)散信號(hào)，生成音頻靜態(tài)環(huán)境聲，音頻靜態(tài)環(huán)境聲包括高度聲道；從直達(dá)信號(hào)中提取音頻對(duì)象；估計(jì)音頻對(duì)象的元數(shù)據(jù)，元數(shù)據(jù)包括音頻對(duì)象的高度信息；以及將音頻靜態(tài)環(huán)境聲和音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且音頻對(duì)象根據(jù)元數(shù)據(jù)而被呈現(xiàn)。還公開了相應(yīng)的系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品。
【專利說(shuō)明】
音頻信號(hào)的上混音
技術(shù)領(lǐng)域
[0001]本發(fā)明總體上涉及音頻信號(hào)處理，更具體地，涉及音頻信號(hào)的上混音。
【背景技術(shù)】
[0002]為了創(chuàng)建更加具有沉浸感的音頻體驗(yàn)，可以向音頻信號(hào)應(yīng)用上混音處理，以便從原始音頻信號(hào)中創(chuàng)建附加的環(huán)繞聲道，例如從立體聲到環(huán)繞5.1格式或者從環(huán)繞5.1格式到環(huán)繞7.1格式，等等。存在一些上混音器和上混音算法。在這些傳統(tǒng)的上混音算法中，所創(chuàng)建的附加環(huán)繞聲道僅僅針對(duì)地板揚(yáng)聲器。為了進(jìn)一步提高空間沉浸感，已經(jīng)提出了一些上混音算法將音頻信號(hào)上混音到高位(頭頂)揚(yáng)聲器，諸如從環(huán)繞5.1到環(huán)繞7.1.2格式，其中“.2”表示高位揚(yáng)聲器的數(shù)目。
[0003]傳統(tǒng)的上混音方案通常僅僅將原始音頻信號(hào)中的擴(kuò)散信號(hào)或者說(shuō)環(huán)境信號(hào)上混音到高位揚(yáng)聲器，而將直達(dá)信號(hào)留在地板揚(yáng)聲器。然而，諸如雨、雷、直升機(jī)、鳥叫等的聲音之類的直達(dá)信號(hào)實(shí)際上是頭頂上的聲音。因此，傳統(tǒng)的上混音方案有時(shí)無(wú)法創(chuàng)建足夠強(qiáng)的空間沉浸感音頻體驗(yàn)，甚至?xí)谏匣煲糁蟮男盘?hào)中造成可聽到的瑕疵。

【發(fā)明內(nèi)容】

[0004]總體上，本發(fā)明提供一種用于音頻信號(hào)的上混音的方案。
[0005]在一個(gè)方面，本發(fā)明的示例實(shí)施例提供一種對(duì)音頻信號(hào)進(jìn)行上混音的方法。該方法包括:將所述音頻信號(hào)分解成擴(kuò)散信號(hào)和直達(dá)信號(hào)；至少部分地基于擴(kuò)散信號(hào)，生成音頻靜態(tài)環(huán)境聲，音頻靜態(tài)環(huán)境聲包括高度聲道；從直達(dá)信號(hào)中提取音頻對(duì)象；估計(jì)音頻對(duì)象的元數(shù)據(jù)，元數(shù)據(jù)包括音頻對(duì)象的高度信息；以及將音頻靜態(tài)環(huán)境聲和音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且音頻對(duì)象根據(jù)元數(shù)據(jù)而被呈現(xiàn)。
[0006]在另一方面，本發(fā)明的示例實(shí)施例提供一種對(duì)音頻信號(hào)進(jìn)行上混音的系統(tǒng)。該系統(tǒng)包括:直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器，被配置為將音頻信號(hào)分解成擴(kuò)散信號(hào)和直達(dá)信號(hào)；靜態(tài)環(huán)境聲生成器，被配置為至少部分地基于擴(kuò)散信號(hào)生成音頻靜態(tài)環(huán)境聲，音頻靜態(tài)環(huán)境聲包括高度聲道；對(duì)象提取器，被配置為從直達(dá)信號(hào)中提取音頻對(duì)象；元數(shù)據(jù)估計(jì)器，被配置為估計(jì)音頻對(duì)象的元數(shù)據(jù)，元數(shù)據(jù)包括音頻對(duì)象的高度信息；以及音頻呈現(xiàn)器，被配置為將音頻靜態(tài)環(huán)境聲和音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且音頻對(duì)象根據(jù)元數(shù)據(jù)而被呈現(xiàn)。
[0007]通過(guò)下文描述將會(huì)理解，根據(jù)本發(fā)明的實(shí)施例，直達(dá)/擴(kuò)散信號(hào)分解被用來(lái)實(shí)現(xiàn)音頻信號(hào)的自適應(yīng)上混音。音頻對(duì)象從原始音頻信號(hào)中被提取并且根據(jù)其高度被呈現(xiàn)，同時(shí)可以生成具有一個(gè)或多個(gè)高度聲道的音頻靜態(tài)環(huán)境聲并且將其呈現(xiàn)到預(yù)定義的揚(yáng)聲器位置。這樣，如果音頻對(duì)象在場(chǎng)景中相對(duì)較高，則該音頻對(duì)象可由頭頂揚(yáng)聲器來(lái)呈現(xiàn)。以此方式，可以產(chǎn)生更加自然和沉浸感的空間體驗(yàn)。
[0008]而且，在某些實(shí)施例中，可以基于輸入音頻信號(hào)的屬性來(lái)自適應(yīng)地控制直達(dá)/擴(kuò)散信號(hào)分解、對(duì)象提取、靜態(tài)環(huán)境聲生成、元數(shù)據(jù)估計(jì)和/或呈現(xiàn)。例如，這些處理級(jí)中的一個(gè)或多個(gè)可以基于音頻對(duì)象的內(nèi)容復(fù)雜性來(lái)控制。以此方式，可以進(jìn)一步改善上混音效果。
【附圖說(shuō)明】
[0009]通過(guò)參考附圖閱讀下文的詳細(xì)描述，本發(fā)明實(shí)施例的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中，以示例而非限制性的方式示出了本發(fā)明的若干實(shí)施例，其中:
[0010]圖1是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的用于音頻信號(hào)上混音的系統(tǒng)的框圖；
[0011]圖2是根據(jù)本發(fā)明另一示例性實(shí)施例的用于音頻信號(hào)上混音的系統(tǒng)的框圖；
[0012]圖3是根據(jù)本發(fā)明又一示例性實(shí)施例的用于音頻信號(hào)上混音的系統(tǒng)的框圖；
[0013]圖4是根據(jù)本發(fā)明再一示例性實(shí)施例的用于音頻信號(hào)上混音的系統(tǒng)的框圖；
[0014]圖5是根據(jù)本發(fā)明又一示例性實(shí)施例的用于音頻信號(hào)上混音的系統(tǒng)的框圖；
[0015]圖6是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的將輸入音頻信號(hào)的復(fù)雜性得分映射為不同分量的擴(kuò)散增益的函數(shù)的示意圖；
[0016]圖7是根據(jù)本發(fā)明一個(gè)示例性實(shí)施例的用于音頻信號(hào)上混音的方法的流程圖；以及
[0017]圖8是適于實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例的示例計(jì)算機(jī)系統(tǒng)的框圖。
[0018]在各個(gè)附圖中，相同或?qū)?yīng)的標(biāo)號(hào)表不相同或?qū)?yīng)的部分。
【具體實(shí)施方式】
[0019]下面將參考附圖中示出的若干示例實(shí)施例來(lái)描述本發(fā)明的原理。應(yīng)當(dāng)理解，描述這些實(shí)施例僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實(shí)現(xiàn)本發(fā)明，而并非以任何方式限制本發(fā)明的范圍。
[0020]在此使用的術(shù)語(yǔ)“包括”表示開放性包括，即“包括但不限于”。除非特別中明，術(shù)語(yǔ)“或”表示“和/或”。術(shù)語(yǔ)“基于”表示“至少部分地基于”。術(shù)語(yǔ)“一個(gè)實(shí)施例”表示“至少一個(gè)實(shí)施例”。術(shù)語(yǔ)“另一實(shí)施例”表示“至少一個(gè)另外的實(shí)施例”。其他術(shù)語(yǔ)的定義將在下文描述中給出。
[0021]在此使用的術(shù)語(yǔ)“音頻對(duì)象”或者簡(jiǎn)稱“對(duì)象”是指在聲場(chǎng)中存在特定持續(xù)時(shí)間的個(gè)體音頻元素。音頻對(duì)象可以是動(dòng)態(tài)的也可以是靜態(tài)的。例如，音頻對(duì)象可以是人、動(dòng)物或者能夠充當(dāng)聲源的任何其他元素。音頻對(duì)象可以具有關(guān)聯(lián)的元數(shù)據(jù)，其描述音頻對(duì)象的位置、速度、軌跡、高度、大小和/或任何其他方面。在此使用的術(shù)語(yǔ)“靜態(tài)環(huán)境聲”(aud1bed)是將以預(yù)定義的、固定的位置進(jìn)行重現(xiàn)的聲道。其他顯式的或者隱式的定義將在下文描述。
[0022]—般而言，根據(jù)本發(fā)明的實(shí)施例，將要被上混音的音頻信號(hào)被分解為擴(kuò)散信號(hào)和直達(dá)信號(hào)?？梢詮闹边_(dá)信號(hào)中提取音頻對(duì)象。通過(guò)估計(jì)音頻對(duì)象的高度，可以在適當(dāng)?shù)奈恢贸尸F(xiàn)音頻對(duì)象，而不是將音頻對(duì)象留在地板揚(yáng)聲器。以此方式，諸如雷聲之類的音頻對(duì)象可以經(jīng)由例如頭頂揚(yáng)聲器來(lái)呈現(xiàn)。另一方面，可以至少部分地從擴(kuò)散信號(hào)中生成具有一個(gè)或多個(gè)高度聲道的靜態(tài)環(huán)境聲，從而實(shí)現(xiàn)原始音頻信號(hào)中的擴(kuò)散分量的上混音。以此方式，可以在具有任何揚(yáng)聲器布局的各種收聽環(huán)境中增強(qiáng)空間沉浸感體驗(yàn)。
[0023]圖1示出了根據(jù)本發(fā)明一個(gè)示例實(shí)施例的用于音頻信號(hào)上混音的架構(gòu)或稱系統(tǒng)100的框圖。如圖所示，系統(tǒng)100包括直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110、對(duì)象提取器120、元數(shù)據(jù)估計(jì)器130、靜態(tài)環(huán)境聲生成器140、音頻呈現(xiàn)器150和控制器160?？刂破?60被配置為控制系統(tǒng)100的操作。
[0024]直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110被配置為接收和分解音頻信號(hào)。在一個(gè)示例實(shí)施例中，輸入音頻信號(hào)可以具有多聲道格式。當(dāng)然，任何其他適當(dāng)格式同樣是可能的。在一個(gè)示例實(shí)施例中，將要被上混音的音頻信號(hào)被直接遞送給直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110。備選地，在一個(gè)示例實(shí)施例中，音頻信號(hào)在被饋送給直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110之前可以先經(jīng)過(guò)預(yù)混音之類的預(yù)處理，這將在下文描述。
[0025]根據(jù)本發(fā)明的實(shí)施例，直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110被配置為將輸入的音頻信號(hào)分解為擴(kuò)散信號(hào)和直達(dá)信號(hào)。所得到的直達(dá)信號(hào)主要包含方向性聲源，而擴(kuò)散信號(hào)主要包括不具有明顯方向的環(huán)境信號(hào)。直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110可以使用任何適當(dāng)?shù)囊纛l信號(hào)分解技術(shù)，不論是目前已知的還是將來(lái)開發(fā)的。
[0026]直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110獲得的直達(dá)信號(hào)被傳遞給對(duì)象提取器120。對(duì)象提取器120被配置為從直達(dá)信號(hào)中提取一個(gè)或多個(gè)音頻對(duì)象。對(duì)象提取器120可以使用任何適當(dāng)?shù)囊纛l對(duì)象提取技術(shù)，不論是目前已知的還是將來(lái)開發(fā)的。
[0027]例如，在一個(gè)示例實(shí)施例中，對(duì)象提取器120可以這樣來(lái)提取音頻對(duì)象:基于頻譜連續(xù)性和空間一致性來(lái)檢測(cè)屬于相同對(duì)象的信號(hào)。為此，可以從直達(dá)信號(hào)中獲得一個(gè)或多個(gè)信號(hào)特征或者線索，以便測(cè)量音頻信號(hào)的子頻帶、聲道或者幀是否屬于相同的音頻對(duì)象。這種音頻信號(hào)特征的示例包括但不限于聲音方向/位置、擴(kuò)散度、直達(dá)混響聲能比(DRR)、開/偏移同步、調(diào)和性、音高和音高波動(dòng)、突出性/局部響度/能量、重復(fù)性，等等。
[0028]附加地或備選地，在一個(gè)示例實(shí)施例中，對(duì)象提取器120可以通過(guò)確定直達(dá)信號(hào)的每個(gè)子頻帶包含音頻對(duì)象的概率來(lái)提取音頻對(duì)象?；谒_定的概率，每個(gè)子頻帶可被劃分為音頻對(duì)象部分和殘留音頻部分。不通對(duì)將子頻帶的音頻對(duì)象部分進(jìn)行合并，可以提取一個(gè)或多個(gè)音頻對(duì)象。這種概率可以通過(guò)各種方式確定。作為示例，可以基于如下項(xiàng)來(lái)確定該概率:子頻帶的空間位置，子頻帶的多個(gè)聲道(如果存在的話)之間的相關(guān)性，音頻混音的一個(gè)或多個(gè)平推規(guī)則、音頻信號(hào)的子頻帶的頻率范圍，和/或任何附加的或備選的因素。
[0029]對(duì)象提取器120的輸出包括一個(gè)或多個(gè)被提取的音頻對(duì)象?？蛇x地，在一個(gè)示例實(shí)施例中，直達(dá)信號(hào)中不適合被提取為音頻對(duì)象的部分可以作為殘留信號(hào)而從對(duì)象提取器120被輸出。每個(gè)音頻對(duì)象由元數(shù)據(jù)估計(jì)器130處理，以便估計(jì)相關(guān)聯(lián)的元數(shù)據(jù)。元數(shù)據(jù)可以包括高級(jí)別語(yǔ)義元數(shù)據(jù)直至低級(jí)別描述信息。
[0030]例如，在一個(gè)示例實(shí)施例中，元數(shù)據(jù)可以包括中間級(jí)別的屬性，包括開始、偏移、調(diào)和性、突出性、響度、臨時(shí)結(jié)構(gòu)，等等。附加地或備選地，元數(shù)據(jù)可以包括高級(jí)別的語(yǔ)義屬性，包括:音樂(lè)、對(duì)話、歌唱聲、聲效、環(huán)境聲音、擬音，等等。在一個(gè)示例實(shí)施例中，元數(shù)據(jù)可以包括空間元數(shù)據(jù)，其描述音頻對(duì)象的空間屬性，諸如位置、大小、寬度、軌跡，等等。
[0031]特別地，元數(shù)據(jù)估計(jì)器130可以突擊三維(3D)空間中的每個(gè)音頻對(duì)象的位置，或者至少估計(jì)其高度。作為示例，在一個(gè)示例實(shí)施例中，對(duì)于任何給定的音頻對(duì)象，元數(shù)據(jù)估計(jì)器130可以估計(jì)音頻對(duì)象的3D軌跡，其描述音頻對(duì)象隨時(shí)間的3D位置。所估計(jì)的元數(shù)據(jù)可例如以3D坐標(biāo)(x，y，z)的形式來(lái)描述音頻對(duì)象的空間位置。由此，可以獲得音頻對(duì)象的高度信息。
[0032]可以使用目前已知或者將來(lái)開發(fā)的任何適當(dāng)?shù)募夹g(shù)來(lái)估計(jì)3D軌跡。在一個(gè)示例實(shí)施例中，可以針對(duì)音頻對(duì)象的多個(gè)幀中的每個(gè)幀生成候選位置組，其包括的至少一個(gè)候選位置?？梢曰诙鄠€(gè)幀的全局代價(jià)函數(shù)，從針對(duì)多個(gè)幀的每個(gè)幀而生成的候選位置組中選擇一個(gè)估計(jì)位置。繼而，可以估計(jì)具有跨多個(gè)幀的所選擇估計(jì)位置的軌跡。
[0033]返回參考直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110，擴(kuò)散信號(hào)被饋送給靜態(tài)環(huán)境聲生成器140，其被配置為生成音頻靜態(tài)環(huán)境聲。可選地，如果對(duì)象提取器120所執(zhí)行的音頻對(duì)象提取產(chǎn)生了殘留信號(hào)，則殘留信號(hào)也可被饋送給靜態(tài)環(huán)境聲生成器140。如上所述，音頻靜態(tài)環(huán)境聲是指將以預(yù)定義的、固定的位置進(jìn)行重現(xiàn)的聲道。典型的音頻靜態(tài)環(huán)境聲可以是環(huán)繞7.1.2或者7.1.4格式或者任何其他適當(dāng)?shù)母袷剑@取決于揚(yáng)聲器布局。
[0034]特別地，根據(jù)本發(fā)明的實(shí)施例，靜態(tài)環(huán)境聲生成器140生成至少一個(gè)具有高度聲道的靜態(tài)環(huán)境聲。為此，在一個(gè)示例實(shí)施例中，靜態(tài)環(huán)境聲生成器140可以將擴(kuò)散信號(hào)上混音到完全靜態(tài)環(huán)境聲布局(例如，環(huán)繞7.1.2)以創(chuàng)建高度聲道?？梢允褂萌魏文壳耙阎幕蛘邔?lái)開發(fā)的上混音技術(shù)對(duì)擴(kuò)散信號(hào)進(jìn)行上混音。將會(huì)理解，音頻的靜態(tài)環(huán)境聲的高度聲道并非必須通過(guò)對(duì)擴(kuò)散信號(hào)上混音而獲得。在各種實(shí)施例中，可以通過(guò)其他方式來(lái)創(chuàng)建一個(gè)或多個(gè)高度聲道，例如基于預(yù)先上混音處理，這將在下文描述。
[0035]對(duì)于來(lái)自對(duì)象提取器120的殘留信號(hào)，其可以被包括到音頻靜態(tài)環(huán)境聲中。在一個(gè)示例實(shí)施例中，殘留信號(hào)可被保護(hù)不變并且被直接包括到音頻靜態(tài)環(huán)境聲中。備選地，在一個(gè)示例實(shí)施例中，靜態(tài)環(huán)境聲生成器140可以將殘留信號(hào)上混音到那些沒(méi)有高度聲道的音頻靜態(tài)環(huán)境聲中。
[0036]由對(duì)象提取器120提取的音頻對(duì)象、由元數(shù)據(jù)估計(jì)器130估計(jì)的元數(shù)據(jù)以及由靜態(tài)環(huán)境聲生成器140生成的音頻靜態(tài)環(huán)境聲被遞送給音頻呈現(xiàn)器150以便呈現(xiàn)。一般地，音頻靜態(tài)環(huán)境聲可以被呈現(xiàn)到預(yù)定義的揚(yáng)聲器位置。特別地，音頻靜態(tài)背景聲的一個(gè)或多個(gè)高度聲道可由高位(頭頂)揚(yáng)聲器呈現(xiàn)。音頻對(duì)象可由根據(jù)元數(shù)據(jù)由適當(dāng)位置的麥克風(fēng)呈現(xiàn)。例如，在一個(gè)示例實(shí)施例中，在任何給定的時(shí)刻，如果元數(shù)據(jù)所指示的音頻對(duì)象的高度大于閾值，音頻呈現(xiàn)器150可以至少部分地利用頭頂揚(yáng)聲器來(lái)呈現(xiàn)該音頻對(duì)象。
[0037]將會(huì)理解，盡管某些實(shí)施例參考揚(yáng)聲器而被描述，本發(fā)明的范圍不限于此。例如，對(duì)經(jīng)過(guò)上混音的音頻信號(hào)進(jìn)行雙耳呈現(xiàn)同樣是可行的。也即，經(jīng)過(guò)上混音的音頻信號(hào)可以被呈現(xiàn)到任何適當(dāng)?shù)亩鷻C(jī)、耳麥、頭戴式耳機(jī)，等等。
[0038]以此方式，不同于僅對(duì)擴(kuò)散信號(hào)進(jìn)行上混音而將直達(dá)信號(hào)留在地板揚(yáng)聲器的傳統(tǒng)方案，直達(dá)信號(hào)被用來(lái)提取音頻對(duì)象，音頻對(duì)象可以根據(jù)其位置而被呈現(xiàn)到高度揚(yáng)聲器。借助于這種混合式上混音策略，可以在具有任意揚(yáng)聲器布局的各種收聽環(huán)境中改善用戶體驗(yàn)。
[0039]根據(jù)本發(fā)明的實(shí)施例，系統(tǒng)100可以具有多種實(shí)現(xiàn)或者變形，以便實(shí)現(xiàn)優(yōu)化的上混音性能和/或滿足不同的需求和用例。作為示例，圖2示出了用于音頻信號(hào)上混音的系統(tǒng)200的框圖，系統(tǒng)200可被視作上文描述的系統(tǒng)100的一個(gè)實(shí)現(xiàn)。
[0040]如圖所不，在系統(tǒng)200中，直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110包括第一分解器210和第二分解器220，以便更好地對(duì)所提取的直達(dá)信號(hào)和擴(kuò)散信號(hào)進(jìn)行平衡。更具體地，已經(jīng)發(fā)現(xiàn):對(duì)于任何分解算法而言，所獲得的直達(dá)信號(hào)和擴(kuò)散信號(hào)是利用一定程度的權(quán)衡取得的。通常，難以針對(duì)直達(dá)信號(hào)和擴(kuò)散信號(hào)二者都取得良好的結(jié)果。也即，好的直達(dá)信號(hào)可能導(dǎo)致擴(kuò)散信號(hào)中的某些犧牲，反之亦然。
[0041]為了解決這一問(wèn)題，在系統(tǒng)200中，直達(dá)信號(hào)和擴(kuò)散信號(hào)不是像系統(tǒng)100中那樣利用單個(gè)分解過(guò)程或者算法獲得的。相反，第一分解器210被配置為應(yīng)用第一分解過(guò)程以獲得擴(kuò)散信號(hào)，而第二分解器220被配置為應(yīng)用第二分解過(guò)程以獲得直達(dá)信號(hào)。在此實(shí)施例中，第一分解過(guò)程和第二分解過(guò)程具有不同的“擴(kuò)散向直達(dá)”泄漏，并且彼此獨(dú)立地被應(yīng)用。
[0042]更具體地，在一個(gè)示例實(shí)施例中，第一分解過(guò)程具有比第二分解過(guò)程更小的“擴(kuò)散向直達(dá)”泄漏，以便更好地保留原始音頻信號(hào)中的擴(kuò)散分量。由此，第一分解過(guò)程將導(dǎo)致提取出的擴(kuò)散信號(hào)中的較小損失。相反，第二分解過(guò)程具有較小的“直達(dá)向擴(kuò)散”泄漏，以便更好地保留直達(dá)信號(hào)。在一個(gè)示例實(shí)施例中，第一分解器210和第二分解器220可以分別應(yīng)用不同類型的處理作為第一分解過(guò)程和第二分解過(guò)程。在另一實(shí)施例中，第一分解器210和第二分解器220可以應(yīng)用具有不同參數(shù)的相同分解過(guò)程。
[0043]圖3示出了根據(jù)另一實(shí)施例的上混音系統(tǒng)300的框圖。上文描述的上混音技術(shù)可以生成與舊有上混音器不同的聲像(sound image)，特別是對(duì)于被上混音到環(huán)繞7.1(具有或者不具有高度聲道)的環(huán)繞5.1格式的音頻信號(hào)而言。在舊有上混音器中，左環(huán)繞聲道(Ls)和右環(huán)繞聲道(Rs)通常位于相對(duì)于空間中心(頭部位置)±110°的位置，并且左后聲道(Lb)和右后聲道(Rb)在Ls和Rs聲道之后被生成和定位。在系統(tǒng)100或者200中，由于空間位置估計(jì)的內(nèi)在屬性，音頻對(duì)象的估計(jì)位置可能必須定位在五個(gè)靜態(tài)環(huán)境聲聲道之內(nèi)的區(qū)域，因此Ls和Rs聲道通常被推到空間的后面角落(也即，Lb和Rb的位置)，這使得所獲得的聲像可充滿整個(gè)空間。因此，在某些情況下，在系統(tǒng)100和200中，聲像可能在一定程度上被向后拉。
[0044]為了實(shí)現(xiàn)更好的兼容性，在系統(tǒng)300中，對(duì)將要進(jìn)行上混音的音頻信號(hào)進(jìn)行預(yù)先上混音過(guò)程。特別地，如圖3所示，音頻信號(hào)的分解不是直接在原始音頻信號(hào)上執(zhí)行的。相反，系統(tǒng)300包括預(yù)先上混音器310，其被配置為對(duì)原始音頻信號(hào)進(jìn)行預(yù)先上混音。經(jīng)過(guò)預(yù)先上混音的信號(hào)被傳遞給直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110，以便被分解為直達(dá)信號(hào)和擴(kuò)散信號(hào)。
[0045]可以使用任何目前已知的或者將來(lái)開發(fā)的適當(dāng)上混音器作為系統(tǒng)300中的預(yù)先上混音器310。在一個(gè)示例實(shí)施例中，可以使用舊有的上混音器來(lái)實(shí)現(xiàn)良好的兼容性。例如，在一個(gè)示例實(shí)施例中，可以將原始音頻信號(hào)預(yù)先上混音到具有默認(rèn)的一致格式(例如，環(huán)繞7.1等)的音頻。
[0046]系統(tǒng)300所實(shí)現(xiàn)的另一好處在于，可以在后續(xù)組件中實(shí)現(xiàn)一致的處理。這樣，可以避免用于具有不同格式的輸入的參數(shù)調(diào)節(jié)/選擇。
[0047]將會(huì)理解，系統(tǒng)200和系統(tǒng)300可以結(jié)合使用。更具體地，如圖3所示，在一個(gè)示例實(shí)施例中，系統(tǒng)300中的直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110可以包括擦考圖2所討論的第一分解器210和第二分解器220。在此實(shí)施例中，第一分解過(guò)程和第二分解過(guò)程被獨(dú)立地應(yīng)用于經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)而不是原始音頻信號(hào)。當(dāng)然，可以僅對(duì)經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)應(yīng)用一個(gè)分解過(guò)程。
[0048]圖4示出了在一個(gè)示例實(shí)施例中的上混音系統(tǒng)的另一變形的框圖。在圖4所示的系統(tǒng)400中，預(yù)先上混音器410對(duì)原始音頻信號(hào)執(zhí)行預(yù)先上混音。特別地，預(yù)先上混音器410將音頻信號(hào)上混音到具有至少一個(gè)高度聲道的格式。作為示例，在一個(gè)示例實(shí)施例中，音頻信號(hào)可以由預(yù)先上混音器410上混音為環(huán)繞7.1.2格式或者任何其他具有高度聲道的靜態(tài)環(huán)境聲布局。以此方式，可以經(jīng)由預(yù)先上混音過(guò)程而獲得一個(gè)或多個(gè)高度聲道。
[0049]由預(yù)先上混音器410獲得的高度信號(hào)被傳遞給靜態(tài)環(huán)境聲生成器140，并且被直接用作音頻靜態(tài)環(huán)境聲中的高度聲道。如上所述，直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110所獲得的擴(kuò)散信號(hào)和對(duì)象提取器120獲得的殘留信號(hào)(如果有的話)被傳遞給靜態(tài)環(huán)境聲生成器140。將會(huì)理解，在此實(shí)施例中，靜態(tài)環(huán)境聲生成器140無(wú)需對(duì)擴(kuò)散信號(hào)進(jìn)行上混音，因?yàn)楦叨嚷暤酪呀?jīng)存在了。也即，音頻靜態(tài)環(huán)境聲的高度聲道可以在不對(duì)擴(kuò)散信號(hào)進(jìn)行上混音的情況下被創(chuàng)建。擴(kuò)散信號(hào)可以被置入音頻靜態(tài)環(huán)境聲中。
[0050]此外，由于高度聲道不是根據(jù)擴(kuò)散信號(hào)生成的，系統(tǒng)400中的直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110可以被實(shí)施為如圖2中所示出的系統(tǒng)中的第二分解器220。以此方式，可以應(yīng)用具有較少的“擴(kuò)散向直達(dá)”泄漏的信號(hào)分解過(guò)程，以便特定地保留音頻信號(hào)中的直達(dá)分量。
[0051]此外，在系統(tǒng)400中，從預(yù)先上混音器410向直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110僅傳送經(jīng)過(guò)上混音的音頻信號(hào)的底面聲道是可能的。例如，在一個(gè)示例實(shí)施例中，如果音頻信號(hào)被預(yù)先上混音至環(huán)繞7.1.2，僅底面聲道7.1可以被饋送至直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110。當(dāng)然，在備選的實(shí)施例中，預(yù)先上混音器410可以將全部的經(jīng)過(guò)上混音的音頻信號(hào)輸入至直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110。
[0052]將理解到，在系統(tǒng)400中，由直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110通過(guò)對(duì)經(jīng)過(guò)預(yù)先上混音的信號(hào)或者它的一部分(也就是，底面聲道)應(yīng)用分解過(guò)程來(lái)分解音頻信號(hào)。在一個(gè)變體中，直達(dá)信號(hào)/擴(kuò)散信號(hào)分解過(guò)程可以對(duì)原始的輸入音頻信號(hào)來(lái)執(zhí)行，而不是對(duì)預(yù)先上混音的信號(hào)。圖5示出了在一個(gè)實(shí)施例中的這樣的系統(tǒng)500的框圖。
[0053]如所示出的，系統(tǒng)500包括預(yù)先上混音器410，用于對(duì)輸入音頻信號(hào)進(jìn)行預(yù)先上混音。不像其中經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)或者它的一部分被輸入到直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器的系統(tǒng)400，原始音頻信號(hào)被輸入到預(yù)先上混音器510和直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110。預(yù)先上混音器510，如預(yù)先上混音器410 —樣，通過(guò)將輸入音頻信號(hào)上混音至例如環(huán)繞
7.1.2等而生成高度信號(hào)。高度信號(hào)被輸入至靜態(tài)環(huán)境聲生成器140以用作高度聲道。
[0054]系統(tǒng)500中的直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110通過(guò)對(duì)原始音頻內(nèi)容應(yīng)用分解過(guò)程來(lái)獲得直達(dá)信號(hào)和擴(kuò)散信號(hào)。具體地，類似于系統(tǒng)400，直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110可以應(yīng)用具有較少的“擴(kuò)散向直達(dá)”泄漏的信號(hào)分解過(guò)程，以便很好地保留直達(dá)信號(hào)。相較于系統(tǒng)400，對(duì)象提取器120可以基于原始音頻信號(hào)而不是經(jīng)過(guò)上混音的信號(hào)的直達(dá)分量來(lái)提取音頻對(duì)象。在沒(méi)有上混音過(guò)程及其帶來(lái)的影響的情況下，所提取的音頻對(duì)象和它們的元數(shù)據(jù)可以保有更多的保真度。
[0055]要理解的是，系統(tǒng)200至500是系統(tǒng)100的某些示例修改或變體。系統(tǒng)200至500僅出于解釋說(shuō)明的目的而被討論，而不是給出對(duì)本發(fā)明的范圍的任何限制。
[0056]現(xiàn)在將討論控制器160的功能。為了解釋說(shuō)明，將參照?qǐng)D1中示出的系統(tǒng)100。這僅出于解釋說(shuō)明的目的而被討論，而不是給出對(duì)本發(fā)明的范圍的任何限制。以下描述的控制器的功能應(yīng)用至以上所討論的系統(tǒng)200至500中的任一個(gè)。
[0057]如以上所提及的，控制器160被配置為控制系統(tǒng)中的組件。具體地，在一個(gè)示例實(shí)施例中，控制器160可以控制直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110。如所知道的，在一些分解過(guò)程中，音頻信號(hào)可以首先被分解成若干不相關(guān)的音頻分量。每個(gè)音頻分量被應(yīng)用有相應(yīng)的擴(kuò)散增益，以用于提取擴(kuò)散信號(hào)。如本文中所使用的，術(shù)語(yǔ)“擴(kuò)散增益”指的是指示擴(kuò)散分量在音頻信號(hào)中的比例的增益。備選地，在一個(gè)示例實(shí)施例中，擴(kuò)散增益可以被應(yīng)用至原始音頻信號(hào)。在任一種情況下，(多個(gè))適當(dāng)?shù)臄U(kuò)散增益的選擇是關(guān)鍵問(wèn)題。
[0058]在一個(gè)示例實(shí)施例中，控制器160可以基于輸入音頻信號(hào)的復(fù)雜度來(lái)確定音頻信號(hào)的每個(gè)分量的擴(kuò)散增益。因此，控制器160計(jì)算復(fù)雜度得分以衡量音頻復(fù)雜度。復(fù)雜度得分可以以各種適當(dāng)?shù)姆绞絹?lái)定義。在一個(gè)示例實(shí)施例中，如果音頻信號(hào)包含各種聲音源和/或各種信號(hào)的混合，則復(fù)雜度得分可以被設(shè)置為高的數(shù)值。如果音頻信號(hào)僅包含一個(gè)擴(kuò)散信號(hào)和/或一個(gè)顯著的聲音源，則復(fù)雜度得分可以被設(shè)置為低的數(shù)值。
[0059]更具體地，在一個(gè)示例實(shí)施例中，控制器160可以計(jì)算音頻信號(hào)的分量的功率差異之總和。如果該總和低于閾值，這意味著音頻信號(hào)中僅包括擴(kuò)散信號(hào)。備選地或者附加地，控制器160可以確定功率跨越音頻信號(hào)的分量的分布有多平坦。備選地或者附加地，控制器160可以確定子頻帶中的局部顯著分量與全頻帶或時(shí)域中的全局顯著分量之間的功率差異。還可以使用任何附加的或備選的度量來(lái)估計(jì)音頻信號(hào)的復(fù)雜度。
[0060]控制器160然后可以基于音頻信號(hào)的復(fù)雜度來(lái)確定音頻信號(hào)的擴(kuò)散增益。在一個(gè)示例實(shí)施例中，可以將復(fù)雜度得分映射為音頻信號(hào)的每個(gè)音頻分量的擴(kuò)散增益。具體地，將理解的是，這里所描述的擴(kuò)散增益可以被實(shí)施為直接地被應(yīng)用到每個(gè)音頻分量的增益，或者被實(shí)施為用于進(jìn)一步修改初始估計(jì)的增益的乘子(另一個(gè)增益)。
[0061]在一個(gè)或多個(gè)實(shí)施例中，可以使用一個(gè)或多個(gè)映射函數(shù)來(lái)將復(fù)雜度得分映射為擴(kuò)散增益。在一個(gè)示例實(shí)施例中，可以使用非線性函數(shù)，非線性函數(shù)可以針對(duì)在直達(dá)/擴(kuò)散分解中獲得的不同音頻分量而設(shè)置。當(dāng)然，在備選的實(shí)施例中，可以對(duì)整個(gè)音頻信號(hào)使用單個(gè)函數(shù)。
[0062]圖6示出了映射函數(shù)的集合的示意圖，每個(gè)映射函數(shù)將復(fù)雜度得分映射為要被應(yīng)用于相關(guān)聯(lián)的信號(hào)分量的擴(kuò)散增益。曲線610指示用于輸入音頻信號(hào)的最顯著分量的映射函數(shù)，曲線620指示用于中等分量的映射函數(shù)，并且曲線630指示用于最不顯著的分量的映射函數(shù)。這些非線性函數(shù)可以通過(guò)將相應(yīng)的線性分段函數(shù)615、625和635擬合至S型(sigmoid)函數(shù)而生成。可以看出，根據(jù)操作模式控制，這些非線性函數(shù)可以具有一個(gè)或多個(gè)操作點(diǎn)(在圖中用星號(hào)標(biāo)出)。以此方式，操作曲線的參數(shù)可以以靈活且連續(xù)的方式進(jìn)行調(diào)諧。
[0063]在操作時(shí)，控制器160可以進(jìn)一步地在“更少的擴(kuò)散向直達(dá)泄漏”和“更少的直達(dá)向擴(kuò)散泄漏”模式的上下文中調(diào)整這些函數(shù)。例如，當(dāng)生成不具有明顯方向的包絡(luò)擴(kuò)散聲場(chǎng)時(shí)，曲線610的操作點(diǎn)可以朝向中間線調(diào)諧，以便實(shí)施“擴(kuò)散向直達(dá)泄漏”的保守模式。又例如，在方向性信號(hào)需要被盡可能原封不動(dòng)地被提取/平移(pan) /移動(dòng)/分離的時(shí)候，曲線620和630的操作點(diǎn)可以朝向曲線610調(diào)諧，以便實(shí)現(xiàn)“直達(dá)向擴(kuò)散泄露”的保守模式。
[0064]備選地，在一個(gè)示例實(shí)施例中，可以利用學(xué)習(xí)模型來(lái)估計(jì)音頻信號(hào)的每個(gè)分量的擴(kuò)散增益。在這個(gè)實(shí)施例中，模型基于一個(gè)或多個(gè)聲學(xué)特征來(lái)擴(kuò)散增益?？梢愿鶕?jù)操作模式輸入而差異化地學(xué)習(xí)或估計(jì)這些增益值。在一個(gè)示例實(shí)施例中，顯著的聲源和擴(kuò)散信號(hào)的混合可以被分解成若干不相關(guān)的分量?？梢蕴崛∫粋€(gè)或多個(gè)聲學(xué)特征?？梢愿鶕?jù)所選擇的操作模式來(lái)計(jì)算目標(biāo)增益。可以基于聲學(xué)特征和目標(biāo)增益來(lái)學(xué)習(xí)這些模型。
[0065]附加地或備選地，控制器160可以通過(guò)為對(duì)象提取器120選擇不同的提取模式來(lái)控制由對(duì)象提取器120執(zhí)行的對(duì)象提取。例如，在一種提取模式中，對(duì)象提取器120被配置為盡可能多地提取對(duì)象，以便充分利用音頻對(duì)象對(duì)最終的音頻呈現(xiàn)的益處。在另一種提取模式中，對(duì)象提取器120被配置為盡可能少地提取音頻對(duì)象，以便保留原始音頻信號(hào)的屬性并且避免音質(zhì)變化和空間不連續(xù)性?？梢远x任何備選的或附加的提取模式。
[0066]在一個(gè)示例實(shí)施例中，可以應(yīng)用“硬判決”，從而控制器160為對(duì)象提取器120選擇這些提取模式中的一種提取模式。備選地，可以應(yīng)用“軟判決”，從而可以憑借指示要被提取的音頻對(duì)象的量的O到I之間的因數(shù)，以連續(xù)的方式組合兩種或更多不同的提取模式。在一個(gè)示例實(shí)施例中，對(duì)象提取可以被看作用于對(duì)輸入音頻對(duì)象的每個(gè)子頻帶估計(jì)和應(yīng)用對(duì)象增益的方法。對(duì)象增益指示音頻信號(hào)包含音頻對(duì)象的概率。較小的對(duì)象增益指示較小量的被提取的對(duì)象。以此方式，不同的提取模式的選擇或者要被提取的對(duì)象的量可以通過(guò)調(diào)整對(duì)象增益來(lái)實(shí)現(xiàn)。
[0067]類似于以上所描述的擴(kuò)散增益，在一個(gè)示例實(shí)施例中，控制器160可以基于輸入音頻信號(hào)的復(fù)雜度來(lái)確定對(duì)象增益。例如，以上所描述的復(fù)雜度得分可以被用于確定對(duì)象增益，并且也可以應(yīng)用如圖6中示出的類似的(多個(gè))。例如，如果音頻復(fù)雜度低，對(duì)象增益可以被設(shè)置為高的數(shù)值。據(jù)此，控制器160控制對(duì)象提取器120盡可能多地提取音頻對(duì)象。否則，如果音頻復(fù)雜度高，對(duì)象增益可以被設(shè)置為低的數(shù)值。據(jù)此，控制器160控制對(duì)象提取器120以提取較少數(shù)目的音頻對(duì)象。這將是有益的，因?yàn)樵趶?fù)雜的音頻信號(hào)中，音頻對(duì)象通常不能夠被很好地提取，并且如果提取過(guò)多的對(duì)象，可能會(huì)引入可聽到的瑕疵。
[0068]要理解的是，對(duì)象增益可以是被直接地應(yīng)用至音頻信號(hào)(例如，每個(gè)子頻帶)的增益、或者是被用于進(jìn)一步修改初始估計(jì)的增益的乘子(另一個(gè)增益)。也就是說(shuō)，可以以與在其中估計(jì)和/或調(diào)整環(huán)境增益的直達(dá)/擴(kuò)散分解類似的方式來(lái)控制對(duì)象提取。此外，在一個(gè)示例實(shí)施例中，可以對(duì)音頻信號(hào)的所有子頻帶應(yīng)用單個(gè)映射函數(shù)。備選地，不同的映射函數(shù)可以被生成并且針對(duì)不同的子頻帶或者不同的子頻帶集合而被應(yīng)用。在一個(gè)示例實(shí)施例中，在這種場(chǎng)景中也可以應(yīng)用如所討論的基于模型的增益估計(jì)。
[0069]在一個(gè)示例實(shí)施例中，控制器160可以自動(dòng)地基于音頻信號(hào)的復(fù)雜度而在元數(shù)據(jù)估計(jì)、特別是高度估計(jì)時(shí)確定模式或參數(shù)，高度估計(jì)確定音頻對(duì)象的高度。一般而言，針對(duì)高度信息的估計(jì)可以定義不同的模式。例如，在一個(gè)示例實(shí)施例中，可以定義激進(jìn)模式，其中所提取的音頻對(duì)象被盡可能高地放置，以便創(chuàng)建更具沉浸感的音頻圖像(aud1 image)。在另一個(gè)實(shí)施例中，控制器160可以控制元數(shù)據(jù)估計(jì)器130以應(yīng)用保守模式，其中音頻對(duì)象被盡可能低地放置到(具有保守的高度值的)底面靜態(tài)環(huán)境聲，以避免引入可能的瑕疵。
[0070]為了選擇高度估計(jì)的適當(dāng)模式，在一個(gè)示例實(shí)施例中，控制器160可以基于音頻信號(hào)的復(fù)雜度來(lái)確定高度增益。高度增益可以被用于進(jìn)一步修改由元數(shù)據(jù)估計(jì)器130估計(jì)的高度信息。例如，可以通過(guò)將高度增益設(shè)置為小于I來(lái)減小所提取的音頻對(duì)象的高度。
[0071]在一個(gè)示例實(shí)施例中，可以再次應(yīng)用類似于圖6中示出的那些曲線。也就是說(shuō)，在復(fù)雜度較低時(shí)，其中對(duì)象可以被很好地提取并且隨后被很好地呈現(xiàn)，高度增益可以被設(shè)置為較大或者接近于I。另一方面，在音頻復(fù)雜度較高時(shí)，高度增益可以被設(shè)置為較低，以避免可聽到的瑕疵。這是因?yàn)閷?duì)象在這種情況下可能無(wú)法很好地被提取，并且可能一個(gè)源的一些子頻帶被提取為對(duì)象并且同一個(gè)源的其他子頻帶被認(rèn)為是殘留。因此，如果“被對(duì)象化”的子頻帶被放置得較高，這些子頻帶與同一個(gè)源的“被殘留化”的子頻帶相比將更加不同，因而引入了諸如焦點(diǎn)丟失之類的瑕疵。
[0072]在一個(gè)示例實(shí)施例中，控制器160也可以控制靜態(tài)環(huán)境聲生成。如以上所描述的，靜態(tài)環(huán)境聲生成器140得到輸入，輸入包括從直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110提取的擴(kuò)散信號(hào)并且可能包括來(lái)自對(duì)象提取器120的殘留信號(hào)?？赡艽嬖谠S多選擇來(lái)在靜態(tài)環(huán)境聲生成時(shí)處理這兩個(gè)信號(hào)。例如，由直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器110提取的擴(kuò)散信號(hào)可以被維持為5.1 (如果原始輸入音頻具有環(huán)繞5.1的格式)。備選地，它可以被上混音至環(huán)繞7.1或7.1.2 (或者具有其他數(shù)目的高度揚(yáng)聲器)。類似地，來(lái)自對(duì)象提取器120的殘留信號(hào)可以保持原封不動(dòng)(諸如，以環(huán)繞5.1的格式)或者可以被上混音為環(huán)繞7.1。
[0073]將這兩種類型的信號(hào)的不同處理選擇進(jìn)行組合，得到多種模式。例如，在一種模式中，擴(kuò)散信號(hào)和殘留信號(hào)均被上混音至環(huán)繞7.1。在另一種模式中，擴(kuò)散信號(hào)被上混音至環(huán)繞7.1.2并且殘留信號(hào)是原封不動(dòng)的、或者可以被上混音至7.1。在一個(gè)示例實(shí)施例中，系統(tǒng)允許用戶基于處理時(shí)對(duì)任務(wù)的特殊要求而指示所期望的選擇或者模式。
[0074]在一個(gè)示例實(shí)施例中，控制器160可以通過(guò)音頻呈現(xiàn)器150來(lái)控制經(jīng)過(guò)上混音的音頻信號(hào)的呈現(xiàn)。可以將所提取的音頻對(duì)象和靜態(tài)環(huán)境聲直接地輸入到任何現(xiàn)成的呈現(xiàn)器以生成上混音結(jié)果。然而卻發(fā)現(xiàn)所呈現(xiàn)的結(jié)果可能包含某些瑕疵。例如，由于音頻對(duì)象提取和相應(yīng)的位置估計(jì)的不完美，可能聽到不穩(wěn)定性瑕疵。可能一個(gè)音頻對(duì)象可以被分割成若干不同位置中的兩個(gè)對(duì)象(瑕疵可能出現(xiàn)在轉(zhuǎn)變部分)或者若干對(duì)象被合并在一起(所估計(jì)的軌跡變得不穩(wěn)定)，并且如果所提取的音頻對(duì)象具有四個(gè)或五個(gè)活躍聲道，所估計(jì)的軌跡可能不準(zhǔn)確。此外，在雙聲道呈現(xiàn)時(shí)，將對(duì)象呈現(xiàn)到收聽者的位置(0.5，0.5)可能仍然是個(gè)問(wèn)題。如果音頻對(duì)象的所估計(jì)的位置“稍微”圍繞(0.5，0.5)波動(dòng)，不穩(wěn)定性瑕疵顯然是惱人的。
[0075]為了提升呈現(xiàn)的質(zhì)量，在一個(gè)示例實(shí)施例中，控制器160可以估計(jì)“良好度”度量，以衡量所估計(jì)的對(duì)象和位置/軌跡能夠有多良好。一種可能的解決方案是，如果所估計(jì)的對(duì)象和位置足夠良好，可以應(yīng)用更多的傾向于音頻對(duì)象的呈現(xiàn)。否則，可以使用傾向于聲道的呈現(xiàn)。
[0076]在一個(gè)示例實(shí)施例中，良好度度量可以被實(shí)施為O到I之間的數(shù)值，并且可以基于影響呈現(xiàn)性能的一個(gè)或多個(gè)因數(shù)來(lái)獲得。例如，如果滿足以下條件中的一個(gè)條件則良好度度量可以是低的:提取的對(duì)象具有許多活躍聲道、提取的對(duì)象的位置接近收聽者、聲道之間的能量分布非常不同于參考(揚(yáng)聲器)呈現(xiàn)器的平移算法(即，可能是不準(zhǔn)確的對(duì)象)等等。
[0077]在一個(gè)示例實(shí)施例中，良好度度量可以被表示為對(duì)象呈現(xiàn)增益，以確定音頻呈現(xiàn)器150的、與提取的音頻對(duì)象有關(guān)的呈現(xiàn)的水平。一般而言，對(duì)象呈現(xiàn)增益與良好度度量正相關(guān)。在最簡(jiǎn)單的情況下，對(duì)象呈現(xiàn)增益可以等于良好度度量，因?yàn)榱己枚榷攘吭贠到I之間。例如，對(duì)象呈現(xiàn)增益可以基于以下各項(xiàng)中的至少一項(xiàng)來(lái)確定:音頻對(duì)象的活躍聲道的數(shù)目、音頻對(duì)象關(guān)于用戶的位置、以及音頻對(duì)象的在聲道之間的能量分布。
[0078]圖7示出了音頻對(duì)象上混音的方法700的流程圖。方法700開始于步驟710，其中音頻信號(hào)被分解為擴(kuò)散信號(hào)和直達(dá)信號(hào)。在一個(gè)示例實(shí)施例中，在步驟710，可以應(yīng)用第一分解過(guò)程以獲得擴(kuò)散信號(hào)，并且可以應(yīng)用第二分解過(guò)程以獲得直達(dá)信號(hào)，其中第一分解過(guò)程具有比第二分解過(guò)程更少的擴(kuò)散向直達(dá)泄漏。在一個(gè)示例實(shí)施例中，音頻對(duì)象在步驟710之前被預(yù)先上混音。在這個(gè)實(shí)施例中，第一分解過(guò)程和第二分解過(guò)程可以被獨(dú)立地應(yīng)用至經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)。
[0079]然后在步驟720，可以基于擴(kuò)散信號(hào)生成包括高度聲道的音頻靜態(tài)環(huán)境聲。音頻靜態(tài)環(huán)境聲的生成包括對(duì)擴(kuò)散信號(hào)進(jìn)行上混音以創(chuàng)建高度聲道，以及將殘留信號(hào)包括到音頻靜態(tài)環(huán)境聲中，殘留信號(hào)從音頻對(duì)象的提取中被獲得。在音頻信號(hào)被預(yù)先上混音的一個(gè)示例實(shí)施例中，在步驟720，可以通過(guò)使用高度信號(hào)來(lái)創(chuàng)建高度聲道而不對(duì)擴(kuò)散信號(hào)進(jìn)行上混音。在這個(gè)實(shí)施例中，在步驟710，可以對(duì)經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)或者它的一部分、或者對(duì)原始音頻信號(hào)應(yīng)用分解過(guò)程。
[0080]在步驟730，從直達(dá)信號(hào)提取(多個(gè))音頻對(duì)象，并且在步驟740，估計(jì)音頻對(duì)象的元數(shù)據(jù)。具體地，元數(shù)據(jù)包括音頻對(duì)象的高度信息。要理解的是，可以以任何適當(dāng)?shù)捻樞蚧蛘呖梢圆⒘械貓?zhí)行靜態(tài)環(huán)境聲生成和音頻對(duì)象提取以及元數(shù)據(jù)估計(jì)。也就是說(shuō)，在一個(gè)示例實(shí)施例中，步驟730和740可以在步驟720之前被執(zhí)行或者與步驟720并列地被執(zhí)行。
[0081]在步驟750，將音頻靜態(tài)環(huán)境聲和音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且音頻對(duì)象根據(jù)元數(shù)據(jù)而被呈現(xiàn)。
[0082]如以上所描述的，在一個(gè)示例實(shí)施例中，可以例如以復(fù)雜度得分的形式來(lái)確定音頻信號(hào)的復(fù)雜度。在一個(gè)示例實(shí)施例中，可以基于該復(fù)雜度來(lái)確定音頻信號(hào)的擴(kuò)散增益，其中述擴(kuò)散增益指示擴(kuò)散信號(hào)在音頻信號(hào)中的比例。在這個(gè)實(shí)施例中，可以基于擴(kuò)散增益來(lái)分解音頻信號(hào)。
[0083]附加地或備選地，在一個(gè)示例實(shí)施例中，可以基于復(fù)雜度來(lái)確定音頻信號(hào)的對(duì)象增益，其中對(duì)象增益指示音頻信號(hào)包含音頻對(duì)象的概率。在這個(gè)實(shí)施例中，可以基于對(duì)象增益來(lái)提取音頻對(duì)象。附加地或備選地，在一個(gè)示例實(shí)施例中，可以基于復(fù)雜度來(lái)確定音頻對(duì)象的高度增益。在這個(gè)實(shí)施例中，可以基于高度增益來(lái)調(diào)整音頻對(duì)象的高度。
[0084]附加地或備選地，在一個(gè)示例實(shí)施例中，可以基于以下各項(xiàng)中的至少一項(xiàng)，確定對(duì)象呈現(xiàn)增益:音頻對(duì)象的活躍聲道的數(shù)量、音頻對(duì)象關(guān)于用戶的位置、以及音頻對(duì)象在聲道之間的能量分布。在這個(gè)實(shí)施例中，可以基于對(duì)象呈現(xiàn)增益，在經(jīng)過(guò)上混音的音頻信號(hào)的呈現(xiàn)中控制音頻對(duì)象的水平。
[0085]要理解的是，系統(tǒng)100到500中的任何一個(gè)系統(tǒng)的組件可以是硬件模塊，也可以是軟件模塊。例如，在某些實(shí)施例中，該系統(tǒng)可以部分或者全部地利用軟件和/或固件來(lái)實(shí)現(xiàn)，例如被實(shí)現(xiàn)為包含在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品。備選地或附加地，該系統(tǒng)可以部分或者全部地基于硬件來(lái)實(shí)現(xiàn)，例如被實(shí)現(xiàn)為集成電路(1C)、專用集成電路(ASIC)、片上系統(tǒng)(SOC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)等。本發(fā)明的范圍在此方面不受限制。
[0086]圖8示出了適于用來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施例的計(jì)算機(jī)系統(tǒng)800的示意性框圖。如圖8所示，計(jì)算機(jī)系統(tǒng)800包括中央處理單元(CPU)801，其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM) 802中的程序或者從存儲(chǔ)單元808加載到隨機(jī)訪問(wèn)存儲(chǔ)器(RAM) 803中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM 803中，還存儲(chǔ)有設(shè)備800操作所需的各種程序和數(shù)據(jù)。CPU 80KROM 802以及RAM 803通過(guò)總線804彼此相連。輸入/輸出(I/O)接口 805也連接至總線804。
[0087]以下部件連接至I/O接口 805:包括鍵盤、鼠標(biāo)等的輸入單元806 ;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出單元807 ;包括硬盤等的存儲(chǔ)單元808 ;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信單元809。通信單元809經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器810也根據(jù)需要連接至I/O接口 805。可拆卸介質(zhì)811，諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等，根據(jù)需要安裝在驅(qū)動(dòng)器810上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)單元808。
[0088]特別地，根據(jù)本發(fā)明的實(shí)施例，以上描述的過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本發(fā)明的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包含用于執(zhí)行方法的程序代碼。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以通過(guò)通信單元809從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)811被安裝。
[0089]—般而言，本發(fā)明的各種示例實(shí)施例可以在硬件或?qū)Ｓ秒娐?、軟件、邏輯，或其任何組合中實(shí)施。某些方面可以在硬件中實(shí)施，而其他方面可以在可以由控制器、微處理器或其他計(jì)算設(shè)備執(zhí)行的固件或軟件中實(shí)施。當(dāng)本發(fā)明的實(shí)施例的各方面被圖示或描述為框圖、流程圖或使用某些其他圖形表示時(shí)，將理解此處描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以作為非限制性的示例在硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計(jì)算設(shè)備，或其某些組合中實(shí)施。
[0090]而且，流程圖中的各框可以被看作是方法步驟，和/或計(jì)算機(jī)程序代碼的操作生成的操作，和/或理解為執(zhí)行相關(guān)功能的多個(gè)耦合的邏輯電路元件。例如，本發(fā)明的實(shí)施例包括計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括有形地實(shí)現(xiàn)在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包含被配置為實(shí)現(xiàn)上文描述方法的程序代碼。
[0091]在公開的上下文內(nèi)，機(jī)器可讀介質(zhì)可以是包含或存儲(chǔ)用于或有關(guān)于指令執(zhí)行系統(tǒng)、裝置或設(shè)備的程序的任何有形介質(zhì)。機(jī)器可讀介質(zhì)可以是機(jī)器可讀信號(hào)介質(zhì)或機(jī)器可讀存儲(chǔ)介質(zhì)。機(jī)器可讀介質(zhì)可以包括但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)、裝置或設(shè)備，或其任意合適的組合。機(jī)器可讀存儲(chǔ)介質(zhì)的更詳細(xì)示例包括帶有一根或多根導(dǎo)線的電氣連接、便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存儲(chǔ)存取器(RAM)、只讀存儲(chǔ)器(ROM)、可擦除可編程只讀存儲(chǔ)器(EPR0M或閃存)、光存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備，或其任意合適的組合。
[0092]用于實(shí)現(xiàn)本發(fā)明的方法的計(jì)算機(jī)程序代碼可以用一種或多種編程語(yǔ)言的任意組合來(lái)編寫。這些計(jì)算機(jī)程序代碼可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程的數(shù)據(jù)處理裝置的處理器，使得程序代碼在被計(jì)算機(jī)或其他可編程的數(shù)據(jù)處理裝置執(zhí)行的時(shí)候，引起在流程圖和/或框圖中規(guī)定的功能/操作被實(shí)施。程序代碼可以完全在計(jì)算機(jī)上、部分在計(jì)算機(jī)上、作為獨(dú)立的軟件包、部分在計(jì)算機(jī)上且部分在遠(yuǎn)程計(jì)算機(jī)上或完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。
[0093]另外，盡管操作以特定順序被描繪，但這并不應(yīng)該理解為要求此類操作以示出的特定順序或以相繼順序完成，或者執(zhí)行所有圖示的操作以獲取期望結(jié)果。在某些情況下，多任務(wù)或并行處理會(huì)是有益的。同樣地，盡管上述討論包含了某些特定的實(shí)施細(xì)節(jié)，但這并不應(yīng)解釋為限制任何發(fā)明或權(quán)利要求的范圍，而應(yīng)解釋為對(duì)可以針對(duì)特定發(fā)明的特定實(shí)施例的描述。本說(shuō)明書中在分開的實(shí)施例的上下文中描述的某些特征也可以整合實(shí)施在單個(gè)實(shí)施例中。相反地，在單個(gè)實(shí)施例的上下文中描述的各種特征也可以分離地在多個(gè)實(shí)施例或在任意合適的子組合中實(shí)施。
[0094]針對(duì)前述本發(fā)明的示例實(shí)施例的各種修改、改變將在連同附圖查看前述描述時(shí)對(duì)相關(guān)技術(shù)領(lǐng)域的技術(shù)人員變得明顯。任何及所有修改將仍落入非限制的和本發(fā)明的示例實(shí)施例范圍。此外，前述說(shuō)明書和附圖存在啟發(fā)的益處，涉及本發(fā)明的這些實(shí)施例的技術(shù)領(lǐng)域的技術(shù)人員將會(huì)想到此處闡明的本發(fā)明的其他實(shí)施例。
[0095]由此，本發(fā)明可以通過(guò)在此描述的任何形式來(lái)實(shí)現(xiàn)。例如，以下的枚舉示例實(shí)施例(EEE)描述了本發(fā)明的某些方面的某些結(jié)構(gòu)、特征和功能。
[0096]EEE 1.一種新的上混音方法，包括:從音頻信號(hào)提取環(huán)境音、對(duì)象和/或殘留信號(hào)以及對(duì)應(yīng)的元數(shù)據(jù)；將環(huán)境音和/或殘留信號(hào)進(jìn)行上混音以生成靜態(tài)環(huán)境聲；由呈現(xiàn)器使用雙聲道或揚(yáng)聲器呈現(xiàn)來(lái)呈現(xiàn)對(duì)象和靜態(tài)環(huán)境聲；以及基于正被處理的音頻信號(hào)的內(nèi)容來(lái)控制操作模式。
[0097]EEE 2.根據(jù)EEE I所述的方法，其中直達(dá)/擴(kuò)散分解在兩種單獨(dú)的模式中被執(zhí)行，以生成針對(duì)靜態(tài)環(huán)境聲生成的更好擴(kuò)散信號(hào)以及生成針對(duì)對(duì)象提取的更好直達(dá)信號(hào)。
[0098]EEE 3.根據(jù)EEE I所述的方法，其中輸入音頻信號(hào)在直達(dá)/擴(kuò)散分解之前被預(yù)先上混音至某個(gè)揚(yáng)聲器布局，諸如環(huán)繞7.1.2，其中傳統(tǒng)的基于聲道的上混音器可以被用于預(yù)先上混音。
[0099]EEE4.根據(jù)EEE 3所述的方法，其中從預(yù)先上混音獲得的高度聲道被直接連線至音頻靜態(tài)環(huán)境聲，并且直達(dá)/擴(kuò)散分解的一個(gè)模式被應(yīng)用至經(jīng)過(guò)預(yù)先上混音的信號(hào)的至少一部分。
[0100]EEE5.根據(jù)EEE 3所述的方法，其中從預(yù)先上混音獲得的高度聲道被直接連線至音頻靜態(tài)環(huán)境聲，并且直達(dá)/擴(kuò)散分解的一個(gè)模式被應(yīng)用至原始信號(hào)。
[0101]EEE 6.根據(jù)EEE I所述的方法，其中在具有或不具有用于靜態(tài)環(huán)境聲生成的高度聲道的情況下，殘留信號(hào)被上混音至更多的聲道。
[0102]EEE 7.根據(jù)EEE I所述的方法，其中由控制器根據(jù)所處理的內(nèi)容而設(shè)置針對(duì)直達(dá)/擴(kuò)散分解、對(duì)象提取、元數(shù)據(jù)估計(jì)以及呈現(xiàn)的不同模式。
[0103]EEE 8.根據(jù)EEE 7所述的方法，其中基于內(nèi)容來(lái)估計(jì)擴(kuò)散增益，以控制所提取的擴(kuò)散和直達(dá)信號(hào)，并且根據(jù)將內(nèi)容復(fù)雜度得分作為輸入的映射函數(shù)來(lái)生成擴(kuò)散增益。
[0104]EEE 9.根據(jù)EEE 7所述的方法，其中基于內(nèi)容來(lái)估計(jì)對(duì)象增益，以控制對(duì)象提取時(shí)對(duì)象化的水平，并且根據(jù)將內(nèi)容復(fù)雜度得分作為輸入的映射函數(shù)來(lái)生成對(duì)象增益。
[0105]EEE 10.根據(jù)EEE 7所述的方法，其中基于內(nèi)容來(lái)估計(jì)高度增益，以修改所提取的對(duì)象的高度，并且根據(jù)將內(nèi)容復(fù)雜度得分作為輸入的映射函數(shù)來(lái)生成高度增益。
[0106]EEE 11.根據(jù)EEE 8至10中任一項(xiàng)所述的方法，其中(多個(gè))映射函數(shù)可以基于操作模式控制而按分量地配置。
[0107]EEE 12.根據(jù)EEE 8至10中任一項(xiàng)所述的方法，其中可以基于預(yù)先學(xué)習(xí)模型來(lái)進(jìn)一步估計(jì)所有增益。
[0108]EEE 13.根據(jù)EEE 7所述的方法，其中基于所提取的對(duì)象以及所估計(jì)的位置的良好度來(lái)估計(jì)對(duì)象呈現(xiàn)增益，以便控制在呈現(xiàn)器中基于對(duì)象的呈現(xiàn)的水平，并且呈現(xiàn)結(jié)果是對(duì)象呈現(xiàn)和聲道呈現(xiàn)的加權(quán)總和，其中該權(quán)重根據(jù)對(duì)象呈現(xiàn)增益來(lái)確定。
[0109]將會(huì)理解，本法明的實(shí)施例不限于公開的特定實(shí)施例，并且修改和其他實(shí)施例都應(yīng)包含于所附的權(quán)利要求范圍內(nèi)。盡管此處使用了特定的術(shù)語(yǔ)，但是它們僅在通用和描述的意義上使用，而并不用于限制目的。
【主權(quán)項(xiàng)】
1.一種對(duì)音頻信號(hào)進(jìn)行上混音的方法，包括: 將所述音頻信號(hào)分解成擴(kuò)散信號(hào)和直達(dá)信號(hào)； 至少部分地基于所述擴(kuò)散信號(hào)生成音頻靜態(tài)環(huán)境聲，所述音頻靜態(tài)環(huán)境聲包括高度聲道; 從所述直達(dá)信號(hào)中提取音頻對(duì)象； 估計(jì)所述音頻對(duì)象的元數(shù)據(jù)，所述元數(shù)據(jù)包括所述音頻對(duì)象的高度信息；以及將所述音頻靜態(tài)環(huán)境聲和所述音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中所述音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且所述音頻對(duì)象根據(jù)所述元數(shù)據(jù)而被呈現(xiàn)。2.根據(jù)權(quán)利要求1所述的方法，其中所述生成所述音頻靜態(tài)環(huán)境聲包括: 對(duì)所述擴(kuò)散信號(hào)進(jìn)行上混音，以創(chuàng)建所述高度聲道；以及 將殘留信號(hào)包括到所述音頻靜態(tài)環(huán)境聲中，所述殘留信號(hào)從所述音頻對(duì)象的提取中被獲得。3.根據(jù)權(quán)利要求1所述的方法，其中所述分解所述音頻信號(hào)包括: 應(yīng)用第一分解過(guò)程以獲得所述擴(kuò)散信號(hào)；以及 應(yīng)用第二分解過(guò)程以獲得所述直達(dá)信號(hào)，所述第一分解過(guò)程具有比所述第二分解過(guò)程更少的擴(kuò)散向直達(dá)泄漏。4.根據(jù)權(quán)利要求3所述的方法，進(jìn)一步包括: 對(duì)所述音頻信號(hào)進(jìn)行預(yù)先上混音， 其中所述第一分解過(guò)程和所述第二分解過(guò)程被獨(dú)立地應(yīng)用至經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)。5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 對(duì)所述音頻信號(hào)進(jìn)行預(yù)先上混音以獲得高度信號(hào)， 其中所述生成所述音頻靜態(tài)環(huán)境聲包括使用所述高度信號(hào)來(lái)創(chuàng)建所述高度聲道而不對(duì)所述擴(kuò)散信號(hào)進(jìn)行上混音。6.根據(jù)權(quán)利要求5所述的方法，其中所述分解所述音頻信號(hào)包括: 對(duì)所述音頻信號(hào)或者對(duì)經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)的至少一部分應(yīng)用分解過(guò)程。7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 確定所述音頻信號(hào)的復(fù)雜度。8.根據(jù)權(quán)利要求7所述的方法，其中所述分解所述音頻信號(hào)包括: 基于所述復(fù)雜度，確定針對(duì)所述音頻信號(hào)的擴(kuò)散增益，所述擴(kuò)散增益指示所述擴(kuò)散信號(hào)在所述音頻信號(hào)中的比例；以及 基于所述擴(kuò)散增益分解所述音頻信號(hào)。9.根據(jù)權(quán)利要求7所述的方法，其中所述提取所述音頻對(duì)象包括: 基于所述復(fù)雜度，確定針對(duì)所述音頻信號(hào)的對(duì)象增益，所述對(duì)象增益指示所述音頻信號(hào)包含音頻對(duì)象的概率；以及 基于所述對(duì)象增益提取所述音頻對(duì)象。10.根據(jù)權(quán)利要求7所述的方法，其中所述提取所述元數(shù)據(jù)包括: 基于所述復(fù)雜度，確定針對(duì)所述音頻對(duì)象的高度增益；以及 基于所述高度增益，修改所述音頻對(duì)象的所述高度信息。11.根據(jù)權(quán)利要求1所述的方法，其中所述呈現(xiàn)所述音頻對(duì)象包括: 基于以下各項(xiàng)中的至少一項(xiàng)，確定對(duì)象呈現(xiàn)增益: 所述音頻對(duì)象的活躍聲道的數(shù)量， 所述音頻對(duì)象關(guān)于用戶的位置，以及 所述音頻對(duì)象在聲道之間的能量分布；以及 基于所述對(duì)象呈現(xiàn)增益，在所述呈現(xiàn)中控制與所述音頻對(duì)象有關(guān)的呈現(xiàn)水平。12.—種對(duì)音頻信號(hào)進(jìn)行上混音的系統(tǒng)，包括: 直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器，被配置為將所述音頻信號(hào)分解成擴(kuò)散信號(hào)和直達(dá)信號(hào)；靜態(tài)環(huán)境聲生成器，被配置為至少部分地基于所述擴(kuò)散信號(hào)生成音頻靜態(tài)環(huán)境聲，所述音頻靜態(tài)環(huán)境聲包括高度聲道； 對(duì)象提取器，被配置為從所述直達(dá)信號(hào)中提取音頻對(duì)象； 元數(shù)據(jù)估計(jì)器，被配置為估計(jì)所述音頻對(duì)象的元數(shù)據(jù)，所述元數(shù)據(jù)包括所述音頻對(duì)象的高度信息；以及 音頻呈現(xiàn)器，被配置為將所述音頻靜態(tài)環(huán)境聲和所述音頻對(duì)象呈現(xiàn)為經(jīng)過(guò)上混音的音頻信號(hào)，其中所述音頻靜態(tài)環(huán)境聲被呈現(xiàn)到預(yù)定義的位置并且所述音頻對(duì)象根據(jù)所述元數(shù)據(jù)而被呈現(xiàn)。13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述靜態(tài)環(huán)境聲生成器被配置為對(duì)所述擴(kuò)散信號(hào)進(jìn)行上混音以創(chuàng)建所述高度聲道， 其中殘留信號(hào)被包括到所述音頻靜態(tài)環(huán)境聲中，所述殘留信號(hào)從所述音頻對(duì)象的提取中被獲得。14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器包括: 第一分解器，被配置為應(yīng)用第一分解過(guò)程以獲得所述擴(kuò)散信號(hào)；以及 第二分解器，被配置為應(yīng)用第二分解過(guò)程以獲得所述直達(dá)信號(hào)，所述第一分解過(guò)程具有比所述第二分解過(guò)程更少的擴(kuò)散向直達(dá)泄漏。15.根據(jù)權(quán)利要求14所述的系統(tǒng)，進(jìn)一步包括: 預(yù)先上混音器，被配置為對(duì)所述音頻信號(hào)進(jìn)行預(yù)先上混音， 其中所述第一分解過(guò)程和所述第二分解過(guò)程被獨(dú)立地應(yīng)用至經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)。16.根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括: 預(yù)先上混音器，被配置為對(duì)所述音頻信號(hào)進(jìn)行預(yù)先上混音以獲得高度信號(hào)， 其中所述靜態(tài)環(huán)境聲生成器被配置為使用所述高度信號(hào)來(lái)創(chuàng)建所述高度聲道而不對(duì)所述擴(kuò)散信號(hào)進(jìn)行上混音。17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器被配置為對(duì)經(jīng)過(guò)預(yù)先上混音的音頻信號(hào)的至少一部分或者對(duì)所述音頻信號(hào)應(yīng)用分解過(guò)程。18.根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括: 控制器，被配置為確定所述音頻信號(hào)的復(fù)雜度。19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述控制器進(jìn)一步被配置為基于所述復(fù)雜度確定針對(duì)所述音頻信號(hào)的擴(kuò)散增益，所述擴(kuò)散增益指示所述擴(kuò)散信號(hào)在所述音頻信號(hào)中的比例，并且其中所述直達(dá)信號(hào)/擴(kuò)散信號(hào)分解器被配置為基于所述擴(kuò)散增益分解所述音頻信號(hào)。20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述控制器進(jìn)一步被配置為基于所述復(fù)雜度確定針對(duì)所述音頻信號(hào)的對(duì)象增益，所述對(duì)象增益指示所述音頻信號(hào)包含音頻對(duì)象的概率， 并且其中所述對(duì)象提取器被配置為基于所述對(duì)象增益提取所述音頻對(duì)象。21.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述控制器進(jìn)一步被配置為基于所述復(fù)雜度確定針對(duì)所述音頻對(duì)象的高度增益， 并且其中所述元數(shù)據(jù)估計(jì)器被配置為基于所述高度增益修改所述音頻對(duì)象的所述高度信息。22.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述控制器進(jìn)一步被配置為基于以下各項(xiàng)中的至少一項(xiàng)，確定對(duì)象呈現(xiàn)增益:所述音頻對(duì)象的活躍聲道的數(shù)量、所述音頻對(duì)象關(guān)于用戶的位置、以及所述音頻對(duì)象在聲道之間的能量分布， 并且其中所述音頻呈現(xiàn)器被配置為基于所述對(duì)象呈現(xiàn)增益，控制由所述音頻呈現(xiàn)器在呈現(xiàn)中與所述音頻對(duì)象有關(guān)的呈現(xiàn)水平。23.一種對(duì)音頻信號(hào)進(jìn)行上混音的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品被有形地包含在非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)上并且包括機(jī)器可執(zhí)行指令，所述機(jī)器可執(zhí)行指令在被執(zhí)行時(shí)使所述機(jī)器執(zhí)行根據(jù)權(quán)利要求1到11任一項(xiàng)所述的方法的步驟。
【文檔編號(hào)】H04S7/00GK105992120SQ201510066647
【公開日】2016年10月5日
【申請(qǐng)日】2015年2月9日
【發(fā)明人】王珺, 蘆烈, 陳連武, 胡明清
【申請(qǐng)人】杜比實(shí)驗(yàn)室特許公司