本發(fā)明涉及處理音頻信號(hào)，并且更具體地涉及使用該信號(hào)的相位來(lái)增強(qiáng)有噪音頻語(yǔ)音信號(hào)。

背景技術(shù)：

在語(yǔ)音增強(qiáng)中，目的是獲得“增強(qiáng)語(yǔ)音”，其是對(duì)有噪語(yǔ)音處理后的版本，在某種意義上更接近真正的“純凈語(yǔ)音”或“目標(biāo)語(yǔ)音”。

應(yīng)注意，純凈語(yǔ)音被認(rèn)為僅能在訓(xùn)練期間獲得，而不能在系統(tǒng)的真實(shí)使用期間獲得。對(duì)于訓(xùn)練，可以利用近講麥克風(fēng)來(lái)獲得純凈語(yǔ)音，而可以利用同時(shí)錄音的遠(yuǎn)場(chǎng)麥克風(fēng)來(lái)獲得有噪語(yǔ)音?；蛘撸o定單獨(dú)的純凈語(yǔ)音信號(hào)和噪聲信號(hào)，可以將所述信號(hào)疊加在一起以獲得有噪語(yǔ)音信號(hào)，其中可以將純凈語(yǔ)音和有噪語(yǔ)音對(duì)一起用于訓(xùn)練。

語(yǔ)音增強(qiáng)和語(yǔ)音識(shí)別可以被認(rèn)為是不同卻相關(guān)的問(wèn)題。良好的語(yǔ)音增強(qiáng)系統(tǒng)當(dāng)然可以用作語(yǔ)音識(shí)別系統(tǒng)的輸入模塊。反過(guò)來(lái)，語(yǔ)音識(shí)別可能被用于改善語(yǔ)音增強(qiáng)，因?yàn)樽R(shí)別包含附加的信息。然而，并不清楚如何共同構(gòu)建用于增強(qiáng)任務(wù)和識(shí)別任務(wù)兩者的多任務(wù)循環(huán)(recurrent)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

在本文中，我們把語(yǔ)音增強(qiáng)當(dāng)作從“有噪語(yǔ)音”獲得“增強(qiáng)語(yǔ)音”的問(wèn)題。另一方面，術(shù)語(yǔ)語(yǔ)音分離是指將“目標(biāo)語(yǔ)音”從背景信號(hào)分離出來(lái)，其中，背景信號(hào)可以是任何其它非語(yǔ)音音頻信號(hào)，或者甚至是不感興趣的其它非目標(biāo)語(yǔ)音信號(hào)。我們所使用的術(shù)語(yǔ)語(yǔ)音增強(qiáng)還包括語(yǔ)音分離，因?yàn)槲覀儼阉斜尘靶盘?hào)的組合都視為噪聲。

在語(yǔ)音分離和語(yǔ)音增強(qiáng)應(yīng)用中，通常在短時(shí)傅里葉變換(stft)域中進(jìn)行處理。stft獲得信號(hào)的復(fù)域頻譜-時(shí)間(或時(shí)間-頻率)表示。觀測(cè)到的有噪信號(hào)的stft可以被寫(xiě)為目標(biāo)語(yǔ)音信號(hào)的stft和噪聲信號(hào)的stft之和。信號(hào)的stft是復(fù)數(shù)，并且求和是在復(fù)域中進(jìn)行。然而，在常規(guī)方法中，相位被忽略，并且假設(shè)觀測(cè)到的信號(hào)的stft的幅度等于目標(biāo)音頻和噪聲信號(hào)的stft的幅度之和，這是粗略的假設(shè)。因此，現(xiàn)有技術(shù)中的焦點(diǎn)已經(jīng)在給定有噪語(yǔ)音信號(hào)作為輸入的情況下對(duì)“目標(biāo)語(yǔ)音”的幅度預(yù)測(cè)上。在從其stft重建時(shí)域增強(qiáng)信號(hào)期間，有噪信號(hào)的相位被用作增強(qiáng)語(yǔ)音的stft的估計(jì)相位。這一點(diǎn)通常通過(guò)聲稱(chēng)增強(qiáng)語(yǔ)音的相位的最小均方誤差(mmse)估計(jì)是有噪信號(hào)的相位來(lái)進(jìn)行證明。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施方式提供了一種將有噪語(yǔ)音信號(hào)轉(zhuǎn)換為增強(qiáng)語(yǔ)音信號(hào)的方法。

通過(guò)自動(dòng)語(yǔ)音識(shí)別(asr)系統(tǒng)來(lái)處理有噪語(yǔ)音以產(chǎn)生asr特征。asr特征與有噪語(yǔ)音頻譜特征組合，并利用在訓(xùn)練過(guò)程中學(xué)習(xí)到的網(wǎng)絡(luò)參數(shù)被傳遞給深度循環(huán)神經(jīng)網(wǎng)絡(luò)(drnn)，以產(chǎn)生掩蔽，該掩蔽應(yīng)用到有噪語(yǔ)音以產(chǎn)生增強(qiáng)語(yǔ)音。

語(yǔ)音在短時(shí)傅立葉變換(stft)域中處理。雖然存在多種用于從有噪語(yǔ)音計(jì)算增強(qiáng)語(yǔ)音的stft幅度的方法，但我們專(zhuān)注于基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)(drnn)的方案。這些方案使用從有噪語(yǔ)音信號(hào)的stft獲得的特征作為輸入，以在輸出獲得增強(qiáng)語(yǔ)音信號(hào)的stft的幅度。這些有噪語(yǔ)音信號(hào)特征可以是頻譜幅度、頻譜功率或它們的對(duì)數(shù)，可以使用從有噪信號(hào)的stft獲得的對(duì)數(shù)梅爾濾波器組特征，或其它類(lèi)似的頻譜-時(shí)間特征。

在我們的基于循環(huán)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)中，循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)“掩蔽”或“濾波器”，其直接乘以有噪語(yǔ)音信號(hào)的stft，以獲得增強(qiáng)信號(hào)的stft?！把诒巍睂?duì)于每個(gè)時(shí)間頻率窗具有0到1之間的值，并且理想地是語(yǔ)音幅度除以語(yǔ)音和噪聲分量的幅度之和的比。該“理想掩蔽”被稱(chēng)為理想比掩蔽(idealratiomask)，其在系統(tǒng)的真實(shí)使用期間是未知的，但可在訓(xùn)練期間獲得。由于實(shí)值掩蔽與有噪信號(hào)的stft相乘，因此增強(qiáng)語(yǔ)音默認(rèn)最后使用有噪信號(hào)的stft的相位。當(dāng)我們將掩蔽應(yīng)用到有噪信號(hào)的stft的幅度部分時(shí)，我們稱(chēng)該掩蔽為“幅度掩蔽”，以表示其僅被應(yīng)用于有噪輸入的幅度部分。

通過(guò)最小化目標(biāo)函數(shù)來(lái)執(zhí)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，該目標(biāo)函數(shù)量化純凈語(yǔ)音目標(biāo)與通過(guò)網(wǎng)絡(luò)使用“網(wǎng)絡(luò)參數(shù)”獲得的增強(qiáng)語(yǔ)音之間的差異。訓(xùn)練程序旨在確定使神經(jīng)網(wǎng)絡(luò)的輸出和純凈語(yǔ)音目標(biāo)最接近的網(wǎng)絡(luò)參數(shù)。網(wǎng)絡(luò)訓(xùn)練通常使用反向傳播通過(guò)時(shí)間(bptt)算法完成，其需要在每次迭代時(shí)計(jì)算目標(biāo)函數(shù)關(guān)于網(wǎng)絡(luò)參數(shù)的梯度。

我們使用深度循環(huán)神經(jīng)網(wǎng)絡(luò)(drnn)來(lái)執(zhí)行語(yǔ)音增強(qiáng)。drnn可以是用于低延遲(在線(xiàn))應(yīng)用的長(zhǎng)短時(shí)記憶(lstm)網(wǎng)絡(luò)，或如果延遲不是問(wèn)題，則可以是雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(blstm)drnn。深度循環(huán)神經(jīng)網(wǎng)絡(luò)也可以是其它現(xiàn)代rnn類(lèi)型，諸如門(mén)控rnn或時(shí)鐘驅(qū)動(dòng)rnn。

在另一實(shí)施方式中，在估計(jì)過(guò)程中考慮音頻信號(hào)的幅度和相位。相位感知處理涉及幾個(gè)不同的方面：

在所謂的相位敏感信號(hào)近似(psa)技術(shù)中，當(dāng)僅預(yù)測(cè)目標(biāo)幅度時(shí)，使用目標(biāo)函數(shù)中的相位信息；

使用深度循環(huán)神經(jīng)網(wǎng)絡(luò)、采用能夠更好地預(yù)測(cè)增強(qiáng)信號(hào)的幅度和相位兩者的適當(dāng)?shù)哪繕?biāo)函數(shù)，來(lái)預(yù)測(cè)幅度和相位兩者；

使用輸入的相位作為預(yù)測(cè)幅度和相位的系統(tǒng)的附加輸入；以及

在深度循環(huán)神經(jīng)網(wǎng)絡(luò)中，使用諸如麥克風(fēng)陣列的多聲道音頻信號(hào)的所有幅度和相位。

應(yīng)注意，該想法適用于其它類(lèi)型的音頻信號(hào)的增強(qiáng)。例如，音頻信號(hào)可以包括其中識(shí)別任務(wù)是音樂(lè)轉(zhuǎn)錄的音樂(lè)信號(hào)，或者其中識(shí)別任務(wù)可以是將動(dòng)物聲音分類(lèi)成各種類(lèi)別的動(dòng)物聲音，以及其中識(shí)別任務(wù)可以是檢測(cè)和區(qū)分某些制音事件和/或目標(biāo)的環(huán)境聲音。

附圖說(shuō)明

[圖1]

圖1是使用asr特征將有噪語(yǔ)音信號(hào)轉(zhuǎn)換為增強(qiáng)語(yǔ)音信號(hào)的方法的流程圖；

[圖2]

圖2是圖1中的方法的訓(xùn)練過(guò)程的流程圖；

[圖3]

圖3是共同語(yǔ)音識(shí)別和增強(qiáng)方法的流程圖；

[圖4]

圖4是通過(guò)預(yù)測(cè)相位信息并利用幅度掩蔽將有噪音頻信號(hào)轉(zhuǎn)換為增強(qiáng)音頻信號(hào)的方法的流程圖；以及

[圖5]

圖5是圖4中的方法的訓(xùn)練過(guò)程的流程圖。

具體實(shí)施方式

圖1示出了將有噪語(yǔ)音信號(hào)112轉(zhuǎn)換為增強(qiáng)語(yǔ)音信號(hào)190的方法。也就是說(shuō)，該轉(zhuǎn)換增強(qiáng)了有噪語(yǔ)音。本文所描述的所有語(yǔ)音和音頻信號(hào)可以是由單個(gè)或多個(gè)麥克風(fēng)101從環(huán)境102獲取的單聲道或多聲道，例如，環(huán)境可以具有來(lái)自諸如一個(gè)或更多個(gè)人、動(dòng)物、樂(lè)器等源的音頻輸入。對(duì)于我們的問(wèn)題，源中的一個(gè)是我們的“目標(biāo)音頻”(主要是“目標(biāo)語(yǔ)音”)，音頻中的其它源被視為背景。

在音頻信號(hào)是語(yǔ)音的情況下，通過(guò)自動(dòng)語(yǔ)音識(shí)別(asr)系統(tǒng)170來(lái)處理有噪語(yǔ)音，以產(chǎn)生asr特征180，例如以“對(duì)齊信息向量”的形式。asr可以是常規(guī)的。利用網(wǎng)絡(luò)參數(shù)140通過(guò)深度循環(huán)神經(jīng)網(wǎng)絡(luò)(drnn)150來(lái)處理與有噪語(yǔ)音的stft特征組合的asr特征。可以使用下面描述的訓(xùn)練過(guò)程來(lái)學(xué)習(xí)該參數(shù)。

drnn產(chǎn)生掩蔽160。然后，在語(yǔ)音估計(jì)165期間，將該掩蔽應(yīng)用到有噪語(yǔ)音以產(chǎn)生增強(qiáng)語(yǔ)音190。如下所述，可以迭代增強(qiáng)和識(shí)別步驟。也就是說(shuō)，在獲得增強(qiáng)語(yǔ)音之后，該增強(qiáng)語(yǔ)音可以被用來(lái)獲得更好的asr結(jié)果，其可以在隨后的迭代期間被用作新的輸入。迭代可以持續(xù)進(jìn)行直到達(dá)到終止條件，例如，預(yù)定的迭代次數(shù)，或者直到當(dāng)前增強(qiáng)語(yǔ)音與來(lái)自先前迭代的增強(qiáng)語(yǔ)音之間的差小于預(yù)定閾值。

如本領(lǐng)域已知的，可以在通過(guò)總線(xiàn)連接到存儲(chǔ)器和輸入/輸出接口的處理器100中執(zhí)行該方法。

圖2示出了訓(xùn)練過(guò)程的要素。這里，有噪語(yǔ)音和對(duì)應(yīng)的純凈語(yǔ)音111被存儲(chǔ)在數(shù)據(jù)庫(kù)110中。確定目標(biāo)函數(shù)(有時(shí)稱(chēng)為“成本函數(shù)”或“誤差函數(shù)”)120。該目標(biāo)函數(shù)量化了增強(qiáng)語(yǔ)音與純凈語(yǔ)音之間的差異。通過(guò)最小化訓(xùn)練期間的目標(biāo)函數(shù)，網(wǎng)絡(luò)學(xué)習(xí)以產(chǎn)生類(lèi)似于純凈信號(hào)的增強(qiáng)信號(hào)。目標(biāo)函數(shù)用于執(zhí)行drnn訓(xùn)練130以確定網(wǎng)絡(luò)參數(shù)140。

圖3示出了執(zhí)行共同識(shí)別和增強(qiáng)的方法的要素。這里，共同目標(biāo)函數(shù)320測(cè)量純凈語(yǔ)音信號(hào)111及增強(qiáng)語(yǔ)音信號(hào)190及參考文本113(即，識(shí)別出的語(yǔ)音)與所產(chǎn)生的識(shí)別結(jié)果355之間的差異。在這種情況下，共同識(shí)別和增強(qiáng)網(wǎng)絡(luò)350還產(chǎn)生識(shí)別結(jié)果355，其也在確定共同目標(biāo)函數(shù)320時(shí)使用。識(shí)別結(jié)果可以是asr狀態(tài)、音素或詞序列等的形式。

共同目標(biāo)函數(shù)是增強(qiáng)任務(wù)目標(biāo)函數(shù)和識(shí)別任務(wù)目標(biāo)函數(shù)的加權(quán)和。對(duì)于增強(qiáng)任務(wù)，目標(biāo)函數(shù)可以是掩蔽近似(ma)、幅度頻譜近似(msa)或相位敏感頻譜近似(psa)。對(duì)于識(shí)別任務(wù)，目標(biāo)函數(shù)可以簡(jiǎn)單地是使用狀態(tài)或音素作為目標(biāo)類(lèi)別的交叉熵成本函數(shù)，或者可能是序列鑒別目標(biāo)函數(shù)，諸如使用假設(shè)網(wǎng)格計(jì)算出的最小音素錯(cuò)誤(mpe)、增強(qiáng)型最大互信息(bmmi)。

另選地，如虛線(xiàn)所示，識(shí)別結(jié)果355和增強(qiáng)語(yǔ)音190可以作為附加輸入反饋到共同識(shí)別和增強(qiáng)模塊350。

圖4示出了使用輸出增強(qiáng)音頻信號(hào)的估計(jì)相位455和幅度掩蔽460的增強(qiáng)網(wǎng)絡(luò)(drnn)450的方法，其采用從其幅度和相位412二者得到的有噪音頻信號(hào)特征作為輸入，并使用預(yù)測(cè)的相位455和幅度掩蔽460來(lái)獲得465增強(qiáng)音頻信號(hào)490。通過(guò)一個(gè)或更多個(gè)麥克風(fēng)401從環(huán)境402獲取有噪音頻信號(hào)。然后從相位和幅度掩蔽獲得增強(qiáng)音頻信號(hào)490。

圖5示出了類(lèi)似的訓(xùn)練過(guò)程。在這種情況下，增強(qiáng)網(wǎng)絡(luò)450使用相位敏感目標(biāo)函數(shù)。使用信號(hào)的幅度和相位來(lái)處理所有音頻信號(hào)，并且目標(biāo)函數(shù)420也是相位敏感的，即，目標(biāo)函數(shù)使用復(fù)域差。相位預(yù)測(cè)和相位敏感目標(biāo)函數(shù)提高了增強(qiáng)音頻信號(hào)490中的信噪比(snr)。

細(xì)節(jié)

語(yǔ)言模型已被整合到基于模型的語(yǔ)音分離系統(tǒng)中。與概率模型相反，前饋神經(jīng)網(wǎng)絡(luò)僅支持從輸入到輸出的一個(gè)方向的信息流。

本發(fā)明部分地基于語(yǔ)音增強(qiáng)網(wǎng)絡(luò)能夠從識(shí)別出的狀態(tài)序列受益并且識(shí)別系統(tǒng)能夠從語(yǔ)音增強(qiáng)系統(tǒng)的輸出受益的認(rèn)識(shí)。在沒(méi)有完全整合的系統(tǒng)的情況下，可以設(shè)想一個(gè)系統(tǒng)，該系統(tǒng)在增強(qiáng)與識(shí)別之間交替，以在這兩個(gè)任務(wù)中獲益。

因此，我們使用在第一次通過(guò)期間在有噪語(yǔ)音上訓(xùn)練的噪聲-魯棒的識(shí)別器。識(shí)別出的狀態(tài)序列與有噪語(yǔ)音特征組合，并用作被訓(xùn)練以重建增強(qiáng)語(yǔ)音的循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入。

現(xiàn)代語(yǔ)音識(shí)別系統(tǒng)利用多層次的語(yǔ)言信息。語(yǔ)言模型找到詞序列的概率。使用手工制作或?qū)W習(xí)的詞典查找表將詞映射到音素序列。音素被建模為三狀態(tài)左至右隱馬爾可夫模型(hmm)，其中每個(gè)狀態(tài)分布通常依賴(lài)于上下文，主要關(guān)于在音素的左邊和右邊的上下文窗口中存在什么音素。

可以跨不同的音素和上下文綁定hmm狀態(tài)。這可以使用上下文依存關(guān)系樹(shù)來(lái)實(shí)現(xiàn)。可以使用各種級(jí)別的與感興趣的幀的語(yǔ)言單元對(duì)齊來(lái)完成幀級(jí)別的識(shí)別輸出信息的結(jié)合。

因此，我們整合了語(yǔ)音識(shí)別和增強(qiáng)問(wèn)題。針對(duì)要被增強(qiáng)的所輸入的每一幀，一種架構(gòu)使用幀級(jí)別對(duì)齊狀態(tài)序列或從語(yǔ)音識(shí)別器接收到的幀級(jí)別對(duì)齊音素序列信息。對(duì)齊信息也可以是詞級(jí)別對(duì)齊。

提供對(duì)齊信息作為添加到lstm網(wǎng)絡(luò)的輸入的額外特征。我們可以使用對(duì)齊信息的不同類(lèi)型的特征。例如，我們可以使用1-hot表示來(lái)指示幀級(jí)別狀態(tài)或音素。當(dāng)針對(duì)依賴(lài)上下文的狀態(tài)完成時(shí)，這會(huì)產(chǎn)生大的向量，其會(huì)導(dǎo)致學(xué)習(xí)困難。我們還可以使用通過(guò)對(duì)每個(gè)狀態(tài)或音素的從訓(xùn)練數(shù)據(jù)計(jì)算出的頻譜特征進(jìn)行平均而得到的連續(xù)特征。這產(chǎn)生較短的輸入表示，并且提供每個(gè)狀態(tài)的某種保持相似性的編碼。如果信息與有噪頻譜輸入處于相同的域中，則在找到語(yǔ)音增強(qiáng)掩蔽時(shí)可以更容易地為網(wǎng)絡(luò)使用。

本發(fā)明的另一方面是在下一階段將來(lái)自?xún)蓚€(gè)系統(tǒng)的反饋?zhàn)鳛檩斎?。這種反饋可以以“迭代的方式”執(zhí)行，以進(jìn)一步提升性能。

在多任務(wù)學(xué)習(xí)中，目的是構(gòu)建同時(shí)針對(duì)不同目標(biāo)學(xué)習(xí)“好的”特征的結(jié)構(gòu)。目的是通過(guò)學(xué)習(xí)目標(biāo)來(lái)提升單獨(dú)任務(wù)的執(zhí)行。

用于幅度預(yù)測(cè)的相位敏感目標(biāo)函數(shù)

我們描述了對(duì)blstm-drnn450所使用的目標(biāo)函數(shù)的改進(jìn)。通常，在現(xiàn)有技術(shù)中，網(wǎng)絡(luò)對(duì)應(yīng)用到有噪音頻頻譜的濾波器或頻域掩蔽進(jìn)行估計(jì)，以產(chǎn)生純凈語(yǔ)音頻譜的估計(jì)。目標(biāo)函數(shù)確定音頻估計(jì)與純凈音頻目標(biāo)之間的幅度譜域中的誤差。重建的音頻估計(jì)保留有噪音頻信號(hào)的相位。

然而，當(dāng)使用有噪相位時(shí)，相位誤差與幅度相互作用，并且利用與純凈音頻幅度不同的幅度來(lái)獲得關(guān)于snr的最佳重建。這里，我們考慮直接使用基于復(fù)頻譜中的誤差的相位敏感目標(biāo)函數(shù)，該誤差包括幅度誤差和相位誤差二者。這允許所估計(jì)的幅度對(duì)使用有噪相位進(jìn)行補(bǔ)償。

利用時(shí)間-頻率掩蔽的分離

時(shí)間-頻率濾波方法對(duì)要乘以有噪音頻的頻域特征表示的濾波器或掩蔽函數(shù)進(jìn)行估計(jì)以形成純凈音頻信號(hào)的估計(jì)。我們定義經(jīng)由時(shí)域信號(hào)的窗口幀的離散傅里葉變換獲得的有噪音頻yf,t、噪聲nf,t和音頻sf,t的復(fù)短時(shí)譜。之后，我們省略了通過(guò)f,t的索引并考慮單個(gè)時(shí)間頻率窗。

假定估計(jì)掩蔽函數(shù)則純凈音頻被估計(jì)為在訓(xùn)練期間，提供純凈音頻信號(hào)和有噪音頻信號(hào)，并且借助失真測(cè)量來(lái)訓(xùn)練用于掩蔽函數(shù)的估計(jì)器其中，θ表示相位。

可以使用各種目標(biāo)函數(shù)，例如，掩蔽近似(ma)和信號(hào)近似(sa)。ma目標(biāo)函數(shù)使用y和s計(jì)算目標(biāo)掩蔽，然后將估計(jì)出的掩蔽與目標(biāo)掩蔽之間的誤差測(cè)量為

sa目標(biāo)將經(jīng)濾波的信號(hào)與目標(biāo)純凈音頻之間的誤差測(cè)量為

針對(duì)ma方案中的a^*，使用了各種“理想”掩蔽。最常見(jiàn)的是所謂的“理想二制掩蔽”(ibm)以及“理想比掩蔽”(irm)。

用于計(jì)算音頻估計(jì)的各種掩蔽函數(shù)a，它們的關(guān)于a的公式以及用于最優(yōu)化的條件。在ibm中，如果表達(dá)式x為真，則δ(x)為1，否則為0。

表2

用于源分離和增強(qiáng)的相位預(yù)測(cè)

這里，我們描述用于預(yù)測(cè)相位以及音頻源分離和音頻源增強(qiáng)應(yīng)用中的幅度的方法。該設(shè)置涉及使用用于執(zhí)行目標(biāo)信號(hào)的幅度和相位的預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)w。我們假定(一組)混合(或有噪)信號(hào)y(τ)，其是目標(biāo)信號(hào)(或源)s^*(τ)與來(lái)自不同源的其它背景信號(hào)之和。我們從y(τ)恢復(fù)s^*(τ)。用yt,f和分別表示y(τ)和s^*(τ)的短時(shí)傅立葉變換。

簡(jiǎn)單方案

在簡(jiǎn)單方案中，其中是純凈音頻信號(hào)，其在訓(xùn)練期間是已知的，并且是根據(jù)有噪信號(hào)的幅度和相位y＝[yt,f]t,f∈b的網(wǎng)絡(luò)的預(yù)測(cè)，即

其中，w是網(wǎng)絡(luò)的權(quán)重，并且b是所有時(shí)間-頻率索引的集合。網(wǎng)絡(luò)可以將以極坐標(biāo)表示法表示為或者以復(fù)數(shù)表示法表示為

其中re和im是實(shí)部和虛部。

復(fù)數(shù)濾波器方案

通常情況下，對(duì)要應(yīng)用到有噪音頻信號(hào)的濾波器進(jìn)行估計(jì)會(huì)更好，因?yàn)楫?dāng)信號(hào)純凈時(shí)，濾波器可以變?yōu)橐?unity)，使得輸入信號(hào)是輸出信號(hào)的估計(jì)

其中，at,f是由網(wǎng)絡(luò)估計(jì)的實(shí)數(shù)，其表示純凈信號(hào)與有噪信號(hào)的幅度之間的比率。我們包括了其中是純凈信號(hào)與有噪信號(hào)的相位之間的差異的估計(jì)。我們也可以把它寫(xiě)成復(fù)數(shù)濾波器當(dāng)輸入近似純凈時(shí)，則at,f接近于一，并且接近于零，使得復(fù)數(shù)濾波器ht,f接近于一。

組合方案

當(dāng)信號(hào)接近純凈時(shí)，復(fù)數(shù)濾波方案效果最佳，但是當(dāng)信號(hào)非常嘈雜時(shí)，系統(tǒng)必須估計(jì)有噪信號(hào)與純凈信號(hào)之間的差異。在這種情況下，直接估計(jì)純凈信號(hào)可能會(huì)更好。有鑒于此，我們可以讓網(wǎng)絡(luò)決定使用哪種方法，借助于軟門(mén)(softgate)αt,f，其是網(wǎng)絡(luò)的另一輸出且取值在零和一之間，并被用于針對(duì)每一時(shí)間頻率輸出選擇簡(jiǎn)單方案和復(fù)數(shù)濾波器方案的線(xiàn)性組合

其中，當(dāng)有噪信號(hào)近似等于純凈信號(hào)時(shí)，αt,f通常被設(shè)置成一，并且rt,f、θt,f表示網(wǎng)絡(luò)對(duì)純凈信號(hào)的幅度和相位的最佳估計(jì)。在這種情況下，網(wǎng)絡(luò)的輸出是

[αt,f,at,f,φt,f,rt,f,θt,f]t,f∈b＝fw(y)，

其中w是網(wǎng)絡(luò)中的權(quán)重。

簡(jiǎn)化組合方案

該組合方案可能具有太多的參數(shù)，這可能是不期望的。我們可以將所述組合方案簡(jiǎn)化如下。當(dāng)αt,f＝1時(shí)，網(wǎng)絡(luò)將輸入直接傳遞到輸出，這樣我們就不需要對(duì)掩蔽進(jìn)行估計(jì)了。因此，當(dāng)αt,f＝1時(shí)，我們將掩蔽設(shè)置成一并忽略掩蔽參數(shù)

其中，當(dāng)有噪信號(hào)近似等于純凈信號(hào)時(shí)，αt,f通常還被設(shè)置成一，并且當(dāng)其不是一時(shí)，我們確定

(1-αt,f)rt,fθt,f，

這表示網(wǎng)絡(luò)對(duì)αt,fyt,f與之間的差的最佳估計(jì)。在這種情況下，網(wǎng)絡(luò)的輸出是

[αt,f,rt,f,θt,f]t,f∈b＝fw(y)，

其中w是網(wǎng)絡(luò)中的權(quán)重。注意，組合方案和簡(jiǎn)化組合方案都是冗余表示，并且可以有多組參數(shù)獲得相同的估計(jì)。