專利名稱：從記錄設備消除噪聲的裝置和方法
技術領域：
本發(fā)明總體構思涉及一種記錄裝置，更具體地講，涉及一種當包括噪聲內容和實際音頻內容的信號被輸入到記錄設備中時消除噪聲內容的噪聲消除設備和方法。
背景技術：
傳統(tǒng)地，當使用攝像機記錄運動圖像時，由變焦距電動機或音鼓電動機的旋轉產(chǎn)生噪聲。由于噪聲通過麥克風被記錄在音頻信號中，所以當音頻信號被再現(xiàn)時聲音質量降低。
因此，用于消除噪聲的噪聲消除技術已經(jīng)變得必要。通常，噪聲消除設備使用傳統(tǒng)譜減(spectral subtraction)方法來消除背景噪聲。
現(xiàn)在將描述傳統(tǒng)譜減方法。
通過麥克風輸入的模擬信號被轉換為數(shù)字信號。數(shù)字信號在時間軸域被分為多個幀(即時間窗口)以減少幀之間的信息不連續(xù)以及信號的失真。從其獲得幀的數(shù)字信號使用快速傅立葉變換(FFT)運算被轉換為頻譜信號。
譜信號包括幅度譜信息和相位譜信息。幅度譜信息被用于譜減，相位譜信息被用于逆FFT(IFFT)運算。
譜減是從包括實際音頻內容和噪聲內容的幅度譜中減去估計的噪聲譜的運算。這里，一般通過將噪聲區(qū)域的幅度譜平均來計算音頻區(qū)域的噪聲譜。
當噪聲特性正常時，估計的噪聲譜與實際噪聲譜相似。因此，通過譜減獲得的幅度譜是僅實際音頻內容的幅度譜。
通過譜減獲得的幅度譜和相位譜被混合，并且幅度譜被恢復以通過IFFT在時域上再現(xiàn)原始信號。
在傳統(tǒng)譜減方法中，噪聲內容的頻率模式被提前估計，并且當在其中噪聲內容和實際音頻內容被混合的信號被輸入時，僅噪聲內容被消除。然而，如果噪聲內容的頻率模式被不準確估計，即如果實際音頻內容的頻率分量被確定為部分的噪聲內容，則一部分的實際音頻內容可與噪聲內容被錯誤地減去。另外，如果噪聲內容被不準確地估計，則僅部分的噪聲內容可被減去。其結果是，傳統(tǒng)減方法不能合適地消除噪聲內容。

發(fā)明內容
本發(fā)明總體構思提供一種通過在噪聲譜在其中根據(jù)音頻信號被更新的區(qū)域中獨立地設置閾值來從包括噪聲內容的音頻信號消除噪聲內容的方法。
本發(fā)明總體構思還提供一種噪聲消除設備和一種使用噪聲消除方法的記錄裝置。
將在接下來的描述中部分闡述本發(fā)明總體構思的另外的方面和優(yōu)點，還有一部分通過描述將是清楚的，或者可以經(jīng)過本發(fā)明的實施而得知。
通過提供一種從被分為多個幀的音頻信號中消除噪聲的方法可實現(xiàn)本發(fā)明總體構思的上述和/或其他方面和優(yōu)點，該方法包括在根據(jù)輸入音頻信號的音頻譜估計的噪聲譜在其中被更新的區(qū)域中通過可變獨立地設置一個或多個閾值來確定噪聲幀是否存在；如果當前幀被確定為噪聲幀，則根據(jù)先前幀的噪聲譜和當前幀的噪聲譜來更新估計的噪聲譜；和從輸入當前幀的音頻譜中減去更新的噪聲譜。
通過提供一種用于記錄裝置的噪聲消除設備也可實現(xiàn)本發(fā)明總體構思的上述和/或其他方面和優(yōu)點，該設備包括FFT單元，通過對被分為多個幀的音頻信號執(zhí)行快速傅立葉變換運算來計算頻譜信息；噪聲幀檢測器，在根據(jù)由FFT單元計算的頻譜估計的噪聲譜在其中被更新的區(qū)域中，通過獨立可變地設置閾值來確定噪聲幀；噪聲譜更新單元，如果由噪聲幀檢測器確定當前幀為在其中僅噪聲存在的幀，則使用當前幀的噪聲譜和先前幀的噪聲譜來更新估計的噪聲譜；譜減法器，從音頻信號的譜減去由噪聲譜更新單元更新的估計的噪聲譜；加法器，將從譜減法器輸出的音頻譜與從FFT單元輸出的相位譜信息相加；和IFFT單元，通過逆快速傅立葉變換運算將從加法器輸出的音頻譜恢復為時域上的原始信號。


通過結合附圖對實施例進行的以下描述，本發(fā)明總體構思的這些和/或其他方面和優(yōu)點將會變得更加清楚和更容易理解，其中圖1是示出根據(jù)本發(fā)明總體構思的實施例的記錄裝置的噪聲消除設備的方框圖；圖2是示出在圖1的噪聲幀檢測器中檢測噪聲幀的方法的流程圖；圖3A至3C是示出更新噪聲譜的處理的波形圖；和圖4A和4B是示出在根據(jù)本發(fā)明總體構思的實施例的噪聲減方法被應用之前和之后的音頻信號的波形圖。
具體實施例方式
現(xiàn)在，詳細描述本發(fā)明總體構思的實施例，其示例在附圖中表示，其中，相同的標號始終表示相同的部件。以下通過參考附圖描述實施例以解釋本發(fā)明總體構思。
圖1是示出根據(jù)本發(fā)明總體構思的實施例的記錄裝置的噪聲消除設備的方框圖。
參照圖1，噪聲消除設備包括預處理器110、快速傅立葉變換(FFT)單元120、噪聲幀檢測器130、噪聲譜更新單元140、譜減法器150、加法器160和逆快速傅立葉變換(IFFT)單元170。
通過麥克風輸入的模擬信號被轉換為數(shù)字信號。模擬信號包括音頻信號并且包括混合在一起的噪聲內容和實際音頻內容。
預處理器110將在其中噪聲內容和實際音頻內容被混合的音頻信號分為多個幀，并且根據(jù)幀對音頻信號分窗口。漢明窗口(Hamming windows)或哈寧窗口(Hanning windows)可被用于將視頻信號分窗口為幀。窗口在幀的端點減輕不連續(xù)性的影響。
FFT單元120使用FFT運算將被預處理器110分為幀的音頻信號轉換為頻譜信息。頻譜信息包括關于音頻信號的幅度譜信息和相位譜信息。幅度譜信息被用于頻減，相位譜信息被用于IFFT運算。
噪聲幀檢測器130根據(jù)當前幀三個閾值的比較來確定由FFT單元120處理的當前幀F(xiàn)FT是否僅包括噪聲內容(即，為“僅噪聲”幀)或者當前幀是否包括噪聲內容和實際音頻內容。如果確定當前幀僅包括噪聲內容，則噪聲幀檢測器130向噪聲譜更新單元140輸出當前幀{X_n[w]+N_n[w]}。即，當當前幀同時滿足三個條件時，噪聲幀檢測器130確定當前幀為僅噪聲幀，這三個條件包括與當前幀的能量比較的第一閾值、與當前幀的譜的能量和估計的噪聲譜的能量之間的差比較的第二閾值、與當前幀的譜和估計的噪聲譜之間的差比較的第三閾值。第一、第二和第三閾值根據(jù)在其中估計的噪聲譜被更新的區(qū)域被獨立地設置。估計的噪聲譜根據(jù)當前幀的噪聲譜和先前幀的噪聲譜被更新。
當確定當前幀僅包括噪聲內容時，噪聲譜更新單元140使用當前幀的譜{X_n[w]+N_n[w]}(包括實際音頻內容X_n[w]和噪聲內容N_n[w])和先前估計的噪聲譜來更新當前估計的噪聲譜。即，由噪聲譜更新單元140更新的噪聲譜通過以下被給定N_n[w]＝N_n-1[w]*(1-α)+{X_n[w]+N_n[w]}*α。
這里，N_n-1[w]是先前幀的噪聲譜，X_n[w]是當前幀的實際音頻譜，N_n[w]是當前幀的噪聲譜，并且α是噪聲譜更新系數(shù)。當前幀的實際音頻譜X_n[w]可等于0，并且噪聲譜更新系數(shù)α可等于0.2。
譜減法器150從相應于幅度譜信息的當前幀的譜減去由噪聲譜更新單元140更新的估計的噪聲譜，以獲得當前幀的實際音頻譜。
加法器160將從譜減法器150輸出的當前幀的實際音頻譜與從FFT單元120輸出的相位譜信息相加。
IFFT單元170通過IFFT將從加法器160輸出的實際音頻信號的幅度譜信息和相位譜信息恢復為時域上的音頻信號。
圖2是示出在圖1的噪聲幀檢測器130中檢測噪聲幀的方法的流程圖。
參照圖2，在操作210，音頻信號被轉換為幀的頻譜。
音頻信號的能量被監(jiān)控。在操作220，音頻信號的當前幀的能量與第一能量閾值E_th比較。由于僅包括噪聲內容的幀的能量小于包括噪聲內容和實際音頻內容的幀的能量，所以如果當前幀是僅噪聲幀則當前幀的能量必須小于第一能量閾值E_th。如果當前幀的能量大于第一能量閾值E_th，則在操作290，更新計數(shù)UpdateCNT被初始化為0。
如果當前幀的能量小于第一能量閾值E_th，則音頻信號的幀的能量的變化被監(jiān)控。在操作230，當前幀的能量和在先前幀中更新的噪聲譜的能量之間的差ENERGYDIFF被與第二能量差閾值E_th比較。由于僅噪聲幀的能量變化小于包括噪聲內容和音頻內容的幀的能量變化，所以如果當前幀是僅噪聲幀則當前幀和在先前幀中更新的噪聲譜之間的能量差必須小于第二閾值能量差ED_th。如果該能量差大于第二閾值ED_th，則在操作290，UpdateCNT被初始化為0。
如果當前幀的能量和在先前幀中更新的噪聲譜的能量之間的差小于第二能量差閾值ED_th，則音頻信號的譜的變化被監(jiān)控。在操作240，當前幀的譜和在先前幀中更新的噪聲譜之間的差SPECTEDIFF與第三譜差閾值SD_th比較。由于僅噪聲幀的譜變化小于包括噪聲內容和音頻內容的幀的譜變化，所以如果當前幀是僅噪聲幀則當前幀和在先前幀中更新的噪聲譜之間的譜差必須小于第三譜差閾值SD_th。如果譜差大于第三譜差閾值SD_th，則在操作290，UpdateCNT被初始化為0。
如果當前幀的譜和在先前幀中更新的噪聲譜之間的差小于第三譜差SD_th，則確定當前幀為僅噪聲幀，并且僅包括噪聲內容，并且在操作250執(zhí)行噪聲譜更新。
當能量、能量差和譜差分別小于第一能量、第二能量差和第三譜差閾值時，在操作260，UpdateCNT加1(即UpdateCNT++)。UpdateCNT是跟蹤連續(xù)僅噪聲的數(shù)目的變量。
在步驟270如果UpdateCNT大于閾值UC_th，則在操作280，根據(jù)當前幀的噪聲譜，ED_th和SD_th被更新。圖2所示的方法將當前幀的能量和當前幀的譜與在先前幀中更新的噪聲譜比較以確定當前幀是否為僅噪聲幀。如果當前幀被確定為僅噪聲幀，則噪聲譜更新單元140將在先前幀中更新的噪聲譜更新為新更新的噪聲譜以與隨后的音頻信號的幀的譜比較。因此，一旦噪聲譜被更新，隨后幀的譜與新更新的噪聲譜比較直到在隨后幀中另一僅噪聲幀被檢測，在那時刻新更新的噪聲譜被再次更新。第一能量、第二能量差和第三譜差閾值被設置，從而噪聲幀檢測器130檢測當前幀是否為僅噪聲幀。當連續(xù)僅噪聲幀的確定值(即UC_th)被檢測到時，閾值被更新。
圖3A至3C是示出更新噪聲譜的處理的波形圖。
經(jīng)驗確定的初始噪聲譜的特征可與當前輸入噪聲譜的特征不同。在這種情況下，初始噪聲譜必須根據(jù)當前輸入噪聲譜被更新?，F(xiàn)在將參照圖3A至3C所示的第一能量、第二能量差和第三譜差閾值的改變來描述更新初始噪聲譜的處理。圖3A示出通過左和右信道輸入的當前幀的能量和第一能量閾值E_th(虛線)。圖3B示出當前幀的能量和在先前幀中更新的噪聲譜的能量之間的差以及第二閾值ED_th(虛線)。這里，圖3B的上邊波形表示輸入音頻信號，圖3B的下邊波形表示代表能量差的輪廓。圖3C示出當前幀的譜和在先前幀中更新的噪聲譜之間的差以及第三閾值SD_th(虛線)。這里，圖3C的上邊波形表示輸入音頻信號，圖3C的下邊波形表示代表譜差的輪廓。
參照圖3A至3C，在第一個10個噪聲譜更新周期期間，通過將第一、第二和第三閾值設置為大值，初始噪聲譜被允許與輸入噪聲譜近似。然后，通過在下一個10個噪聲譜更新周期期間減小第二和第三閾值ED_th和SD_th，通過準確地檢測包括噪聲內容和音頻內容的幀，噪聲譜被更新。最終，在下一噪聲譜更新周期期間嚴格地設置第二和第三閾值ED_th和SD_th，通過準確地檢測僅噪聲幀，噪聲譜被更新。
圖4A和4B是顯示在根據(jù)本發(fā)明總體構思的實施例的噪聲減(noisesubtraction)方法被應用之前和之后左和右信道音頻信號的波形圖。盡管圖3A、4A和4B示出左和右信道音頻信號，但是其他類型的音頻信道信號可被用于本發(fā)明總體構思。
參照圖4A和4B，通過采用根據(jù)本發(fā)明總體構思的實施例的噪聲消除方法，僅噪聲內容被消除，并且輸出音頻信號接近無噪聲內容。
如上所述，根據(jù)本發(fā)明總體構思的實施例，在通過根據(jù)在其中輸入信號的噪聲譜被更新的區(qū)域設置變化的閾值，在不影響實際音頻信號的同時僅消除噪聲，記錄在如攝像機的音頻記錄設備中的音頻信號的聲音質量可被大大提高。當攝像機包括記錄單元或機芯，相應于噪聲譜的噪聲從記錄單元或機芯產(chǎn)生。因此，實際音頻信號由輸入單元的麥克風接收，包括攝像機外面產(chǎn)生的音頻，也可不包括由記錄單元或機芯產(chǎn)生的噪聲。
盡管已經(jīng)顯示和描述了本發(fā)明總體構思的一些實施例，但是本領域的技術人員應該理解，在不脫離由所附權利要求及其等同物限定其范圍的本發(fā)明總體構思的原理和精神的情況下，可對這些實施例進行改變。
權利要求
1.一種從被分為多個幀的音頻信號中消除噪聲的方法，該方法包括在根據(jù)輸入音頻信號的音頻譜估計的噪聲譜在其中被更新的區(qū)域中通過可變獨立地設置一個或多個閾值來確定噪聲幀是否存在；如果當前幀被確定為噪聲幀，則根據(jù)先前幀的噪聲譜和當前幀的噪聲譜來更新估計的噪聲譜；和從輸入當前幀的音頻譜中減去更新的噪聲譜。
2.如權利要求1所述的方法，其中，噪聲幀是否存在的確定包括將一個或多個閾值分別于當前幀的能量、輸入當前幀的音頻譜的能量和估計的噪聲譜的能量之間的差、以及輸入當前幀的音頻譜和估計的噪聲譜之間的差比較。
3.如權利要求1所述的方法，其中，噪聲幀是否存在的確定包括使用音頻信號的初始噪聲譜近似輸入噪聲譜。
4.如權利要求1所述的方法，其中，一個或多個閾值包括第一、第二和第三閾值，并且噪聲幀是否存在的確定包括如果當前幀的能量小于第一閾值、當前幀的能量和在先前幀中更新的估計的噪聲譜的能量之間的差小于第二閾值、并且輸入當前幀的音頻譜和在先前幀中更新的估計的噪聲譜之間的差小于第三閾值，則確定當前幀是噪聲幀。
5.如權利要求4所述的方法，還包括根據(jù)在其中估計的噪聲譜被更新的區(qū)域獨立地設置第一、第二和第三閾值，其中，當前幀滿足第一、第二和第三閾值的條件時，噪聲譜被更新。
6.一種從被分為多個幀的音頻信號中消除噪聲的方法，該方法包括將被分為多個幀的信號的頻率特征與估計的噪聲譜比較；根據(jù)比較的結果，確定估計的噪聲譜是否準確地近似實際噪聲譜；和當確定估計的噪聲譜不與實際噪聲譜準確近似時，更新估計的噪聲譜。
7.如權利要求6所述的方法，還包括從信號的當前幀減去估計的噪聲譜；和輸出無噪聲內容的信號。
8.如權利要求6所述的方法，其中，估計的噪聲譜的更新包括將估計的噪聲譜改變?yōu)楫斍皫脑肼曌V。
9.如權利要求8所述的方法，其中，每當當前幀僅包含噪聲內容時，估計的噪聲譜被更新。
10.如權利要求6所述的方法，其中，估計的噪聲譜是否準確地近似實際噪聲譜的確定包括通過將當前幀的能量與第一閾值比較、將當前幀和估計的噪聲譜之間的能量差與第二閾值比較、并且將當前幀的譜和估計的噪聲譜之間的差與第三閾值比較來確定當前幀是否僅包含噪聲內容。
11.如權利要求10所述的方法，其中，當當前幀的能量小于第一閾值、當前幀和估計的噪聲譜之間的能量差小于第二閾值、并且當前幀的譜和估計的噪聲譜之間的差小于第三閾值時，當前幀被確定僅包含噪聲內容。
12.如權利要求11所述的方法，其中，第一、第二和第三閾值被設置為分別大于僅包含噪聲內容的幀的預計能量、僅包含噪聲內容的幀和估計的噪聲譜之間的預計能量差、以及僅包含噪聲內容的幀和估計的噪聲譜之間的預計譜差。
13.如權利要求11所述的方法，其中，在預定數(shù)目的僅包含噪聲內容連續(xù)幀被確定之后更新第一、第二和第三閾值。
14.如權利要求11所述的方法，其中，當估計的噪聲譜不準確地近似實際噪聲譜時估計的噪聲譜的更新包括在第一數(shù)量的噪聲譜更新周期期間，將第一、第二和第三閾值設置為相對大的值；在第二數(shù)量的噪聲譜更新期間，在減小第一、第二和第三閾值的同時，更新估計的噪聲譜；和在第三數(shù)量的噪聲譜更新期間，根據(jù)當前幀和估計的噪聲譜的比較來更新估計的噪聲譜。
15.如權利要求6所述的方法，其中，估計的噪聲譜根據(jù)以下被更新N_n[w]＝N_n-1[w]*(1-α)+{X_n[w]+N_n[w]}*α其中，N_n[w]是更新的噪聲譜，N_n-1[w]是在先前幀中更新的估計的噪聲譜，α是噪聲譜更新系數(shù)，并且{X_n[w]+N_n[w]}是當前幀的譜。
16.一種噪聲消除設備，包括FFT單元，通過對被分為多個幀的音頻信號執(zhí)行快速傅立葉變換運算來產(chǎn)生頻譜信息；噪聲幀檢測器，在根據(jù)由FFT單元產(chǎn)生的頻譜信息估計的噪聲譜在其中被更新的區(qū)域中通過可變獨立地設置閾值來確定噪聲幀；噪聲譜更新單元，如果由噪聲檢測器確定當前幀為在其中僅噪聲存在的幀，則使用當前幀的噪聲譜和先前幀的噪聲譜來更新估計的噪聲譜；和譜減法器，從音頻信號的譜中減去由噪聲譜更新單元更新的估計噪聲以產(chǎn)生實際音頻譜。
17.如權利要求16所述的設備，其中，噪聲幀檢測器包括一個或多個比較器，將當前幀的能量和第一閾值比較，將當前幀的能量和在先前幀中更新的噪聲譜的能量之間的能量差與第二閾值比較，和將當前幀的譜和在先前幀中更新的噪聲譜之間的譜差與第三閾值比較；和確定單元，如果當前幀的能量、能量差和譜差分別小于第一、第二和第三閾值，則確定當前幀為噪聲幀。
18.如權利要求17所述的設備，其中，噪聲幀檢測器設置第一、第二和第三閾值以指示估計的噪聲譜是否準確地近似當前幀的實際噪聲譜，并且當當前幀滿足第一、第二和第三閾值的條件時，估計的噪聲譜被更新。
19.如權利要求16所述的設備，還包括相加單元，將實際音頻譜和從FFT單元產(chǎn)生的相位譜信息相加。
20.一種記錄裝置中的噪聲消除設備，該設備包括FFT單元，通過對被分為多個幀的音頻信號執(zhí)行快速傅立葉變換運算來計算頻譜信息；噪聲幀檢測器，在根據(jù)由FFT單元計算的頻譜，估計的噪聲譜在其中被更新的區(qū)域中，通過獨立可變地設置閾值來確定噪聲幀；噪聲譜更新單元，如果由噪聲幀檢測器確定當前幀為在其中僅噪聲存在的幀，則使用當前幀的噪聲譜和先前幀的噪聲譜來更新估計的噪聲譜；譜減法器，從音頻信號的譜中減去由噪聲譜更新單元更新的估計的噪聲譜；加法器，將從譜減法器輸出的音頻譜與從FFT單元輸出的相位譜相加；和IFFT單元，通過逆快速傅立葉變換運算將從加法器輸出的音頻譜恢復為時域上的原始信號。
21.一種記錄裝置，包括記錄單元，具有產(chǎn)生噪聲信號的記錄機芯；輸入單元，接收實際音頻信號；和噪聲消除設備，接收包括噪聲信號和實際音頻信號的音頻信號，將音頻信號分為多個幀，根據(jù)在根據(jù)輸入音頻信號的音頻譜在其中噪聲譜被更新的區(qū)域中被獨立設置的一個或多個閾值來確定噪聲幀是否存在，并且從多個幀的輸入當前幀的音頻譜減去噪聲譜。
22.一種記錄裝置，包括噪聲消除設備，通過在估計的噪聲譜在其中根據(jù)輸入音頻信號的音頻譜被更新的區(qū)域中獨立可變地設置一個或多個閾值來確定噪聲幀是否存在，如果當前幀被確定為噪聲幀，則根據(jù)先前幀的噪聲譜和當前幀的噪聲譜來更新估計的噪聲譜，并且從輸入當前幀的音頻譜中減去更新的噪聲譜。
23.如權利要求22所述的記錄裝置，其中，記錄裝置包括攝像機。
24.如權利要求22所述的記錄裝置，還包括記錄單元，具有產(chǎn)生噪聲譜的記錄機芯。
25.如權利要求22所述的記錄裝置，還包括輸入單元，具有接收實際音頻譜的麥克風。
全文摘要
一種從輸入到如攝像機的記錄裝置的包括噪聲內容和音頻內容的信號消除噪聲內容的噪聲消除設備和方法。該方法包括在根據(jù)輸入音頻信號的音頻譜估計的噪聲譜在其中被更新的區(qū)域中通過可變獨立地設置一個或多個閾值來確定噪聲幀是否存在；如果當前幀被確定為噪聲幀，則根據(jù)先前幀的噪聲譜和當前幀的噪聲譜來更新估計的噪聲譜；和從輸入當前幀的音頻譜中減去更新的噪聲譜。
文檔編號G10L15/20GK1728237SQ20051007993
公開日2006年2月1日 申請日期2005年6月27日 優(yōu)先權日2004年7月27日
發(fā)明者吳潤學 申請人:三星電子株式會社