回聲消除裝置、回聲消除方法及通話裝置制造方法
【專利摘要】一種回聲消除裝置（21），生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào)，該第二聲音信號(hào)包含第一聲音信號(hào)的回聲信號(hào)，該回聲消除裝置（21）具備：第一偽回聲生成部（200），對(duì)第一聲音信號(hào)進(jìn)行使用了與再現(xiàn)音被采集之前的傳遞特性等價(jià)的特性的過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)；第一回聲消除部（201），從第二聲音信號(hào)減去第一偽回聲信號(hào)而生成第一回聲消除信號(hào)并輸出；以及過濾器更新部（202），對(duì)第一回聲消除信號(hào)進(jìn)行非線性變換而生成非線性變換后的回聲消除信號(hào)，使用非線性變換后的回聲消除信號(hào)、第一聲音信號(hào)、以及第一聲音信號(hào)的范數(shù)來進(jìn)行過濾器的特性的更新，以使過濾器的特性與傳遞特性等價(jià)。
【專利說明】回聲消除裝置、回聲消除方法及通話裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及回聲消除裝置、回聲消除方法及通話裝置。特別涉及用于生成從第二聲音信號(hào)除去了回聲信號(hào)的回聲消除信號(hào)的回聲消除裝置、回聲消除方法及通話裝置，該第二聲音信號(hào)包含通過采集第一聲音信號(hào)的再現(xiàn)音而生成的包含回聲信號(hào)的第二聲音信號(hào)。
【背景技術(shù)】
[0002]以往公開有如下的技術(shù):在送話器信號(hào)中同時(shí)存在自地點(diǎn)的用戶的聲音和回聲的同時(shí)通話(雙向通話)時(shí)，為了使過濾器特性與回聲傳遞特性等價(jià)而正確地進(jìn)行回聲消除，應(yīng)用了獨(dú)立成分分析(例如專利文獻(xiàn)I)。
[0003]此外，公開有應(yīng)用NLMS的技術(shù)，該NLMS使用具有靜區(qū)和過修正區(qū)的非線性函數(shù)(例如專利文獻(xiàn)2)。
[0004]在先技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特開2004-048253號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開2010-226629號(hào)公報(bào)
[0008]發(fā)明的概要
[0009]發(fā)明所要解決的課題
[0010]如上述那樣，在以往的回聲消除裝置中存在以下問題:在送話器信號(hào)中同時(shí)存在自地點(diǎn)的用戶的聲音和回聲的同時(shí)通話(雙向通話)時(shí)，無法使過濾器的特性與回聲傳遞特性等價(jià)。

【發(fā)明內(nèi)容】

[0011]在此，本發(fā)明提供一種即使在雙向通話時(shí)也能夠消除回聲的回聲消除方法等。
[0012]用于解決課題的手段
[0013]本發(fā)明的一個(gè)方案的回聲消除裝置，用于生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào)，該第二聲音信號(hào)包含通過采集第一聲音信號(hào)的再現(xiàn)音而生成的所述回聲信號(hào)，該回聲消除裝置具備:第一偽回聲生成部，對(duì)于所述第一聲音信號(hào)進(jìn)行使用了過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)，該過濾器具有與所述再現(xiàn)音被采集為止的傳遞特性等價(jià)的特性；第一回聲消除部，從所述第二聲音信號(hào)減去由所述第一偽回聲生成部生成的所述第一偽回聲信號(hào)，從而生成第一回聲消除信號(hào)并輸出；以及過濾器更新部，對(duì)由所述第一回聲消除部生成的所述第一回聲消除信號(hào)進(jìn)行非線性變換，從而生成非線性變換后的回聲消除信號(hào)，使用所述非線性變換后的回聲消除信號(hào)、所述第一聲音信號(hào)、以及所述第一聲音信號(hào)的范數(shù)來更新所述過濾器的特性，以使所述過濾器的特性與所述傳遞特性等價(jià)。
[0014]此外，這些整體或者具體的方案可以通過系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的CD-ROM等記錄介質(zhì)來實(shí)現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及記錄介質(zhì)的任意組合來實(shí)現(xiàn)。
[0015]發(fā)明的效果:
[0016]根據(jù)本發(fā)明的回聲消除裝置等，即使在雙向通話時(shí)也能夠消除回聲。
【專利附圖】

【附圖說明】
[0017]圖1是實(shí)施方式I的視頻會(huì)議系統(tǒng)的整體構(gòu)成圖。
[0018]圖2是實(shí)施方式I的視頻會(huì)議系統(tǒng)的功能框圖。
[0019]圖3是實(shí)施方式I的回聲消除裝置的功能框圖。
[0020]圖4是實(shí)施方式I的過濾器更新部的功能框圖。
[0021]圖5是實(shí)施方式I的回聲消除方法的流程圖。
[0022]圖6是實(shí)施方式2的回聲消除裝置的功能框圖。
[0023]圖7是實(shí)施方式2的回聲消除方法的流程圖。
[0024]圖8是實(shí)施方式2的變形例的回聲消除裝置的功能框圖。
[0025]圖9是實(shí)施方式3的回聲消除裝置的功能框圖。
[0026]圖10是實(shí)施方式3的回聲消除方法的流程圖。
[0027]圖11是實(shí)施方式3的回聲消除信號(hào)的選擇方法的流程圖。
[0028]圖12是實(shí)施方式4的回聲消除裝置的功能框圖。
[0029]圖13是實(shí)施方式4的變形例的回聲消除裝置的功能框圖。
[0030]圖14是實(shí)施方式4的回聲消除方法的流程圖。
【具體實(shí)施方式】
[0031](成為本發(fā)明的基礎(chǔ)的見解)
[0032]本發(fā)明人發(fā)現(xiàn)，在“【背景技術(shù)】”欄中記載的回聲消除裝置會(huì)產(chǎn)生以下的問題。
[0033]利用視頻會(huì)議系統(tǒng)進(jìn)行視頻會(huì)議。在利用了視頻會(huì)議系統(tǒng)的視頻會(huì)議中，自地點(diǎn)的視頻會(huì)議系統(tǒng)裝置(以下簡(jiǎn)稱為裝置)與對(duì)方地點(diǎn)的裝置經(jīng)由通信線路相互收發(fā)影像及聲音。自地點(diǎn)的裝置將由自地點(diǎn)的攝像機(jī)拍攝的影像和由自地點(diǎn)的送話器(麥克)采集的聲音向?qū)Ψ降攸c(diǎn)發(fā)送。此外，自地點(diǎn)的裝置接收由對(duì)方地點(diǎn)的攝像機(jī)拍攝的影像并在自地點(diǎn)的畫面上顯示，并且接收由對(duì)方地點(diǎn)的送話器采集的聲音并通過自地點(diǎn)的揚(yáng)聲器再現(xiàn)。這樣，通過雙向地收發(fā)影像及聲音來進(jìn)行交流(communication)。在這種視頻會(huì)議系統(tǒng)中，自地點(diǎn)的送話器不僅采集到自地點(diǎn)的用戶聲音，還采集到從自地點(diǎn)的揚(yáng)聲器再現(xiàn)的從對(duì)方地點(diǎn)側(cè)接收的聲音。將從自地點(diǎn)的揚(yáng)聲器再現(xiàn)的對(duì)方地點(diǎn)的聲音被自地點(diǎn)的送話器采集而得到的聲音稱為音響回聲(以下簡(jiǎn)稱為回聲)。在產(chǎn)生回聲的狀態(tài)下，如果不消除回聲而向?qū)Ψ降攸c(diǎn)發(fā)送聲音，則在對(duì)方地點(diǎn)從揚(yáng)聲器具有時(shí)間差地再現(xiàn)自身發(fā)出的聲音。這樣的回聲成為交流的妨礙。通過利用回聲消除裝置來消除回聲，能夠?qū)崿F(xiàn)順暢的交流。
[0034]在回聲消除裝置中，使用模擬了從揚(yáng)聲器到送話器的回聲傳遞特性的過濾器而疊加揚(yáng)聲器信號(hào)，從而生成偽回聲，并通過從送話器信號(hào)減去偽回聲來消除回聲。并且，使用回聲消除信號(hào)(消除了回聲的信號(hào))和揚(yáng)聲器信號(hào)，更新過濾器特性以與回聲傳遞特性等價(jià)。[0035]作為過濾器特性的更新方法，已知基于最小均方誤差(LMS)的方法和基于標(biāo)準(zhǔn)化最小均方誤差(NLMS)的方法。在這些方法中，在送話器信號(hào)中僅存在回聲(單向通話)的前提下，以使回聲消除信號(hào)成為O的方式進(jìn)行過濾器的更新。
[0036]在送話器信號(hào)中同時(shí)存在自地點(diǎn)的用戶的聲音和回聲的同時(shí)通話(雙向通話)時(shí)，如果使用這些方法，則過濾器特性未必以接近回聲傳遞特性的方式被更新。根據(jù)情況不同，有時(shí)以回聲變得更大的方式被變更。這樣，以往的回聲消除裝置無法適當(dāng)生成偽回聲信號(hào)，結(jié)果，有時(shí)會(huì)增大回聲。
[0037]為了在雙向通話時(shí)也能夠使過濾器特性與回聲傳遞特性等價(jià)并正確地進(jìn)行回聲消除，公開了應(yīng)用獨(dú)立成分分析的技術(shù)(例如專利文獻(xiàn)I)。此外，公開有應(yīng)用NLMS的技術(shù)，該NLMS使用具有靜區(qū)和過修正區(qū)的非線性函數(shù)(例如專利文獻(xiàn)2)。
[0038]如上述那樣，在以往的回聲消除裝置中，在送話器信號(hào)中同時(shí)存在自地點(diǎn)的用戶的聲音和回聲的同時(shí)通話(雙向通話)時(shí)，存在無法使過濾器的特性與回聲傳遞特性等價(jià)的問題。這是以往，在以往的回聲消除裝置中，以送話器信號(hào)僅包含回聲信號(hào)為前提進(jìn)行使送話器信號(hào)的大小減小的運(yùn)算，但在送話器聲音中混有用戶的聲音的雙向通話時(shí)，通過該運(yùn)算無法正確地進(jìn)行過濾器特性的更新，有時(shí)會(huì)使回聲增加。
[0039]因此，不僅在單向通話時(shí)、在雙向通話時(shí)也通過使過濾器的特性與回聲傳遞特性等價(jià)來消除回聲成為課題。
[0040]對(duì)于上述課題，在專利文獻(xiàn)I中應(yīng)用獨(dú)立成分分析。但是，過濾器的更新依存于揚(yáng)聲器信號(hào)的大小。因此，當(dāng)揚(yáng)聲器信號(hào)的大小時(shí)刻變化時(shí)，過濾器特性向回聲傳遞特性的收斂速度降低。收斂速度較低意味著到收斂為止的期間殘存有回聲。因此，在通話者繼續(xù)會(huì)話時(shí)，很難說能夠適當(dāng)?shù)叵芈?。因此，通過專利文獻(xiàn)I所公開的技術(shù)不能解決上述課題。
[0041]另一方面，對(duì)于上述課題，在專利文獻(xiàn)2中，應(yīng)用使用了具有靜區(qū)和過修正區(qū)的非線性函數(shù)的NLMS。根據(jù)該技術(shù)，與以往的NLMS相比，收斂速度提高。但是，在專利文獻(xiàn)2中，在過濾器更新中未正確地進(jìn)行標(biāo)準(zhǔn)化。此外，通過過濾器更新而生成的偽回聲僅依存于用戶聲音的大小。因此，在以往的NLMS的雙向通話時(shí)，無法正確進(jìn)行與回聲傳遞特性等價(jià)的更新。因此，通過專利文獻(xiàn)2所公開的技術(shù)無法解決上述課題。
[0042]在此，本發(fā)明提供一種在雙向通話時(shí)也能夠消除回聲的回聲消除方法等。更詳細(xì)地說，本發(fā)明提供一種在單向通話和雙向通話時(shí)都能夠通過使過濾器的特性與回聲傳遞特性等價(jià)而消除回聲的回聲消除方法等。
[0043]本發(fā)明的一個(gè)方案的回聲消除裝置，用于生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào)，該第二聲音信號(hào)包含通過采集第一聲音信號(hào)的再現(xiàn)音而生成的所述回聲信號(hào)，該回聲消除裝置具備:第一偽回聲生成部，對(duì)于所述第一聲音信號(hào)進(jìn)行使用了過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)，該過濾器具有與所述再現(xiàn)音被采集為止的傳遞特性等價(jià)的特性；第一回聲消除部，從所述第二聲音信號(hào)減去由所述第一偽回聲生成部生成的所述第一偽回聲信號(hào)，從而生成第一回聲消除信號(hào)并輸出；以及過濾器更新部，對(duì)由所述第一回聲消除部生成的所述第一回聲消除信號(hào)進(jìn)行非線性變換，從而生成非線性變換后的回聲消除信號(hào)，使用所述非線性變換后的回聲消除信號(hào)、所述第一聲音信號(hào)、以及所述第一聲音信號(hào)的范數(shù)來更新所述過濾器的特性，以使所述過濾器的特性與所述傳遞特性等價(jià)。[0044]由此，能夠計(jì)算依存于根據(jù)范數(shù)而標(biāo)準(zhǔn)化的第一聲音信號(hào)(揚(yáng)聲器信號(hào))、非線性變換的第二聲音信號(hào)(送話器信號(hào))的過濾器更新量。通過使用該過濾器更新量而更新的過濾器和第一聲音信號(hào)的運(yùn)算而生成的偽回聲信號(hào)，以第一聲音信號(hào)的振幅的I次方維度來給出。因此，在單向通話時(shí)及雙向通話時(shí)，能夠穩(wěn)定地使過濾器的特性與回聲傳遞特性等價(jià)。因此，在單向通話時(shí)和雙向通話時(shí)，都能夠通過使過濾器的特性與回聲傳遞特性成為等價(jià)來消除回聲信號(hào)。
[0045]此外，例如，所述過濾器更新部使用所述第一聲音信號(hào)與所述第一聲音信號(hào)的范數(shù)之比和所述非線性變換的回聲消除信號(hào)，進(jìn)行所述過濾器的特性的更新。
[0046]此外，例如，所述過濾器更新部將所述第一聲音信號(hào)與所述第一聲音信號(hào)的范數(shù)之比、所述非線性變換后的回聲消除信號(hào)、以及規(guī)定系數(shù)的積，和更新前的所述過濾器的特性相加，從而進(jìn)行所述過濾器的特性的更新。
[0047]由此，能夠計(jì)算依存于第一聲音信號(hào)與平均值的相對(duì)變化量、非線性變換后的第二聲音信號(hào)的過濾器更新量。通過使用該過濾器更新量而更新的過濾器和第一聲音信號(hào)的運(yùn)算而生成的偽回聲信號(hào)，以第一聲音信號(hào)的振幅的I次方維度來給。因此，在單向通話時(shí)及雙向通話時(shí)，能夠穩(wěn)定地使過濾器的特性與回聲傳遞特性等價(jià)。因此，在單向通話時(shí)和雙向通話時(shí)，都能夠通過使過濾器的特性與回聲傳遞特性成為等價(jià)而消除回聲信號(hào)。
[0048]此外，例如，所述過濾器更新部使用符號(hào)函數(shù)來進(jìn)行所述非線性變換，該符號(hào)函數(shù)指的是:所述第一回聲消除信號(hào)為正時(shí)取十1、所述第一回聲消除信號(hào)為負(fù)時(shí)取一 1、所述第一回聲消除信號(hào)為O時(shí)取O的函數(shù)。
[0049]由此，能夠得到與在用于使回聲消除信號(hào)的大小向接近O的方向變化的計(jì)算中使用的符號(hào)對(duì)應(yīng)的值。
[0050]此外，例如，所述回聲消除裝置還具備:第二偽回聲信號(hào)生成部，使用所述第一聲音信號(hào)的范數(shù)和所述非線性變換后的回聲消除信號(hào)，生成第二偽回聲信號(hào)；以及第二回聲消除部，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成部生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
[0051]由此，根據(jù)揚(yáng)聲器信號(hào)的范數(shù)、非線性變換后的回聲消除信號(hào)、以及第一回聲消除信號(hào)，以較少的運(yùn)算量來生成用于消除在回聲消除信號(hào)中殘留的回聲的第二偽回聲信號(hào)。因此，在單向通話時(shí)和雙向通話時(shí)，都能夠通過使過濾器的特性與回聲傳遞特性等價(jià)而更高精度地消除回聲。
[0052]此外，例如，所述回聲消除裝置還具備:第二偽回聲信號(hào)生成部，使用所述第一聲音信號(hào)的范數(shù)、所述非線性變換后的回聲消除信號(hào)、以及所述第一聲音信號(hào)，生成第二偽回聲信號(hào)；以及第二回聲消除部，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成部生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
[0053]由此，能夠根據(jù)揚(yáng)聲器信號(hào)、揚(yáng)聲器信號(hào)的范數(shù)、非線性變換的回聲消除信號(hào)以及第一回聲消除信號(hào)，以較少的運(yùn)算量生成用于將回聲消除信號(hào)中殘留的回聲消除的第二偽回聲信號(hào)。因此，不僅在單向通話時(shí)、在雙向通話時(shí)也能夠通過使過濾器的特性與回聲傳遞特性等價(jià)而以更高的精度消除回聲。
[0054]此外，例如，所述回聲消除裝置還具備選擇部，該選擇部為，在所述第二回聲消除信號(hào)的大小小于所述第一回聲消除信號(hào)的大小的情況下，將所述第二回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出，在所述第二回聲消除信號(hào)的大小大于所述第一回聲消除信號(hào)的大小的情況下，將所述第一回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出。
[0055]根據(jù)這些，能夠?qū)⒌谝换芈曄盘?hào)和第二回聲消除信號(hào)中、回聲被有效地消除的一方作為回聲消除裝置的輸出。第二回聲消除信號(hào)的大小大于第一回聲消除信號(hào)的大小的情況，相對(duì)于在意圖消除第一回聲消除信號(hào)的運(yùn)算中、與該意圖不同而使第一回聲消除信號(hào)中包含的回聲增大的情況。其原因?yàn)?，在這種情況下，第一消除信號(hào)適合作為回聲消除裝置的輸出。
[0056]此外，例如，在所述選擇部將所述第一回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出的情況下，所述過濾器更新部不進(jìn)行所述過濾器的特性的更新。
[0057]由此，第二回聲消除信號(hào)的大小大于第一回聲消除信號(hào)的大小的情況，與在意圖生成第一偽回聲的過濾器更新計(jì)算中、與該意圖不同而使回聲消除信號(hào)的大小增大地進(jìn)行過濾器更新的情況相當(dāng)。在這種情況下，不進(jìn)行過濾器更新，就能夠穩(wěn)定地使過濾器的特性與回聲傳遞特性等價(jià)，能夠以更高精度消除回聲。
[0058]此外，例如，所述過濾器更新部通過計(jì)算過去的規(guī)定時(shí)間內(nèi)的第一聲音信號(hào)的大小的平方和，來計(jì)算第二偽回聲信號(hào)。
[0059]由此，能夠高速地執(zhí)行用于生成第二偽回聲信號(hào)的計(jì)算。其原因?yàn)?，在?duì)當(dāng)前時(shí)刻的第一聲音信號(hào)的大小的平方和進(jìn)行計(jì)算時(shí)，僅通過從之前的處理時(shí)刻計(jì)算的第一聲音信號(hào)的大小的平方和減去最早時(shí)刻的平方值、并加上在當(dāng)前時(shí)刻取得的最新時(shí)刻的平方值，就能夠計(jì)算當(dāng)前處理時(shí)刻的揚(yáng)聲器信號(hào)的平方和。因此，能夠減小第二回聲消除的運(yùn)算量。
[0060]此外,本發(fā)明的一個(gè)方案的回聲消除方法，用于生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào),該第二聲音信號(hào)包含通過米集第一聲音信號(hào)的再現(xiàn)音而生成的所述回聲信號(hào)，該回聲消除裝置包以下步驟:第一偽回聲生成步驟，對(duì)于所述第一聲音信號(hào)進(jìn)行使用了過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)，該過濾器具有與所述再現(xiàn)音被采集為止的傳遞特性等價(jià)的特性；第一回聲消除步驟，從所述第二聲音信號(hào)減去由所述第一偽回聲生成步驟生成的所述第一偽回聲信號(hào)，從而生成第一回聲消除信號(hào)并輸出；以及過濾器更新步驟，對(duì)由所述第一回聲消除步驟生成的所述第一回聲消除信號(hào)進(jìn)行非線性變換，從而生成非線性變換后的回聲消除信號(hào)，使用所述非線性變換后的回聲消除信號(hào)、所述第一聲音信號(hào)、以及所述第一聲音信號(hào)的范數(shù)來更新所述過濾器的特性，以使所述過濾器的特性與所述傳遞特性等價(jià)。
[0061]此外，本發(fā)明的一個(gè)方案的回聲消除方法，還包括以下步驟:第二偽回聲信號(hào)生成步驟，使用所述第一聲音信號(hào)的范數(shù)、非線性變換的所述回聲消除信號(hào)、以及所述第一聲音信號(hào)，生成第二偽回聲信號(hào)；以及第二回聲消除步驟，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成步驟生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
[0062]根據(jù)這些，起到與所述回聲消除裝置同樣的效果。
[0063]此外，本發(fā)明的一個(gè)方案的通話裝置為，具備:回聲消除裝置；送話器，采集周圍的聲音而生成聲音信號(hào)；揚(yáng)聲器，基于聲音信號(hào)來再現(xiàn)聲音；以及通信部，將聲音信號(hào)向通話對(duì)象發(fā)送，并從通話對(duì)象接收聲音信號(hào)；在所述回聲消除裝置中，接收所述通信部從通話對(duì)象接收的聲音信號(hào)而作為所述第一聲音信號(hào)，接收由所述送話器生成的聲音信號(hào)而作為所述第二聲音信號(hào)，將所述第一回聲消除信號(hào)或所述第二回聲消除信號(hào)作為向通話對(duì)象發(fā)送的聲音信號(hào)而向通信部輸出。
[0064]由此，起到與所述回聲消除裝置同樣的效果。
[0065]這些總括的或者具體的方案，可以通過系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)可讀取的CD-ROM等記錄介質(zhì)來實(shí)現(xiàn)，也可以通過系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序以及記錄介質(zhì)的任意組合來實(shí)現(xiàn)。
[0066]此外，以下說明的實(shí)施方式，均表示整體或者具體的例子。以下的實(shí)施方式所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接方式、步驟、步驟的順序等為一例，并不意圖限定本發(fā)明。此外，以下的實(shí)施方式的構(gòu)成要素中，未記載于表示最上位概念的獨(dú)立權(quán)利要求中的構(gòu)成要素作為任意的構(gòu)成要素來說明。
[0067]此外，有時(shí)對(duì)于相同的構(gòu)成要素賦予相同的符號(hào)而省略說明。
[0068](實(shí)施方式I)
[0069]以下，參照附圖來說明實(shí)施方式I。此外，在本實(shí)施方式中，以視頻會(huì)議系統(tǒng)為例進(jìn)行說明，但也能夠應(yīng)用于聲音會(huì)議系統(tǒng)、Web會(huì)議服務(wù)、以及電話那樣使用揚(yáng)聲器和送話器而雙向地進(jìn)行通話的系統(tǒng)。
[0070]使用圖1對(duì)本實(shí)施方式的視頻會(huì)議系統(tǒng)的構(gòu)成進(jìn)行說明。圖1是視頻會(huì)議系統(tǒng)的整體構(gòu)成圖。如圖1所示，在視頻會(huì)議系統(tǒng)的整體構(gòu)成中，包括視頻會(huì)議系統(tǒng)1、電視機(jī)2、送話器(麥克)3、攝像機(jī)4及因特網(wǎng)5。
[0071]視頻會(huì)議系統(tǒng)I接收由送話器3生成的聲音信號(hào)(送話器信號(hào))和由攝像機(jī)4生成的影像信號(hào)，并經(jīng)由因特網(wǎng)5向通話對(duì)象的視頻會(huì)議系統(tǒng)發(fā)送。此外，視頻會(huì)議系統(tǒng)I將從通話對(duì)象的視頻會(huì)議系統(tǒng)接收的聲音信號(hào)(揚(yáng)聲器信號(hào))和影像信號(hào)向電視機(jī)2發(fā)送。此外，揚(yáng)聲器信號(hào)為第一聲音信號(hào)的一個(gè)例子。此外，送話器信號(hào)為第二聲音信號(hào)的一個(gè)例子。
[0072]電視機(jī)2接收影像信號(hào)和聲音信號(hào)(揚(yáng)聲器信號(hào))，基于接收的影像信號(hào)來再現(xiàn)影像，基于接收的聲音信號(hào)(揚(yáng)聲器信號(hào))來再現(xiàn)聲音。
[0073]送話器3采集用戶聲音，生成聲音信號(hào)(送話器信號(hào))。
[0074]攝像機(jī)4對(duì)用戶進(jìn)行攝像，生成影像信號(hào)。
[0075]因特網(wǎng)5是視頻會(huì)議系統(tǒng)I所連接的網(wǎng)絡(luò)，同時(shí)與通話對(duì)象的視頻會(huì)議系統(tǒng)(未圖示)連接。
[0076]視頻會(huì)議系統(tǒng)I雙向地收發(fā)用戶及用戶的通話對(duì)象的影像和聲音，由此實(shí)現(xiàn)用戶及用戶的通話對(duì)象的交流。
[0077]圖2是視頻會(huì)議系統(tǒng)的功能框圖。使用圖2對(duì)圖1所示的視頻會(huì)議系統(tǒng)I進(jìn)行詳細(xì)說明。此外，圖2中的箭頭表示數(shù)據(jù)流動(dòng)的方向。
[0078]如圖2所示那樣，視頻會(huì)議系統(tǒng)I具備:聲音ADC6、影像ADC (Analog DigitalConverter:模數(shù)轉(zhuǎn)換器)7、編碼器 8、解碼器 9、聲音 DAC (Digital Analog Converter:數(shù)模轉(zhuǎn)換器)10、影像DAC11、通信部14、以及回聲消除裝置20。
[0079]通信部14收發(fā)影像數(shù)據(jù)及聲音數(shù)據(jù)。
[0080]解碼器9對(duì)由通信部14接收的從通話對(duì)象的視頻會(huì)議系統(tǒng)接收的影像數(shù)據(jù)和聲音數(shù)據(jù)進(jìn)行解碼，生成影像信號(hào)和數(shù)字揚(yáng)聲器信號(hào)。
[0081]聲音DAC10將由解碼器9生成的數(shù)字揚(yáng)聲器信號(hào)變換為模擬揚(yáng)聲器信號(hào)。視頻會(huì)議系統(tǒng)I也可以將數(shù)字揚(yáng)聲器信號(hào)向揚(yáng)聲器12發(fā)送。
[0082]影像DACll將由解碼器9生成的數(shù)字影像信號(hào)變換為模擬影像信號(hào)。視頻會(huì)議系統(tǒng)I也可以將數(shù)字影像信號(hào)向顯示器13發(fā)送。
[0083]影像ADC7將由攝像機(jī)4生成的模擬影像信號(hào)變換為數(shù)字影像信號(hào)。攝像機(jī)4也可以具備影像ADC7而生成數(shù)字影像信號(hào)，并向視頻會(huì)議系統(tǒng)I發(fā)送。
[0084]聲音ADC6將由送話器3生成的模擬送話器信號(hào)變換為數(shù)字送話器信號(hào)。送話器3也可以具備聲音ADC6而生成數(shù)字送話器信號(hào)，并向視頻會(huì)議系統(tǒng)I發(fā)送。
[0085]回聲消除裝置20被輸入送話器信號(hào)和揚(yáng)聲器信號(hào)而輸出回聲消除信號(hào)。
[0086]編碼器8對(duì)從影像ADC7輸出的數(shù)字影像信號(hào)和從回聲消除裝置20輸出的回聲消除信號(hào)進(jìn)行編碼。
[0087]此外，與視頻會(huì)議系統(tǒng)連接的電視機(jī)2具備揚(yáng)聲器12和顯示器13。揚(yáng)聲器12再現(xiàn)來自視頻會(huì)議系統(tǒng)I的模擬揚(yáng)聲器信號(hào)。顯示器13顯示來自視頻會(huì)議系統(tǒng)I的模擬影
像信號(hào)。
[0088]此外，以下在僅記載為揚(yáng)聲器信號(hào)、送話器信號(hào)及影像信號(hào)時(shí)，分別意味著數(shù)字揚(yáng)聲器信號(hào)、數(shù)字送話器信號(hào)及數(shù)字影像信號(hào)。
[0089]此外，在圖2中示出了 I個(gè)揚(yáng)聲器和I個(gè)送話器的構(gòu)成，但揚(yáng)聲器和送話器也可以分別為2個(gè)以上。在該情況下，視頻會(huì)議系統(tǒng)I具備:能夠?qū)?duì)應(yīng)的送話器的數(shù)量的聲音信號(hào)編碼的編碼器、能夠?qū)?duì)應(yīng)的揚(yáng)聲器的數(shù)量的聲音信號(hào)解碼的解碼器、以及使用對(duì)應(yīng)的數(shù)量的揚(yáng)聲器信號(hào)和對(duì)應(yīng)的數(shù)量的送話器信號(hào)來生成一個(gè)以上的回聲消除信號(hào)的回聲消除裝置。視頻會(huì)議系統(tǒng)I為，在內(nèi)置有聲音DAC的情況下，具有對(duì)應(yīng)的揚(yáng)聲器的數(shù)量的聲音DAC。視頻會(huì)議系統(tǒng)I為，在內(nèi)置有聲音ADC的情況下，具備對(duì)應(yīng)的送話器的數(shù)量的聲音ADC。
[0090]此外，在電視機(jī)2、送話器3及攝像機(jī)4輸入輸出數(shù)字信號(hào)的情況下，不需要影像ADC7、聲音ADC6、聲音DAClO、以及影像DAClI。
[0091]在此，說明回聲消除裝置20。在圖2那樣構(gòu)成的視頻會(huì)議系統(tǒng)中，將接收的對(duì)方地點(diǎn)的聲音從電視機(jī)2的揚(yáng)聲器12再現(xiàn)。此時(shí)，在送話器3中，除了自地點(diǎn)的用戶聲音之夕卜，還采集到從揚(yáng)聲器12再現(xiàn)的通話對(duì)象地點(diǎn)的聲音。這樣，從揚(yáng)聲器12再現(xiàn)并混入送話器3的聲音為回聲。當(dāng)在產(chǎn)生回聲的狀態(tài)下，當(dāng)不消除回聲而向通話對(duì)象地點(diǎn)發(fā)送聲音時(shí)，對(duì)于通話對(duì)象來說，自己發(fā)出的聲音具有時(shí)間差地從揚(yáng)聲器再現(xiàn)，因此成為交流的妨礙。在此，回聲消除裝置20將由送話器3采集的送話器信號(hào)所包含的回聲消除，將回聲消除信號(hào)向?qū)Ψ降攸c(diǎn)發(fā)送。由此，實(shí)現(xiàn)沒有回聲的順暢的交流。
[0092]對(duì)如上述那樣構(gòu)成的視頻會(huì)議系統(tǒng)的動(dòng)作進(jìn)行說明。當(dāng)通過視頻會(huì)議系統(tǒng)I和通話對(duì)象的視頻會(huì)議系統(tǒng)而開始視頻會(huì)議時(shí)，由攝像機(jī)4生成的影像信號(hào)通過影像ADC7變換為數(shù)字影像信號(hào)，并發(fā)送給編碼器8。由送話器3生成的聲音信號(hào)通過聲音ADC6變換為數(shù)字送話器信號(hào)，通過回聲消除裝置20消除回聲，并發(fā)送給編碼器8。然后，通過編碼器8的編碼而生成的影像數(shù)據(jù)及聲音數(shù)據(jù)從通信部14經(jīng)由因特網(wǎng)5向通話對(duì)象的視頻會(huì)議系統(tǒng)發(fā)送。此外，由通信部14從通話對(duì)象的視頻會(huì)議系統(tǒng)接收的影像數(shù)據(jù)及聲音數(shù)據(jù)通過解碼器9被解碼，經(jīng)由聲音DAC10、影像DAC11，將影像信號(hào)和揚(yáng)聲器信號(hào)分別向電視機(jī)2輸出。通過如上述那樣雙向地收發(fā)影像和聲音數(shù)據(jù)而進(jìn)行交流。[0093]圖3是本實(shí)施方式的回聲消除裝置21的功能框圖?；芈曄b置21相當(dāng)于圖2所示的回聲消除裝置20。在圖3中，送話器3不僅采集自地點(diǎn)的用戶聲音，還有從揚(yáng)聲器12再現(xiàn)的揚(yáng)聲器信號(hào)作為回聲混入。
[0094]回聲消除裝置21具備第一偽回聲生成部200、第一回聲消除部201、以及過濾器更新部202。
[0095]第一偽回聲生成部200通過揚(yáng)聲器信號(hào)與模擬了回聲傳遞特性的過濾器的疊加計(jì)算，來生成偽回聲信號(hào)。
[0096]第一回聲消除部201通過從送話器信號(hào)減去由第一偽回聲生成部200生成的偽回聲，來生成回聲消除信號(hào)。
[0097]過濾器更新部202使用由回聲消除部生成的回聲消除信號(hào)和揚(yáng)聲器信號(hào)來更新過濾器的特性。
[0098]圖4是本實(shí)施方式的過濾器更新部202的功能框圖。過濾器更新部202具備:范數(shù)(norm)計(jì)算部300、非線性變換部301、以及過濾器更新量計(jì)算部302。
[0099]范數(shù)計(jì)算部300計(jì)算揚(yáng)聲器信號(hào)的范數(shù)。在此，揚(yáng)聲器信號(hào)的范數(shù)是過去的規(guī)定時(shí)間內(nèi)的揚(yáng)聲器信號(hào)的大小的總和，是表不該時(shí)間內(nèi)的信號(hào)的大小的程度的值。
[0100]非線性變換部301通過對(duì)回聲消除信號(hào)進(jìn)行非線性變換，生成非線性變換后的回聲消除信號(hào)。
[0101]過濾器更新量計(jì)算部302使用由范數(shù)計(jì)算部300計(jì)算的范數(shù)、非線性變換后的回聲消除信號(hào)及揚(yáng)聲器信號(hào)，計(jì)算過濾器特性的更新量。
`[0102]根據(jù)所述構(gòu)成，使用揚(yáng)聲器信號(hào)的范數(shù)、非線性變換后的回聲消除信號(hào)及揚(yáng)聲器信號(hào)，計(jì)算過濾器更新量，并使用計(jì)算出的過濾器更新量來進(jìn)行過濾器的更新。由此，即便在雙向通話時(shí)，也能夠進(jìn)行用于使過濾器與回聲傳遞特性等價(jià)的更新，能夠正確地生成偽回聲，能夠始終正確地消除回聲。
[0103]圖5是本實(shí)施方式的回聲消除方法的流程圖。使用流程圖和數(shù)式來說明本實(shí)施方式的回聲消除方法。
[0104]在本回聲消除方法中，首先，回聲消除裝置20取得送話器信號(hào)m(t)(步驟S501)。在此，t表示被數(shù)字化的信號(hào)中的時(shí)刻，X (t)表示時(shí)刻t的揚(yáng)聲器信號(hào)。送話器信號(hào)m (t)使用用戶聲音s (t)和回聲e (t)而通過(式I)來賦予(s (t)不僅包括用戶聲音,也包括多個(gè)用戶聲音或背景噪聲)。
[0105][數(shù)I]
[0106]m(t) =s(t)+e(t) (式 I)
[0107]此外，回聲e (t)由從揚(yáng)聲器12到送話器3的回聲傳遞特性h ( τ )和揚(yáng)聲器信號(hào)X (t)而通過(式2)來賦予。在此，τ為過濾器的樣本編號(hào)，L表示回聲傳遞特性的長(zhǎng)度。
[0108][數(shù)2]

L-1
[0109]e(t) = ?^Η{τ)χ{?-τ) (式 2)

τ=0
[0110]接下來，回聲消除裝置20取得揚(yáng)聲器信號(hào)X (t)(步驟S502)。[0111]接下來，第一偽回聲生成部200生成偽回聲z (t)(步驟S503)。如果將用于模擬回聲傳遞特性的更新前的過濾器設(shè)為Wt-^T )，則第一偽回聲生成部200通過(式3)來生成偽回聲z (t)。在此，T為過濾器的長(zhǎng)度。
[0112][數(shù)
【權(quán)利要求】
1.一種回聲消除裝置，用于生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào)，該第二聲音信號(hào)包含通過米集第一聲音信號(hào)的再現(xiàn)音而生成的所述回聲信號(hào)，該回聲消除裝置具備: 第一偽回聲生成部，對(duì)于所述第一聲音信號(hào)進(jìn)行使用了過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)，該過濾器具有與所述再現(xiàn)音被采集為止的傳遞特性等價(jià)的特性； 第一回聲消除部，從所述第二聲音信號(hào)減去由所述第一偽回聲生成部生成的所述第一偽回聲信號(hào)，從而生成第一回聲消除信號(hào)并輸出；以及 過濾器更新部，對(duì)由所述第一回聲消除部生成的所述第一回聲消除信號(hào)進(jìn)行非線性變換，從而生成非線性變換后的回聲消除信號(hào)，使用所述非線性變換后的回聲消除信號(hào)、所述第一聲音信號(hào)、以及所述第一聲音信號(hào)的范數(shù)來更新所述過濾器的特性，以使所述過濾器的特性與所述傳遞特性等價(jià)。
2.如權(quán)利要求1記載的回聲消除裝置，其中， 所述過濾器更新部使用所述第一聲音信號(hào)與所述第一聲音信號(hào)的范數(shù)之比和所述非線性變換后的回聲消除信號(hào)，進(jìn)行所述過濾器的特性的更新。
3.如權(quán)利要求1或權(quán)利要求2記載的回聲消除裝置，其中， 所述過濾器更新部將所述第一聲音信號(hào)與所述第一聲音信號(hào)的范數(shù)之比、所述非線性變換后的回聲消除信號(hào)、以及規(guī)定系數(shù)的積，和更新前的所述過濾器的特性相加，從而進(jìn)行所述過濾器的特性的更新。
4.如權(quán)利要求1記載的回聲消除裝置，其中， 所述過濾器更新部使用符號(hào)函 數(shù)來進(jìn)行所述非線性變換，該符號(hào)函數(shù)指的是:所述第一回聲消除信號(hào)為正時(shí)取十1、所述第一回聲消除信號(hào)為負(fù)時(shí)取一 1、所述第一回聲消除信號(hào)為O時(shí)取O的函數(shù)。
5.如權(quán)利要求1~4任一項(xiàng)記載的回聲消除裝置，其中， 所述回聲消除裝置還具備: 第二偽回聲信號(hào)生成部，使用所述第一聲音信號(hào)的范數(shù)和所述非線性變換后的所述回聲消除信號(hào)，生成第二偽回聲信號(hào)；以及 第二回聲消除部，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成部生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
6.如權(quán)利要求1~4任一項(xiàng)記載的回聲消除裝置，其中， 所述回聲消除裝置還具備: 第二偽回聲信號(hào)生成部，使用所述第一聲音信號(hào)的范數(shù)、所述非線性變換后的回聲消除信號(hào)、以及所述第一聲音信號(hào)，生成第二偽回聲信號(hào)；以及 第二回聲消除部，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成部生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
7.如權(quán)利要求5或權(quán)利要求6記載的回聲消除裝置，其中， 所述回聲消除裝置還具備選擇部，該選擇部為，在所述第二回聲消除信號(hào)的大小小于所述第一回聲消除信號(hào)的大小的情況下，將所述第二回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出，在所述第二回聲消除信號(hào)的大小大于所述第一回聲消除信號(hào)的大小的情況下，將所述第一回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出。
8.如權(quán)利要求7記載的回聲消除裝置，其中， 在所述選擇部將所述第一回聲消除信號(hào)作為新的第二回聲消除信號(hào)輸出的情況下，所述過濾器更新部不進(jìn)行所述過濾器的特性的更新。
9.如權(quán)利要求1~8任一項(xiàng)記載的回聲消除裝置，其中， 所述過濾器更新部通過計(jì)算過去的規(guī)定時(shí)間內(nèi)的第一聲音信號(hào)的大小的平方和，來計(jì)算第二偽回聲信號(hào)。
10.一種回聲消除方法，用于生成及輸出從第二聲音信號(hào)消除了回聲信號(hào)的回聲消除信號(hào)，該第二聲音信號(hào)包含通過采集第一聲音信號(hào)的再現(xiàn)音而生成的所述回聲信號(hào)，該回聲消除方法包以下步驟: 第一偽回聲生成步驟，對(duì)于所述第一聲音信號(hào)進(jìn)行使用了過濾器的信號(hào)處理，從而生成第一偽回聲信號(hào)，該過濾器具有與所述再現(xiàn)音被采集為止的傳遞特性等價(jià)的特性； 第一回聲消除步驟，從所述第二聲音信號(hào)減去由所述第一偽回聲生成步驟生成的所述第一偽回聲信號(hào)，從而生成第一回聲消除信號(hào)并輸出；以及 過濾器更新步驟，對(duì)由所述第一回聲消除步驟生成的所述第一回聲消除信號(hào)進(jìn)行非線性變換，從而生成非線性變換后的回聲消除信號(hào)，使用所述非線性變換后的回聲消除信號(hào)、所述第一聲音信號(hào)、以及所述第一聲音信號(hào)的范數(shù)來更新所述過濾器的特性，以使所述過濾器的特性與所述傳遞特性等價(jià)。
11.如權(quán)利要求10記載的回聲消除方法，其中， 所述回聲消除方法還包括`以下步驟: 第二偽回聲信號(hào)生成步驟，使用所述第一聲音信號(hào)的范數(shù)、所述非線性變換后的回聲消除信號(hào)、以及所述第一聲音信號(hào)，生成第二偽回聲信號(hào)；以及 第二回聲消除步驟，從所述第一回聲消除信號(hào)減去由所述第二偽回聲信號(hào)生成步驟生成的所述第二偽回聲信號(hào)，從而生成第二回聲消除信號(hào)并輸出。
12.—種程序， 用于使計(jì)算機(jī)執(zhí)行權(quán)利要求10記載的回聲消除方法。
13.一種程序， 用于使計(jì)算機(jī)執(zhí)行權(quán)利要求11記載的回聲消除方法。
14.一種通話裝置，具備: 權(quán)利要求1~9任一項(xiàng)記載的回聲消除裝置； 送話器，米集周圍的聲音而生成聲音信號(hào)； 揚(yáng)聲器，基于聲音信號(hào)來再現(xiàn)聲音；以及 通信部，將聲音信號(hào)向通話對(duì)象發(fā)送，并從通話對(duì)象接收聲音信號(hào)； 在所述回聲消除裝置中，接收所述通信部從通話對(duì)象接收的聲音信號(hào)而作為所述第一聲音信號(hào)，接收由所述送話器生成的聲音信號(hào)而作為所述第二聲音信號(hào)，將所述第一回聲消除信號(hào)或所述第二回聲消除信號(hào)作為向通話對(duì)象發(fā)送的聲音信號(hào)而向通信部輸出。
【文檔編號(hào)】H04B3/23GK103493384SQ201380001050
【公開日】2014年1月1日 申請(qǐng)日期:2013年2月7日 優(yōu)先權(quán)日:2012年2月17日
【發(fā)明者】西川剛樹, 古川博基, 金森丈郎 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社