欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

利用多麥克風的三維聲音捕獲和再現(xiàn)的制作方法

文檔序號:6738532閱讀:230來源:國知局
專利名稱:利用多麥克風的三維聲音捕獲和再現(xiàn)的制作方法
技術領域
本發(fā)明涉及音頻信號處理。
背景技術

發(fā)明內(nèi)容
根據(jù)一般配置的一種音頻信號處理方法包含:將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音;以及記錄所述可定位源中的每一者的方向的指示。還揭示具有有形特征的計算機可讀存儲媒體(例如,非暫時性媒體),所述有形特征致使所述機器讀取所述特征以執(zhí)行此方法。根據(jù)一般配置的一種音頻信號處理設備包含:用于將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音的裝置;以及用于記錄所述可定位源中的每一者的方向的指示的裝置。根據(jù)另一一般配置的一種音頻信號處理設備包含:空間選擇性濾波器,其經(jīng)配置以將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音;以及方向估計器,其經(jīng)配置以記錄所述可定位源中的每一者的方向的指示。


圖1展示用于蜂窩式電話的代表性手持機上的麥克風放置。圖2A展示基于用戶接口輸入進行麥克風/波束成形器選擇的方法的流程圖。圖2B說明用于麥克風對的空間選擇的區(qū)域。圖3說明用于在兩個維度中選擇所需記錄方向的用戶接口。圖4展示圍繞經(jīng)配置以執(zhí)行主動噪音消除(ANC)的頭戴式耳機界定的可能空間扇形區(qū)。圖5展示三麥克風布置。圖6展示用于具有兩個可定位源(歌手與鼓)和無定位周圍環(huán)境的情況的概念圖。圖7展示使用相位差分布來估計源方向和/或數(shù)目的實例。圖8展示使用多個波束成形器來估計源方向和/或數(shù)目的實例。
圖9展示用于使用四麥克風設置的空間譯碼的全向和一階捕獲。圖10展示便攜式通信裝置的一個實例的前視圖和后視圖。圖11展示記錄從側(cè)面方向到達的源信號的情況。圖12展示記錄從側(cè)面方向到達的源信號的另一情況。圖13展示組合端射波束的情況。圖14展示在前中、左前、右前、左后和右后方向上的波束的繪圖的實例。圖15展示獲得右后空間方向的信號的處理的實例。圖16展示利用具有三個麥克風的陣列使用兩麥克風對BSS的空波束成形方法。圖17展示其中前和右方向上的波束經(jīng)組合以獲得右前方向的結(jié)果的實例。圖18展示如圖16中所說明的方法的空波束的實例。圖19展示利用具有四個麥克風的陣列使用四聲道BSS的空波束成形方法。圖20展示針對拐角方向FL、FR、BL和BR的一組四個濾波器的波束圖的實例。圖21展示在移動揚聲器數(shù)據(jù)上習得的IVA會聚濾波器波束圖的實例。圖22展示在改進的移動揚聲器數(shù)據(jù)上習得的IVA會聚濾波器波束圖的實例。圖23A展示組合端射 波束的方法的流程圖。圖23B展示針對一般雙對情況的方法的流程圖。圖23C展示針對三麥克風情況的圖23B的方法的實施方案。圖24展示利用具有四個麥克風的陣列使用四聲道BSS的方法的流程圖。圖25展示用于從使用多個全向麥克風記錄的信號提供5.1聲道記錄且使用頭戴式送受話器再現(xiàn)此記錄的系統(tǒng)。圖26展示用于BSS濾波器組的部分路由圖。圖27展示用于2x2濾波器組的路由圖。圖28A展示陣列RlOO的實施方案R200的框圖。圖28B展示陣列R200的實施方案R210的框圖。圖29A展示根據(jù)一般配置的多麥克風音頻感測裝置DlO的框圖。圖29B展示為裝置DlO的實施方案的通信裝置D20的框圖。
具體實施例方式除非明確地受其上下文限制,否則術語“信號”在本文中用以指示其普通意義中的任一者,包含如在導線、總線或其它傳輸媒體上表達的存儲器位置(或存儲器位置集合)的狀態(tài)。除非明確地受其上下文限制,否則本文中使用術語“產(chǎn)生”來指示其普通意義中的任一者,例如,計算或以其它方式產(chǎn)生。除非明確地受其上下文限制,否則本文中使用術語“計算”來指示其普通意義中的任一者,例如,推算、評估、平滑化和/或從多個值中選擇。除非明確地受其上下文限制,否則使用術語“獲得”來指示其普通意義中的任一者,例如,計算、導出、接收(例如,從外部裝置)和/或檢索(例如,從存儲元件陣列)。除非明確地受其上下文限制,否則使用術語“選擇”來指示其普通意義中的任一者,例如,識別、指示、應用和/或使用兩個或兩個以上的集合中的至少一者和少于全部個。在術語“包括”用于本描述和權利要求書中的情況下,其不排除其它元件或操作。使用術語“基于”(如在“A是基于B”中)來指示其普通意義中的任一者,包含以下情況:(i) “從……導出”(例如,“B為A的前體”),( ) “至少基于”(例如,“A至少基于B”),和如果在特定上下文中合適,(iii) “等于”(例如,“A等于B”)。類似地,使用術語“響應于”來指示其普通意義中的任一者,包含“至少響應于”。對多麥克風音頻感測裝置的麥克風的“位置”的參考指示麥克風的聲學感測面的中心的位置,除非上下文另有指示。根據(jù)特定上下文,術語“信道”有時用來指示信號路徑,且有時用來指示由此路徑攜載的信號。除非另有指示,否則術語“系列”用來指示一連串兩個或兩個以上項。術語“算法”用來指示以十為基數(shù)的算法,但此運算至其它基數(shù)的延伸在本發(fā)明的范疇內(nèi)。術語“頻率分量”用來指示信號的一組頻率或頻帶中的一者,例如,信號的頻域表示的樣本(例如,如通過快速傅立葉變換產(chǎn)生)或信號的次頻帶(例如,巴克(Bark)級或梅爾(mel)級次頻帶)。除非另外指出,否則對具有特定特征的設備的操作的任何揭示內(nèi)容還明確地希望揭示具有類似特征的方法(且反之亦然),且對根據(jù)特定配置的設備的操作的任何揭示內(nèi)容還明確地希望揭示根據(jù)類似配置的方法(且反之亦然)。關于方法、設備和/或系統(tǒng),如由其特定上下文指示,可使用術語“配置”。一般地且可互換地使用術語“方法”、“過程”、“程序”和“技術”,除非特定上下文另有指示。也一般地且可互換地使用術語“設備”和“裝置”,除非特定上下文另有指示。術語“元件”和“模塊”通常用來指示較大配置的一部分。除非明確地受其上下文限制,否則本文中使用術語“系統(tǒng)”來指示其普通意義中的任一者,包含“交互以服務于共同目的的一群元件”。還應將文獻的一部分以引用方式進行的任何并入理解為并有在所述部分內(nèi)提及的術語或變量的定義(在這些定義出現(xiàn)于所述文獻中其它處的情況下),以及在并入的部分中提及的任何圖。如本文中描述的方法可經(jīng)配置以將所捕獲的信號作為一系列段來處理。典型的段長度范圍自約五毫秒或十毫秒至約四十毫秒或五十毫秒,且段可重疊(例如,其中鄰近段重疊25%或50%)或不重疊。在一個特定實例中,將信號分成一系列不重疊段或“巾貞”,每一者具有十毫秒的長度。如由此方法處理的段也可為如由不同操作處理的較大段的一段(即,“子幀”)。現(xiàn)今,我們正經(jīng)歷著通過例如臉書(Facebook)、推特(Twitter)等快速增長的社交網(wǎng)絡服務的個人信息的快速交換。與此同時,我們也看到網(wǎng)絡速度和存儲量的明顯增長,這已經(jīng)不僅支持文本,還支持多媒體數(shù)據(jù)。在此環(huán)境中,我們看到捕獲和再現(xiàn)三維(3D)音頻的重要需要,以實現(xiàn)個人聽覺體驗的更逼真且身臨其境的交換。已使用頭戴式送受話器或擴音器陣列來執(zhí)行三維音頻再現(xiàn)。然而,不存在在線可控性,使得再現(xiàn)準確聲音圖像的穩(wěn)健性受到限制。在基于頭部相關轉(zhuǎn)移函數(shù)(HRTF)的頭戴式送受話器再現(xiàn)的情況下,聲音圖像通常局部化于用戶頭部中,使得深度和空間感知受到限制。最近已在增強語音通信的上下文中開發(fā)了基于多麥克風的音頻處理算法。本發(fā)明基于可與一個或一個以上此算法組合的多麥克風拓撲描述3D音頻的若干獨特特征。下文從記錄角度和再現(xiàn)角度描述這些特征。這些特征可用于利用下文列舉的子類特征支持3D音頻的整個路徑。記錄角度涉及用于發(fā)射單耳音頻聲道的方向捕獲,其用于 連同方向信息一起再現(xiàn)。再現(xiàn)角度再次利用多麥克風拓撲引入穩(wěn)健且可信的聲音圖像重構(gòu)方法。
圖1展示具有可針對不同聲源方向加以配置的麥克風陣列幾何形狀的裝置的三個不同視圖。取決于使用情況,可選擇所述裝置的麥克風的不同組合(例如,對)來支持在不同源方向上的空間選擇性音頻記錄。舉例來說,參考圖1,在視頻相機情境(例如,具有在裝置的后面上的相機鏡頭)中,可使用前后麥克風對(例如,麥克風2和4、麥克風2和3、麥克風5和4)來記錄前后方向(即,操縱波束進入和遠離相機點方向),其中可手動或自動地配置左右方向參數(shù)選擇。對于在正交于前后軸線的方向上的聲音記錄,麥克風對(1,2)為另一選項。給定設計方法的范圍(S卩,MVDR、LCMV、相控陣列,等),可針對各種麥克風組合離線地計算不同波束成形器數(shù)據(jù)庫。在使用期間,可取決于當前使用情況要求來通過用戶接口中的菜單選擇這些波束成形器中的所需一者。圖2A展示包含任務TllO和T120的此方法的概念流程圖。任務TllO指定一個或一個以上優(yōu)選聲音捕獲方向(例如,自動選擇和/或經(jīng)由用戶接口選擇),且任務T120選擇波束成形器與提供指定方向性的麥克風陣列(例如,對)的組合。圖3展示選擇記錄方向的用戶接口的實例。圖4展示針對立體聲頭戴式耳機的相關使用情況的說明,所述立體聲頭戴式耳機包含支持例如話音捕獲和/或主動噪音消除(ANC)等應用的三個麥克風。對于此應用,可界定圍繞頭部的不同扇形區(qū)以使用此三麥克風配置(圖4,使用全向麥克風)進行記錄。還可利用例如圖5中所示的三麥克風布置等專門麥克風設置來執(zhí)行三維音頻捕獲。此布置可經(jīng)由接線或無線地連接到例如視頻記錄裝置D400等記錄裝置。裝置D400可包含如本文中描述的用于檢測裝置定向和根據(jù)所選擇的音頻記錄方向來從麥克風ML10、MRlO和MClO中選擇一對麥克風的設備。在替代布置中,麥克風MClO位于記錄裝置上??赡苄枰峁┳詣訄鼍胺治龊头纸獾哪芰Α4四芰τ谄渲醒b置的用戶未指定優(yōu)選音頻記錄方向或此知識因其它原因而不可用的情況可為需要的。在自動化場景分析和分解的一個實例中,聽覺場景被分解成兩個主類。第一主類是可定位源。可使用適當波束成形器來捕獲來自此些源的信號分量,所述波束成形器可根據(jù)相應估計的到達方向來設計(例如,離線地計算)和選擇。每一可定位源的記錄可包含記錄所述源的到達方向和對應單聲道音頻信號。在所記錄的信號的再現(xiàn)期間,可用適當方向信息合成這些源??赏ㄟ^響應于所記錄的場景而比較定向于已知方向上的波束成形器的輸出來執(zhí)行到達方向(DOA)的估計。此外或替代地,方向估計器可經(jīng)配置以計算一個或一個以上麥克風聲道對的對應頻率分量之間的相位差(其中到達方向由相位差與頻率之間的比率指示)。此外或替代地,方向估計器可經(jīng)配置以計算一個或一個以上麥克風聲道對的電平(例如,能量差)之間的差。經(jīng)定位的源信號可單獨地或組合地再現(xiàn)。對于其中空間化的單聲道源最終將在再現(xiàn)位點處混合的情況,可放寬分離要求。舉例來說,可認為將一個或一個以上其它方向源在記錄期間抑制小達6dB提供足夠的分離度。第二主類是所捕獲的不可實現(xiàn)的周圍環(huán)境??衫缤ㄟ^從所記錄的信號減去來自所定位源的分量來將此周圍環(huán)境獲得為殘差??蛇M一步利用在再現(xiàn)位點中的環(huán)繞擴音器來處理環(huán)境信號,或所述環(huán)境信號在頭戴式送受話器傾聽的情況下可擴散。可通過用戶界定的將于場景中定位的優(yōu)勢源的數(shù)目來指導此自動化分析和分解。然而,如果優(yōu)勢源的所需數(shù)目不可用,那么其也可自動地確定(例如,基于到達方向信息的分析)。圖6展示位于相對于麥克風陣列的不同到達方向Θ的兩個可定位源(歌手與鼓)的概念圖。在一個實例(例如,如圖7中所示)中,根據(jù)柱狀圖中峰值的數(shù)目來計算經(jīng)定位源的數(shù)目,所述柱狀圖指示在一定范圍的頻率上從每一方向到達的頻率分量的數(shù)目。在另一實例(例如,如圖8中所示)中,根據(jù)定向于不同方向上的一組波束成形器中的波束成形器的數(shù)目來計算經(jīng)定位源的數(shù)目,所述波束成形器響應于所記錄場景的輸出高于(或者,至少等于)閾值。通常假定,遠端用戶使用立體聲頭戴式耳機(例如,自適應噪音消除或ANC頭戴式耳機)來傾聽所記錄的空間聲音。然而,在其它應用中,可能在遠端可使用能夠再現(xiàn)兩個以上空間方向的多擴音器陣列。為支持此使用情況,可能需要在記錄期間同時實現(xiàn)一個以上麥克風/波束成形器組合。多麥克風陣列可與空間選擇性濾波器一起使用以針對一個或一個以上源方向中的每一者產(chǎn)生單聲道聲音。然而,此陣列還可用以支持在兩個或三個維度上的空間音頻編碼??捎扇绫疚闹忻枋龅亩帑溈孙L陣列支持的空間音頻編碼方法的實例包含5.1環(huán)繞、7.1環(huán)繞、杜比環(huán)繞、杜比定向邏輯(Dolby Pro-Logic),或任何其它相位-振幅矩陣立體聲格式;杜比數(shù)字、DTS或任何離散多聲道格式;以及波場合成。五聲道編碼的一個實例包含左、右、中、左環(huán)繞和右環(huán)繞聲道??捎扇绫疚闹忻枋龅亩帑溈孙L陣列支持的空間音頻編碼方法的實例還包含最初既定與特殊麥克風一起使用的方法,例如高保真立體聲復制(Ambisonic)B格式或較高階Ambisonic格式。Ambisonic編碼方案的經(jīng)處理的多聲道輸出例如為測量點上的三維泰勒擴展,其可使用如圖9中所描繪的在三個維度上定位的麥克風陣列來近似至少達一階。利用更多麥克風,我們可增加近似階數(shù)。為了向用戶傳達身臨其境的聲音體驗,通常獨立地或與視頻錄像結(jié)合來進行環(huán)繞聲記錄。環(huán)繞聲記錄通常需要使用單向麥克風的單獨麥克風設置,其通常需要單獨地剪輯,且因此不適于便攜式音頻感測裝置(例如,智能電話或平板計算機)。在本發(fā)明中,呈現(xiàn)基于與空間濾波組合的多個全向麥克風的替代方案。所述解決方案是基于嵌入于智能電話或平板計算機上以支持多個使用情況的全向麥克風。因此,不需要龐大的單向麥克風設置來支持視頻錄像應用。用于寬立體聲的兩個麥克風或具有適當麥克風軸線以用于環(huán)繞聲的至少三個全向麥克風用以在智能電話或平板計算機裝置上記錄多個聲音聲道。這些聲道又被成對地處理或利用經(jīng)設計以在所需查看方向上具有特定空間拾取圖的濾波器同時全部被濾波。歸因于空間假頻,可選擇麥克風間距離以使得圖在最相關的頻帶中是有效的。所產(chǎn)生的立體聲或5.1輸出聲道可在環(huán)繞聲設置中回放以產(chǎn)生身臨其境的聲音體驗。圖10展示便攜式通信裝置(例如,智能電話)的一個實例的前視圖和后視圖。具有前麥克風2和后麥克風4的陣列是可用以進行立體聲記錄的一個典型雙麥克風配置,且若干其它對陣列(例如,(1,2)、(3,4)、(1,4))也是可能的。麥克風相對于源的不同位置(其可取決于裝置的保持位置)造成立體聲效果,可使用空間濾波來突出所述立體聲效果。為了在講解員與所記錄的場景之間造成立體聲圖像(例如,在視頻錄像期間),可能需要使用使用前麥克風2與后麥克風4(距離為裝置的厚度,如圖1的側(cè)視圖中所示)的端射配對。然而,注意,我們也可使用處于不同保持位置的相同麥克風來以朝向z軸的距離造成端射配對(如圖1中的后視圖中所示)。在后者情況下,我們可創(chuàng)建朝向場景的立體聲圖像(例如,來自場景中左方的聲音被捕獲為來自左方的聲音)。圖11展示使用前麥克風2與后麥克風4(距離為裝置的厚度)的端射配對來記錄從側(cè)面方向到達的源信號的情況。在此實例中,兩個麥克風的坐標是(x=0, y=0, z=0)與(x=0, y=0.10, z=-0.01)。應用立體聲波束成形,使得沿著y=0平面的區(qū)域展示在側(cè)面方向上的波束,且圍繞(x=0, y=-0.5, z=0)的區(qū)域展示在端射方向上的空波束。當講解員正從側(cè)面方向講話時(例如,進入裝置的后面),由于與關于麥克風對的軸線的旋轉(zhuǎn)有關的模糊性,可能難以區(qū)分講解員的話音與來自裝置前面處的場景的聲音。結(jié)果是不會增強將講解員的話音與場景分開的立體聲效果。圖12展示使用前麥克風2與后麥克風4 (距離為裝置的厚度)的端射配對來記錄從側(cè)面方向到達的源信號的另一情況,其中麥克風坐標與圖11中的坐標相同。在此實例中,波束朝向端射方向定向(通過點(X=0,y=-0.5, z=0)),使得用戶(例如,講解員)的話音在一個聲道中變?yōu)榭???墒褂每詹ㄊ尚纹骰蛄硪环椒▉硇纬伤霾ㄊ@绐毩⒎至糠治?ICA)或獨立矢量分析(IVA)等盲源分離(BSS)方法可提供比空波束成形器更寬的立體聲效果。注意,為了對于所錄音的場景自身提供較寬立體聲效果,使用距離朝向z軸的相冋麥克風的端射配對(如圖1中的后視圖中所不)可能足夠。對于處于側(cè)面保持位置中的裝置,可能需要將端射波束組合到左側(cè)和右側(cè)(例如,如圖12和13中所示),以與原始記錄相比增強立體聲效果。此處理還可包含添加聲道間延遲(例如,以模擬麥克風間距)。此延遲可用以根據(jù)空間中的共同參考點來正態(tài)化兩個波束成形器的輸出延遲。當通過頭戴式送受話器回放立體聲聲道時,操縱延遲也可幫助在優(yōu)選方向上旋轉(zhuǎn)空間圖像。裝置可包含指示保持位置的加速計、磁力計和/或回轉(zhuǎn)儀(例如,如標題為“用于定向敏感記錄控制的系統(tǒng)、方法、設備和計算機可讀媒體(SYSTEMS, METHODS, APPARATUS, AND COMPUTER-READABLE MEDIA FORORIENTATION-SENSITIVE RECORDING CONTROL) ”第 13/XXX, XXX 號美國專利申請案(代理人檔案號102978U1)中所描述)。圖23A展示此方法的流程圖。當裝置處于端射保持位置中時,可預期記錄已經(jīng)提供寬立體聲效果。在此情況下,空間濾波(例如,使用空波束成形器或BSS解決方案,例如ICA或IVA)僅可稍微地增強所述效果。在雙麥克風情況下,可通過如上所述的空間濾波(例如,以增加用戶的話音與所記錄場景的分離)來增強立體聲記錄的文件??赡苄枰獜乃东@的立體聲信號產(chǎn)生若干不同方向聲道(例如,用于環(huán)繞聲),例如以將信號增混(upmix)到兩個以上聲道。舉例來說,可能需要將信號增混到五個聲道(例如,對于5.1環(huán)繞聲方案),使得其可對于每一聲道可使用一陣列五個揚聲器中的一不同揚聲器來回放。此方法可包含在對應方向上應用空間濾波以獲得經(jīng)增混的聲道。此方法還可包含對經(jīng)增混的聲道應用多聲道編碼方案(例如,杜比環(huán)繞的一個版本)。對于其中使用兩個以上麥克風用于記錄時,有可能使用空間濾波及不同麥克風組合在多個方向(例如,五個方向,根據(jù)5.1標準)上進行記錄,接著回放所記錄的信號(例如,使用五個擴音器)??稍跓o增混的情況下執(zhí)行此處理。圖1展示具有兩個以上麥克風的便攜式通信裝置(例如,智能電話)的一個實例的前視圖、后視圖和側(cè)視圖??赡苄枰M合來自不同麥克風對的波束和/或空波束以獲得特定查看方向上的增強的鑒別。多聲道記錄的一個方法包含使用前后麥克風對(例如,麥克風2和3)和左右麥克風對(例如,麥克風I和2)來在五個不同查看方向上設計二維波束。圖14展示在前中(FC)、左前(FL)、右前(FR)、左后(BL)和右后(BR)方向上的此些波束的繪圖的實例。X軸、Y軸和Z軸在所有這些圖中類似地定向(每一范圍的中間為零,且極端為+/-0.5,其中X軸向右增加,Y軸向左增加,且Z軸向頂部增加),且黑暗區(qū)域指示如所陳述的波束或空波束方向。每一繪圖的波束被引導穿過以下點(Z=O):對于FC,(x=0, y=+0.5);對于 FR, (x=+0.5, y=+0.5);對于 BR, (x=+0.5, y=-0.5);對于 BL, (χ=_0.5,y=-0.5);以及對于 FL, (x=-0.5, y=+0.5)??臻g濾波技術的有效性可能取決于例如小麥克風間間距、空間假頻和高頻下的散射等因素而限于帶通范圍。在一個實例中,在空間濾波之前對信號進行低通濾波(例如,用8kHz的截止頻率)。對于其中來自單點源的聲音被捕獲的情況,用遮蔽從其它方向到達的信號來補充此波束成形可導致非直接路徑信號的強衰減和/或在實現(xiàn)所需遮蔽效果所需要的激進度水平處的聽覺失真。此假訊(artifact)對于高清晰度(HD)音頻來說可為不合需要的。在一個實例中,以48kHz的取樣率來記錄HD音頻。為減輕此些假訊,替代使用經(jīng)激進地空間濾波的信號,可能需要僅使用每一聲道的經(jīng)處理信號的能量分布并根據(jù)每一聲道的能量分布將增益聲相規(guī)則(gain panning rule)在遮蔽之前應用于原始輸入信號或經(jīng)空間處理的輸出。注意,由于聲音事件在時間-頻率圖中通常非常稀疏,因此有可能甚至對于多源情況使用此種后增益聲相方法。圖15展示獲得右后空間方向的信號的處理的實例。曲線A(振幅對時間)展示原始麥克風記錄。曲線B (振幅對時間)展示對麥克風信號進行低通濾波(用8kHz的截止頻率)且執(zhí)行具有遮蔽的空間濾波的結(jié)果。曲線C(振幅對時間)展示基于曲線B中的信號的能量(例如,取樣值的平方和)的相關空間能量。曲線D(狀態(tài)對時間)展示基于由低頻率空間濾波指示的能量差的聲相分布,且曲線E (振幅對時間)展示48-kHz聲相輸出。對于雙麥克風對情況,可能需要針對一個對設計至少一個波束,且針對另一對設計在不同方向上的至少兩個波束。所述波束可經(jīng)設計或習得(例如,利用BSS方法,例如ICA或IVA)。這些波束中的每一者可用以獲得記錄的不同聲道(例如,對于環(huán)繞聲記錄)。圖16展示利用具有三個麥克風的陣列使用兩麥克風對BSS的空波束成形方法(例如,ICA或IVA)。對于前后方向,使用麥克風對(2,3)。對于左右方向,使用麥克風對(1,2)??赡苄枰獌蓚€麥克風對的軸線正交或至少實質(zhì)上正交(例如,距正交不大于5度、10度、15度或20度)??赏ㄟ^組合波束中的兩者或兩者以上來產(chǎn)生聲道中的一些。圖17展示其中前和右方向上的波束經(jīng)組合以獲得右前方向的結(jié)果的實例??梢韵嗤绞将@得左前、右后和/或左后方向的結(jié)果。在此實例中,以此方式組合重疊的波束提供以下信號:從對應拐角到達的信號比從其它位置到達的信號響六dB。圖23B展示針對一般雙對情況的此方法的流程圖。圖23C展示針對三麥克風情況的圖23B的方法的實施方案。可能需要應用聲道間延遲來根據(jù)空間中的共同參考點來正態(tài)化兩個波束成形器的輸出延遲。當組合“左右端射對”與“前后端射對”時,可能需要將參考點設置到麥克風陣列的重心。此操作可通過兩個對之間的經(jīng)調(diào)整的延遲來支持所需拐角位置處的最大化波束發(fā)射。圖18展示針對如圖16中所說明的方法的空波束的實例,所述空波束可使用在裝置與聲源的相對位置固定的情形中習得的MVDR波束成形器或會聚BSS (例如,ICA或IVA)濾波器來加以設計。在這些實例中,所展示的頻率組的范圍對應于從O到SkHz的頻帶??梢钥闯?,空間波束圖是互補的。還可以看出,因為這些實例中的左右對的麥克風與如后對的麥克風之間的間距不同,所以空間假頻以不同方式影響這些波束圖。因為空間假頻,取決于麥克風間距離,可能需要將波束應用于所捕獲信號的小于整個的頻率范圍(例如,應用到如上文所指出的O到SkHz的范圍)。在對低頻內(nèi)容進行空間濾波之后,可在對空間延遲、處理延遲和/或增益匹配進行一些調(diào)整的情況下加回高頻內(nèi)容。在一些情況下(例如,手持型裝置板型),還可能需要僅對中間范圍的頻率(例如,僅降至200或500Hz)進行濾波,因為無論如何,歸因于麥克風間距限制可能預期一些方向性損失。如果存在某種非線性相位失真(情況通常始終如此),那么由于如由非線性相位失真引起的在一些頻率上的不同延遲,根據(jù)相同DOA對于所有頻率基于相同延遲的標準波束/空成形技術可能表現(xiàn)不良。然而,如上文所述的基于IVA的方法基于源分離來操作,且因此可預期此方法產(chǎn)生良好結(jié)果,即使在對于相同DOA存在不同延遲的情況下也是如此。此穩(wěn)健性可為使用IVA用于獲得環(huán)繞處理系數(shù)的潛在優(yōu)點。對于在一些截止頻率(例如,8kHz)之上不進行空間濾波的情況,提供最終HD信號可包含對原始前/后聲道進行高通濾波以及加回從8到24kHz的頻帶。此操作可包含調(diào)整空間和高通濾波延遲??赡苓€需要調(diào)整8-24-kHz頻帶的增益(例如,以使得不會混淆空間分離效果)。圖15中所說明的實例是在時域中濾波,但明確涵蓋且特此揭示應用本文所述的方法在其它域(例如,頻域)中濾波。

圖19展示利用具有四個麥克風的陣列使用四聲道BSS的空波束成形方法(例如,ICA或IVA)??赡苄枰膫€麥克風的各種對中的至少兩者的軸線正交或至少實質(zhì)上正交(例如,距正交不大于5度、10度、15度或20度)。除了雙麥克風配對之外,還可使用此四麥克風濾波器來創(chuàng)建拐角方向上的波束圖。在一個實例中,使用IVA和訓練數(shù)據(jù)來習得濾波器,且將所得會聚IVA濾波器實施為固定濾波器應用到四個所記錄的麥克風輸入,以針對5.1環(huán)繞聲中的相應五個聲道方向(FL、FC、FR、BR、BL)中的每一者產(chǎn)生信號。為完全利
用五個揚聲器,可例如使用以下規(guī)則獲得前中聲道FC: (FL + FR)/^2 ,圖24展示此方法
的流程圖。圖26展示用于此濾波器組的部分路由圖,其中麥克風η將輸入提供到列η(對于^=!!〈=4)中的濾波器,且輸出聲道中的每一者為對應行中的濾波器的輸出的和。在此習得過程的一個實例中,獨立聲源位于圍繞四麥克風陣列的四個指定位置(例如,四個拐角位置FL、FR、BL和BR)中的一者處,且使用所述陣列來捕獲四聲道信號。注意,所捕獲的四聲道輸出中的每一者是所有四個源的混合。接著應用BSS技術(例如,IVA)來分離四個獨立源。在會聚之后,我們獲得分離的四個獨立源以及會聚的濾波器組,所述濾波器組基本上是朝向目標拐角進行波束發(fā)射且朝向其它三個拐角進行置空。圖20展示針對拐角方向FL、FR、BL和BR的此組四個濾波器的波束圖的實例。對于風景記錄模式,獲得和應用濾波器可包含使用兩個前麥克風和兩個后麥克風,對于相對于陣列處于固定位置的源運行四聲道IVA習得算法,以及應用會聚濾波器。波束圖取決于所捕獲的混合數(shù)據(jù)可能不同。圖21展示在移動揚聲器數(shù)據(jù)上習得的IVA會聚濾波器波束圖的實例。圖22展示在改進的移動揚聲器數(shù)據(jù)上習得的IVA會聚濾波器波束圖的實例。這些實例與如圖21中所示對實例相同,除了 FR波束圖之外。使用IVA訓練四麥克風濾波器的過程不僅包含朝向所需方向進行波束發(fā)射,而且包含對干擾方向置空。舉例來說,將用于左前(FL)方向的濾波器會聚到包含朝向FL方向的波束和在右前(FR)、左后(BL)和右后(BR)方向上的空值的解決方案。如果已經(jīng)知道確切的麥克風陣列幾何形狀,可確定性地進行此訓練操作?;蛘撸捎秘S富的訓練數(shù)據(jù)執(zhí)行IVA過程,其中一個或一個以上音頻源(例如,語音、樂器,等)位于每一拐角處且由四麥克風陣列捕獲。在此情況下,不管麥克風配置如何,可執(zhí)行一次訓練過程(即,無需關于麥克風幾何形狀的信息),且可使濾波器固定以在稍后時間用于特定陣列配置。只要陣列在突出的二維(χ-y)平面上包含四個麥克風,就可應用此習得處理的結(jié)果來產(chǎn)生一組適當?shù)乃膫€拐角濾波器。應明確注意,只要陣列的麥克風布置于兩個正交或幾乎正交(例如,在距正交15度內(nèi))的軸線上,就可使用此訓練的濾波器來記錄環(huán)繞聲圖像,而不限制特定麥克風陣列配置。舉例來說,如果兩個軸線非常接近于正交,那么三麥克風陣列是足夠的,且每一軸線上的麥克風之間的分離之間的比率并不重要。如上文所指出,可通過在空間上處理低頻且忽略高頻項目來獲得寬帶(例如,HD)信號。然而,如果增加計算復雜性對于特定設計并非顯著問題,那么可替代地執(zhí)行對整個頻率區(qū)域的處理。因為四麥克風IVA方法相對于波束發(fā)射更多地集中于置空,因此減少高頻項目中的假頻效應??占兕l僅出現(xiàn)于波束發(fā)射方向上的稀少頻率處,使得波束發(fā)射方向上的大部分頻率區(qū)域?qū)⒉皇芸占兕l影響,尤其對于小麥克風間距離。對于較大麥克風間距離,置空實際上變得隨機化,使得效果與僅忽略未經(jīng)處理的高頻項目的情況類似。對于小板型(例如,手持型裝置),可能需要避免在低頻處執(zhí)行空間濾波,因為麥克風間距可能過小而不支持良好結(jié)果,且可能損害較高頻率中的性能。同樣,可能需要避免在高頻處執(zhí)行空間濾波,因為此些頻率通常已為方向性的,且濾波對于高于空間假頻頻率的頻率可能無效。如果使用少于四個麥克風,那么可能難以在三個其它拐角處形成置空(例如,歸因于不夠的自由度)。在此情況下,可能需要使用替代物,例如上文參考圖17、23B和23C論述的端射配對。此描述包含從使用多個全向麥克風(例如,如圖25的中心到左方路徑)記錄的信號提供5.1聲道記錄的揭示內(nèi)容??赡苄枰獜氖褂枚鄠€全向麥克風捕獲的信號創(chuàng)建雙耳記錄。如果例如在用戶側(cè)不存在5.1聲道環(huán)繞系統(tǒng),那么可能需要將5.1聲道減混到立體聲雙耳記錄,以使得用戶可利用環(huán)繞聲系統(tǒng)而具有處于實際聲學空間中的體驗。而且,此能力可提供以下選項:用戶可在其正在現(xiàn)場記錄場景的同時監(jiān)控環(huán)繞記錄,和/或使用頭戴式耳機替代家庭影院系統(tǒng)在其移動裝置上回放所記錄的視頻和環(huán)繞聲。我們可以從全向麥克風陣列而具有方向性聲源,其既定通過在典型起居室空間中位于指定位置(FL、FR、C、BL(或環(huán)繞左),以及BR(或環(huán)繞右))的擴音器播放。一種僅通過頭戴式送受話器(如圖25中的中心到右方路徑所說明)來再現(xiàn)此情境的方法包含測量所需聲學空間中從每一擴音器到位于每一耳朵內(nèi)的麥克風的雙耳脈沖響應(BIR)(例如,雙耳轉(zhuǎn)移函數(shù))的離線過程。BIR針對擴音器陣列與兩耳當中的每一源-接收器對來編碼聲學路徑信息,包含直接路徑以及來自每一擴音器的反射路徑。我們可將小麥克風定位在真實人耳內(nèi),或使用具有硅酮耳朵的假人頭部,例如頭與軀干模擬器(HATS,Bruel和Kjaer,DK)。對于雙耳再現(xiàn),將所測量的BIR與用于所指定的擴音器位置的每一方向性聲源進行卷積。在卷積所有方向性源與BIR之后,對每一耳朵記錄的結(jié)果求和。最終結(jié)果為兩個聲道(例如,左與右),其復制由人耳捕獲的左與右信號,且可通過頭戴式送受話器播放。注意,從全向麥克風陣列的5.1環(huán)繞產(chǎn)生實際上用作從所述陣列到雙耳再現(xiàn)的通過點(via-point)。因此,此方案可取決于如何產(chǎn)生通過點而為通用的。舉例來說,如果我們從由所述陣列捕獲的信號創(chuàng)建更多方向性源,那么我們使用這些源作為從所需擴音器位置到耳朵的具有適當測量的BIR的通過點。可能需要在便攜式音頻感測裝置中執(zhí)行如本文中所描述的方法,所述便攜式音頻感測裝置具有經(jīng)配置以接收聲學信號的兩個或兩個以上麥克風的陣列R100??山?jīng)實施以包含此陣列且可用于音頻記錄和/或話音通信應用的便攜式音頻感測裝置的實例包含電話手持機(例如,蜂窩式電話手持機);有線或無線頭戴式耳機(例如,藍牙頭戴式耳機);手持型音頻和/或視頻記錄器;經(jīng)配置以記錄音頻和/或視頻內(nèi)容的個人媒體播放器;個人數(shù)字助理(PDA)或其它手持型計算裝置;和筆記本計算機、膝上型計算機、上網(wǎng)本計算機、平板計算機或其它便攜式計算裝置。便攜式計算裝置的類別當前包含具有例如以下名稱的名稱的裝置:膝上型計算機、筆記本計算機、上網(wǎng)本計算機、超級便攜式計算機、平板計算機、移動因特網(wǎng)裝置、智能本和智能電話。此裝置可具有包含顯示屏的頂部面板和包含鍵盤的底部面板,其中兩個面板可以哈殼或其它鉸接關系相連接。此裝置可類似地實施為在頂表面上包含觸摸屏顯示器的平板計算機??山?jīng)建構(gòu)以執(zhí)行此方法且包含陣列RlOO的例項且可用于音頻記錄和/或話音通信應用的音頻感測裝置的其它實例包含機頂盒和音頻和/或視頻會議裝置。圖29A展示根據(jù)一般配置的多麥克風音頻感測裝置DlO的框圖。裝置DlO包含本文中揭示的麥克風陣列RlOO的實施方案中的任一者的例項,且可將本文中揭示的音頻感測裝置中的任一者實施為裝置DlO的例項。裝置DlO還包含設備A100,其經(jīng)配置以通過執(zhí)行如本文中揭示的方法的實施方案來處理多聲道音頻信號MCS??蓪⒃O備AlOO實施為硬件(例如,處理器)與軟件和/或與固件的組合。圖29B展示為裝置DlO的實施方案的通信裝置D20的框圖。裝置D20包含芯片或芯片組CSlO (例如,移動臺調(diào)制解調(diào)器(MSM)芯片組),其包含設備A100。芯片或芯片組CSlO可包含一個或一個以上處理器。芯片/芯片組CSlO也可包含陣列RlOO的處理元件(例如,如以下描述的音頻預處理級APlO的元件)。芯片/芯片組CSlO包含:接收器,其經(jīng)配置以接收射頻(RF)通信信號且解碼并再現(xiàn)在RF信號內(nèi)編碼的音頻信號;以及發(fā)射器,其經(jīng)配置以編碼基于由設備AlOO產(chǎn)生的經(jīng)處理信號的音頻信號且發(fā)射描述所編碼的音頻信號的RF通信信號。舉例來說,芯片/芯片組CSlO的一個或一個以上處理器可經(jīng)配置以對多聲道信號的一個或一個以上聲道執(zhí)行如上所述的噪音減少操作,使得編碼的音頻信號是基于噪音減少的信號。
陣列RlOO的每一麥克風可具有全向、雙向或單向(例如,心形線)的響應??稍陉嚵蠷lOO中使用的各種類型的麥克風包含(不限于)壓電麥克風、動態(tài)麥克風和駐極體麥克風。在用于便攜式話音通信的裝置(例如,手持機或頭戴式耳機)中,陣列RlOO的鄰近麥克風之間的中心到中心間距通常在從約1.5cm到約4.5cm的范圍中,但在例如手持機或智能電話等裝置中,較大間距(例如,高達IOcm或15cm)也是可能的,且在例如平板計算機等裝置中,甚至更大的間距(例如,高達20cm、25cm或30cm或30cm以上)也是可能的。陣列RlOO的麥克風可沿著一線布置(具有均勻或非均勻麥克風間距),或者,使得其中心位于二維(例如,三角形)或三維形狀的頂點處。應明確注意,更通常地可將麥克風實施為對輻射或發(fā)射而不是對聲音敏感的換能器。在一個此實例中,將麥克風對實施為一對超聲換能器(例如,對大于十五千赫、二十千赫、二十五千赫、三十千赫、四十千赫或五十千赫或五十千赫以上的聲頻敏感的換能器)。在多麥克風音頻感測裝置的操作期間,陣列RlOO產(chǎn)生多聲道信號,其中每一聲道是基于麥克風中的對應者對聲學環(huán)境的響應。一個麥克風可比另一麥克風直接地接收特定聲音,使得對應的聲道相互間不同以共同提供比使用單一麥克風可捕獲的聲學環(huán)境的表不完整的對聲學環(huán)境的表不??赡苄枰嚵蠷lOO對由麥克風產(chǎn)生的信號執(zhí)行一個或一個以上處理操作以產(chǎn)生多聲道信號MCS。圖28A展示陣列RlOO的實施方案R200的框圖,陣列RlOO包含經(jīng)配置以執(zhí)行一個或一個以上這些操作的音頻預處理級AP10,這些操作可包含(不限于)阻抗匹配、模/數(shù)轉(zhuǎn)換、增益控制和/或在模擬和/或數(shù)字域中的濾波。圖28B展示陣列R200的實施方案R210的框圖。陣列R210包含包含模擬預處理級PlOa和PlOb的音頻預處理級APlO的實施方案AP20。在一個實例中,級PlOa和PlOb各自經(jīng)配置以對對應的麥克風信號執(zhí)行高通濾波操作(例如,用50Hz、IOOHz或200Hz的截止
頻率)??赡苄枰嚵蠷lOO產(chǎn)生多聲道信號,作為數(shù)字信號,也就是說,作為一連串樣本。舉例來說,陣列R210包含模/數(shù)轉(zhuǎn)換器(ADC)ClOa和ClOb,其各自經(jīng)布置以取樣對應的模擬聲道。針對聲學應用的典型取樣速率包含8kHz、12kHz、16kHz和在從約8kHz到約16kHz的范圍中的其它頻率,但也可使用高達約44kHz的取樣速率。在此特定實例中,陣列R210還包含數(shù)字預處理級P20a和P20b,其各自經(jīng)配置以對對應的經(jīng)數(shù)字化的聲道執(zhí)行一個或一個以上預處理操作(例如,回波消除、噪音減少和/或頻譜成形)以產(chǎn)生多聲道信號MCS的對應聲道MCS-1、MCS-2。雖然圖28A和28B展示兩聲道實施方案,但將理解,相同原理可延伸到任意數(shù)目個麥克風和多聲道信號MCS的對應聲道。本文中揭示的方法和設備通常可應用于任何收發(fā)和/或音頻感測應用中,包含這些應用的移動或其它便攜式例項。舉例來說,本文中揭示的配置的范圍包含駐留于經(jīng)配置以使用碼分多址(CDMA)空中接口的無線電話通信系統(tǒng)中的通信裝置。然而,所屬領域的技術人員將理解,具有如本文中所描述的特征的方法和設備可駐留于使用所屬領域的技術人員所已知的廣泛范圍的技術的任何各種通信系統(tǒng)中,例如,經(jīng)由有線和/或無線(例如,CDMA, TDMA, FDMA和/或TD-SCDMA)傳輸聲道使用IP語音(VoIP)的系統(tǒng)。明確預料且在此揭示,本文中揭示的通信裝置可適宜于在為分組交換式網(wǎng)絡(例如,經(jīng)布置以根據(jù)例如VoIP的協(xié)議承載音頻傳輸?shù)挠芯€和/或無線網(wǎng)絡)和/或電路交換式網(wǎng)絡中使用。還明確預料且在此揭示,本文中揭示的通信裝置可適宜于在窄帶譯碼系統(tǒng)(例如,編碼約四千赫或五千赫的音頻頻率范圍的系統(tǒng))中使用和/或適宜于在寬帶譯碼系統(tǒng)(例如,編碼大于五千赫的音頻頻率的系統(tǒng))中使用。描述的配置的前述呈現(xiàn)經(jīng)提供以使任何所屬領域的技術人員制造或使用本文中揭示的方法和其它結(jié)構(gòu)。本文中展示和描述的流程圖、框圖和其它結(jié)構(gòu)僅為實例,且這些結(jié)構(gòu)的其它變體也在本發(fā)明的范疇內(nèi)。對這些配置的各種修改是可能的,且本文中所呈現(xiàn)的一般原理也可應用于其它配置。因此,本發(fā)明不希望限于上文所展示的配置,而是應符合與在本文中(包含在所申請的附加權利要求書中)以任何方式揭示的原理和新穎特征一致的最廣范圍,所述權利要求書形成原始揭示內(nèi)容的一部分。所屬領域的技術人員將了解,可使用多種不同技術和技藝中的任一者來表示信息和信號。舉例來說,可通過電壓、電流、電磁波、磁場或磁性粒子、光場或光學粒子或者其任何組合來表示可在整個以上描述中所提及的數(shù)據(jù)、指令、命令、信息、信號、位和符號。對于如本文中揭示的配置的實施方案的重要設計要求可包含使處理延遲和/或計算復雜性(通常按每秒百萬個指令或MIPS來測量)最小化,尤其對于計算集中式應用,例如,經(jīng)壓縮的音頻或視聽信息(例如,根據(jù)壓縮格式編碼的檔案或流,例如,本文中識別的實例中的一者)的重放,或針對寬帶通信(例如,按高于八千赫的取樣速率(例如,12kHz、16kHz或44kHz)的話音通信)的應用。多麥克風處理系統(tǒng)的目標可包含實現(xiàn)IOdB到12dB的總噪音減少,在所需揚聲器的移動期間保持話音電平和色彩,獲得噪音已被移動至背景內(nèi)而非激進的噪音移除的察覺,語音的去回響,和/或?qū)崿F(xiàn)針對較激進的噪音減少的后期處理的選項。如本文中揭示的設備的實施方案的各種元件可以適合于希望的應用的硬件與軟件和/或與固件的任何組合來體現(xiàn)。舉例來說,此些元件可制造為駐留于(例如)同一芯片上或芯片組中的兩個或兩個以上芯片間的電子和/或光學裝置。此裝置的一個實例為固定或可編程邏輯元件(例如,晶體管或邏輯門)陣列,且這些元件中的任一者可實施為一個或一個以上此類陣列。這些元件中的任何兩個或兩個以上或甚至全部可實施于同一或同樣的陣列內(nèi)。此或此類陣列可實施于一個或一個以上芯片內(nèi)(例如,包含兩個或兩個以上芯片的芯片組內(nèi))。本文中揭示的設備的各種實施方案的一或多個元件也可全部或部分地實施為經(jīng)布置以在一個或一個以上固定或可編程邏輯元件(例如,微處理器、嵌入式處理器、IP核心、數(shù)字信號處理器、FPGA(場可編程門陣列)、ASSP(特殊應用標準產(chǎn)品)和ASIC(專用集成電路))陣列上執(zhí)行的一組或一組以上指令。如本文中揭示的設備的實施方案的各種元件中的任一者也可實施為一或多個計算機(例如,包含經(jīng)編程以執(zhí)行一個或一個以上指令集或序列的機器),且這些元件中的任何兩者或兩者以上或甚至全部可實施于一個或一個以上相同的此種計算機內(nèi)。如本文中揭示的處理器或用于處理的其它裝置可制造為駐留于(例如)同一芯片上或芯片組中的兩個或兩個以上芯片間的一個或一個以上電子和/或光學裝置。此裝置的一個實例為固定或可編程邏輯元件(例如,晶體管或邏輯門)陣列,且這些元件中的任一者可實施為一個或一個以上此類陣列。此或此類陣列可實施于一個或一個以上芯片內(nèi)(例如,包含兩個或兩個以上芯片的芯片組內(nèi))。此類陣列的實例包含固定或可編程邏輯元件(例如,微處理器、嵌入式處理器、IP核心、DSP、FPGA、ASSP和ASIC)陣列。如本文中揭示的處理器或用于處理的其它裝置還可實施為一或多個計算機(例如,包含經(jīng)編程以執(zhí)行一個或一個以上指令集或序列的一個或一個以上陣列的機器)或其它處理器。如本文中描述的處理器可能用來執(zhí)行并非與方向性編碼程序直接有關的任務或其它指令集,例如,關于嵌入有所述處理器的裝置或系統(tǒng)(例如,音頻感測裝置)的另一操作的任務。如本文中揭示的方法的部分還可由音頻感測裝置的處理器執(zhí)行,方法的另一部分還可在一個或一個以上其它處理器的控制下執(zhí)行。所屬領域的技術人員將了解,可將關于本文中揭示的配置描述的各種說明性模塊、邏輯塊、電路和測試以及其它操作實施為電子硬件、計算機軟件或兩者的組合。這些模塊、邏輯塊、電路和操作可用通用處理器、數(shù)字信號處理器(DSP)、ASIC或ASSP、FPGA或經(jīng)設計以產(chǎn)生如本文中揭示的配置的其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其任何組合來實施或執(zhí)行。舉例來說,此配置可至少部分實施為硬接線的電路,實施為制造至專用集成電路內(nèi)的電路配置,或?qū)嵤檩d入至非易失性存儲裝置內(nèi)的固件程序或從數(shù)據(jù)存儲媒體載入或載入至數(shù)據(jù)存儲媒體的軟件程序作為機器可讀代碼,這些代碼為可由例如通用處理器或其它數(shù)字信號處理單元等邏輯元件陣列執(zhí)行的指令。通用處理器可為微處理器,但在替代例中,處理器可為任何常規(guī)的處理器、控制器、微控制器或狀態(tài)機。處理器還可以實施為計算裝置的組合,例如,DSP與微處理器的組合、多個微處理器、與DSP核心結(jié)合的一個或多個微處理器或任何其它此類配置。軟件模塊可駐留于RAM(隨機存取存儲器)、R0M(只讀存儲器)、例如快閃RAM的非易失性RAM(NVRAM)、可擦除可編程ROM(EPROM)、電可擦除可編程ROM(EEPROM)、寄存器、硬盤、可移除式盤、CD-ROM或此項技術中已知的任何其它形式的存儲媒體中。說明性存儲媒體耦合至處理器,使得處理器可自存儲媒體讀取信息以及將信息寫入至存儲媒體。作為替代,存儲媒體可以與處理器整合為一體。處理器和存儲媒體可以駐留在ASIC中。ASIC可駐留于用戶終端中。在替代例中,處理器及存儲媒體可作為離散組件駐留于用戶終端中。應注意,本文揭示的各種方法可由例如處理器等邏輯元件的陣列執(zhí)行,且如本文中描述的設備的各種元件可實施為經(jīng)設計以在此陣列上執(zhí)行的模塊。如本文中所使用,術語“模塊”或“子模塊”可指包含呈軟件、硬件或固件形式的計算機指令(例如,邏輯表達式)的任何方法、設備、裝置、單元或計算機可讀數(shù)據(jù)存儲媒體。應理解,多個模塊或系統(tǒng)可組合為一個模塊或系統(tǒng),且一個模塊或系統(tǒng)可被分成多個模塊或系統(tǒng)以執(zhí)行相同功能。當以軟件或其它計算機可執(zhí)行指令實施時,過程的要素本質(zhì)上為用以執(zhí)行例如與例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)和類似者有關的任務的代碼段。術語“軟件”應理解為包含源代碼、匯編語言代碼、機器代碼、二進制代碼、固件、宏碼、微碼、可由邏輯元件陣列執(zhí)行的任何一個或一個以上指令集或序列以及此類實例的任何組合。程序或代碼段可存儲于處理器可讀媒體中,或由以載波體現(xiàn)的計算機數(shù)據(jù)信號在傳輸媒體或通信鏈路上傳輸。本文中揭示的方法、方案和技術的實施方案也可有形地體現(xiàn)(例如,以如本文中列舉的一個或一個以上計算機可讀媒體)為可由包含邏輯元件(例如,處理器、微處理器、微控制器或其它有限狀態(tài)機)陣列的機器讀取和/或執(zhí)行的一個或一個以上指令集。術語“計算機可讀媒體”可包含可存儲或轉(zhuǎn)移信息的任何媒體(包含易失性、非易失性、可移除式和非可移除式媒體)。計算機可讀媒體的實例包含電子電路、半導體存儲器裝置、ROM、快閃存儲器、可擦除ROM(EROM)、軟盤或其它磁性存儲裝置、CD-R0M/DVD或其它光學存儲裝置、硬盤、光纖媒體、射頻(RF)鏈路,或可用于存儲所需信息且可被存取的任何其它媒體。計算機數(shù)據(jù)信號可包含可經(jīng)由傳輸媒體(例如,電子網(wǎng)絡聲道、光纖、空氣、電磁、RF鏈路等)傳播的任何信號。代碼段可經(jīng)由例如因特網(wǎng)或企業(yè)內(nèi)部網(wǎng)絡等計算機網(wǎng)絡來下載。在任一情況下,本發(fā)明的范疇不應被解釋為受這些實施例限制。本文中描述的方法的任務中的每一者可直接以硬件、以由處理器執(zhí)行的軟件模塊或以兩者的組合來體現(xiàn)。在如本文中揭示的方法的實施方案的典型應用中,邏輯元件(例如,邏輯門)陣列經(jīng)配置以執(zhí)行方法的各種任務中的一個、一個以上或甚至全部。所述任務中的一者或一者以上(可能所有)還可實施為在計算機程序產(chǎn)品(例如,一個或一個以上數(shù)據(jù)存儲媒體,例如,磁盤、快閃或其它非易失性存儲卡、半導體存儲器芯片等)中體現(xiàn)的代碼(例如,一個或一個以上指令集),所述計算機程序產(chǎn)品可由包含邏輯元件(例如,處理器、微處理器、微控制器或其它有限狀態(tài)機)陣列的機器(例如,計算機)讀取和/或執(zhí)行。如本文中揭示的方法的實施方案的任務也可由一個以上此陣列或機器執(zhí)行。在這些或其它實施方案中,所述任務可在用于無線通信的裝置內(nèi)執(zhí)行,所述裝置例如為蜂窩式電話或具有此通信能力的其它裝置。此裝置可經(jīng)配置以與電路交換式和/或分組交換式網(wǎng)絡通信(例如,使用一個或一個以上協(xié)議(例如,VoIP))。舉例來說,此裝置可包含經(jīng)配置以接收和/或發(fā)射經(jīng)編碼的幀的RF電路。明確揭示,本文中揭示的各種方法可由例如手持機、頭戴式耳機或便攜式數(shù)字助理(PDA)等便攜式通信裝置執(zhí)行,且本文中描述的各種設備可包含于此裝置內(nèi)。典型實時(例如,線上)應用為使用此移動裝置進行的電話會話。在一個或一個以上示范性實施例中,本文中描述的操作可以硬件、軟件、固件或其任何組合實施。如果以軟件實施,那么這些操作可作為一個或一個以上指令或代碼存儲于計算機可讀媒體上或在計算機可讀媒體上傳輸。屬于“計算機可讀媒體”包含計算機存儲媒體與包括促進計算機程序從一處傳遞到另一處的任何媒體的通信媒體兩者。存儲媒體可為可由計算機存取的任何可用媒體。以實例說明且不受限制,此計算機可讀媒體可包括存儲元件陣列,例如,半導體存儲器(其可包含(不限于)動態(tài)或靜態(tài)RAM、ROM、EEPROM和/或快閃RAM),或鐵電、磁阻、雙向、聚合或相變存儲器;CD-R0M或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置,或可用以在可由計算機存取的有形結(jié)構(gòu)中存儲呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼的任何其它媒體。同樣,可恰當?shù)貙⑷魏芜B接稱作計算機可讀媒體。舉例來說,如果使用同軸電纜、光纜、雙絞線、數(shù)字訂戶線(DSL)或例如紅外線、無線電及微波等無線技術從網(wǎng)站、服務器或其它遠程源傳輸軟件,那么同軸電纜、光纜、雙絞線、DSL或例如紅外線、無線電及微波等無線技術包含于媒體的定義中。如本文中所使用,磁盤及光盤包含壓縮光盤(⑶)、激光光盤、光盤、數(shù)字通用光盤(DVD)、軟盤和Blu-ray Disc (藍光光盤協(xié)會,加利福尼亞州大學城(Universal City,CA)),其中磁盤通常以磁性方式再生數(shù)據(jù),而光盤用激光以光學方式再生數(shù)據(jù)。上文的組合也應包括在計算機可讀媒體的范圍內(nèi)。如本文中描述的聲學信號處理設備可并入至接受語音輸入以便控制某些操作或可以其它方式受益于所需噪音與背景噪音的分離的電子裝置(例如,通信裝置)內(nèi)。許多應用可受益于增強清晰的所需聲音或?qū)⑶逦乃杪曇襞c源自多個方向的背景聲音分離。這些應用可包含電子或計算裝置中的人機接口,其并入有例如話音辨識和檢測、語音增強和分離、話音激活式控制和類似者的能力??赡苄枰獙嵤┐寺晫W信號處理設備以適用于只提供有限處理能力的裝置中。本文中描述的模塊、元件和裝置的各種實施方案的元件可制造為駐留于(例如)同一芯片上或芯片組中的兩個或兩個以上芯片間的電子和/或光學裝置。此裝置的一個實例為固定或可編程邏輯元件(例如,晶體管或門)陣列。本文中所描述的設備的各種實施方案的一個或一個以上元件還可全部地或部分地實施為經(jīng)布置以在一個或一個以上固定或可編程邏輯元件(例如,微處理器、嵌入式處理器、IP核心、數(shù)字信號處理器、FPGA、ASSP及ASIC)陣列上執(zhí)行的一個或一個以上指令集。有可能使如本文中所描述的設備的實施方案的一個或一個以上元件用來執(zhí)行并非與所述設備的操作直接有關的任務或其它指令集,例如,關于嵌入有所述設備的裝置或系統(tǒng)的另一操作的任務。還有可能使此設備的實施方案的一個或一個以上元件具有共同結(jié)構(gòu)(例如,用來在不同時間執(zhí)行對應于不同元件的代碼部分的處理器、經(jīng)執(zhí)行以在不同時間執(zhí)行對應于不同元件的任務的指令集或在不同時間對不同元件執(zhí)行操作的電子和/或光學裝置的布置)。
權利要求
1.一種音頻信號處理方法,所述方法包括: 將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音;以及 記錄所述可定位源中的每一者的方向的指示。
2.根據(jù)權利要求1所述的方法,其中所述方法包括從所述所記錄的指示中選擇記錄方向。
3.根據(jù)權利要求1和2中任一權利要求所述的方法,其中所述方法包括確定可定位源的數(shù)目,包含估計每一源的到達方向。
4.根據(jù)權利要求1到3中任一權利要求所述的方法,其中所述方法包括根據(jù)三維音頻編碼方案編碼所記錄的多聲道信號。
5.根據(jù)權利要求4所述的方法,其中所述三維音頻編碼方案為高保真立體聲復制方案和波場合成方案中的至少一者。
6.根據(jù)權利要求1到5中任一權利要求所述的方法,其中所述方法包括: 在一個端射方向上應用波束以獲得第一經(jīng)濾波信號; 在另一端射方向上應用波束以獲得第二經(jīng)濾波信號;以及 組合所述第一經(jīng)濾波信號與所述第二經(jīng)濾波信號的延遲版本。
7.根據(jù)權利要求1到5中任一權利要求所述的方法,其中所述方法包括: 在一個端射方向上應用波束以獲得第一經(jīng)濾波信號; 在另一端射方向上應 用波束以獲得第二經(jīng)濾波信號;以及 組合所述第一與第二經(jīng)濾波信號以獲得組合信號, 其中所述第一與第二經(jīng)濾波信號中的每一者具有至少兩個聲道,且 其中所述組合信號的一個聲道相對于所述組合信號的另一聲道延遲。
8.根據(jù)權利要求7所述的方法,其中所述方法包括,在所述組合之前使所述第一經(jīng)濾波信號的一個聲道相對于所述第一經(jīng)濾波信號的另一聲道延遲,且使所述第二經(jīng)濾波信號的一個聲道相對于所述第二經(jīng)濾波信號的另一聲道延遲。
9.根據(jù)權利要求7所述的方法,其中所述方法包括使所述組合信號的一個聲道相對于所述組合信號的另一聲道延遲。
10.根據(jù)權利要求1到5中任一權利要求所述的方法,其中所述方法包括: 將在第一方向上具有波束的濾波器應用于由第一對麥克風產(chǎn)生的信號以獲得第一經(jīng)空間濾波的信號; 將在不同于所述第一方向的第二方向上具有波束的濾波器應用于由不同于所述第一對麥克風的第二對麥克風產(chǎn)生的信號以獲得第二經(jīng)空間濾波的信號;以及 組合所述第一與第二經(jīng)空間濾波的信號以獲得在不同于所述第一和第二方向的第三方向上對應于源的輸出信號。
11.根據(jù)權利要求10所述的方法,其中所述第一對麥克風的軸線至少實質(zhì)上正交于所述第二對麥克風的軸線。
12.根據(jù)權利要求1到5中任一權利要求所述的方法,其中所述方法包括: 對于陣列中多個麥克風中的每一者,記錄對應輸入聲道;以及 對于多個查看方向中的每一者,將對應多聲道濾波器應用于多個所述所記錄的輸入聲道以獲得對應輸出聲道,其中所述多聲道濾波器中的每一者在所述對應查看方向上應用波束且在所述多個查看方向中的其它方向上應用空波束。
13.根據(jù)權利要求12所述的方法,其中所述多個麥克風中的第一對的軸線距與所述多個麥克風中的第二對的軸線正交不大于15度。
14.根據(jù)權利要求12和13中任一權利要求所述的方法,其中所述多個麥克風為至少四個。
15.根據(jù)權利要求12到14中任一權利要求所述的方法,其中所述多個查看方向為至少四個。
16.根據(jù)權利要求12到15中任一權利要求所述的方法,其中所述方法包括處理所述多個輸出聲道以產(chǎn)生雙耳記錄, 其中所述處理包含對于所述多個輸出聲道中的每一者,將對應雙耳脈沖響應應用于所述輸出聲道以獲得對應雙耳信號, 其中所述雙耳記錄是基于所述雙耳信號的和。
17.根據(jù)權利要求1所述的方法,其中所述方法包括基于便攜式音頻感測裝置的定向選擇記錄方向。
18.根據(jù)權利要求10所述的方法,其中所述應用所述濾波器限于低閾值與高閾值之間的頻率,且 其中所述低與高閾值中的 至少一者是基于麥克風之間的距離。
19.一種用于音頻信號處理的設備,所述設備包括: 用于將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音的裝置;以及 記錄所述可定位源中的每一者的方向的指示。
20.根據(jù)權利要求19所述的設備,其中所述設備包括用于從所述所記錄的指示中選擇記錄方向的裝置。
21.根據(jù)權利要求19和20中任一權利要求所述的設備,其中所述設備包括用于確定可定位源的數(shù)目的裝置,包含用于估計每一源的到達方向的裝置。
22.根據(jù)權利要求19到21中任一權利要求所述的設備,其中所述設備包括用于根據(jù)三維音頻編碼方案編碼所記錄的多聲道信號的裝置。
23.根據(jù)權利要求22所述的設備,其中所述三維音頻編碼方案為高保真立體聲復制方案和波場合成方案中的至少一者。
24.根據(jù)權利要求19到23中任一權利要求所述的設備,其中所述設備包括: 用于在一個端射方向上應用波束以獲得第一經(jīng)濾波信號的裝置; 用于在另一端射方向上應用波束以獲得第二經(jīng)濾波信號的裝置;以及 用于組合所述第一經(jīng)濾波信號與所述第二經(jīng)濾波信號的延遲版本的裝置。
25.根據(jù)權利要求19到23中任一權利要求所述的設備,其中所述設備包括: 用于在一個端射方向上應用波束以獲得第一經(jīng)濾波信號的裝置; 用于在另一端射方向上應用波束以獲得第二經(jīng)濾波信號的裝置;以及 用于組合所述第一與第二經(jīng)濾波信號以獲得組合信號的裝置, 其中所述第一與第二經(jīng)濾波信號中的每一者具有至少兩個聲道,且 其中所述組合信號的一個聲道相對于所述組合信號的另一聲道延遲。
26.根據(jù)權利要求25所述的設備,其中所述設備包括用于在所述組合之前使所述第一經(jīng)濾波信號的一個聲道相對于所述第一經(jīng)濾波信號的另一聲道延遲且使所述第二經(jīng)濾波信號的一個聲道相對于所述第二經(jīng)濾波信號的另一聲道延遲的裝置。
27.根據(jù)權利要求25所述的設備,其中所述設備包括用于使所述組合信號的一個聲道相對于所述組合信號的另一聲道延遲的裝置。
28.根據(jù)權利要求19到23中任一權利要求所述的設備,其中所述設備包括: 用于將在第一方向上具有波束的濾波器應用于由第一對麥克風產(chǎn)生的信號以獲得第一經(jīng)空間濾波的信號的裝置; 用于將在不同于所述第一方向的第二方向上具有波束的濾波器應用于由不同于所述第一對麥克風的第二對麥克風產(chǎn)生的信號以獲得第二經(jīng)空間濾波的信號的裝置;以及用于組合所述第一與第二經(jīng)空間濾波的信號以獲得在不同于所述第一和第二方向的第三方向上對應于源的輸出信號的裝置。
29.根據(jù)權利要求28所述的設備,其中所述第一對麥克風的軸線至少實質(zhì)上正交于所述第二對麥克風的軸線。
30.根據(jù)權利要求19到23中任一權利要求所述的設備,其中所述設備包括: 用于對于陣列中多個麥克風中的每一者記錄對應輸入聲道的裝置;以及 用于對于多個查看方向中的每一者將對應多聲道濾波器應用于多個所述所記錄的輸入聲道以獲得對應輸出聲道的裝置, 其中所述多聲道濾波器中的每 一者在所述對應查看方向上應用波束且在所述多個查看方向中的其它方向上應用空波束。
31.根據(jù)權利要求30所述的設備,其中所述多個麥克風中的第一對的軸線距與所述多個麥克風中的第二對的軸線正交不大于15度。
32.根據(jù)權利要求30和31中任一權利要求所述的設備,其中所述多個麥克風為至少四個。
33.根據(jù)權利要求30到32中任一權利要求所述的方法,其中所述多個查看方向為至少四個。
34.根據(jù)權利要求30到33中任一權利要求所述的設備,其中所述設備包括用于處理所述多個輸出聲道以產(chǎn)生雙耳記錄的裝置, 其中所述處理包含對于所述多個輸出聲道中的每一者將對應雙耳脈沖響應應用于所述輸出聲道以獲得對應雙耳信號, 其中所述雙耳記錄是基于所述雙耳信號的和。
35.根據(jù)權利要求19所述的設備,其中所述設備包括用于基于便攜式音頻感測裝置的定向選擇記錄方向的裝置。
36.根據(jù)權利要求24所述的設備,其中所述用于應用所述波束的裝置經(jīng)配置以將所述波束僅應用于低閾值與高閾值之間的頻率,且 其中所述低與高閾值中的至少一者是基于麥克風之間的距離。
37.一種用于音頻信號處理的設備,所述設備包括: 空間選擇性濾波器,其經(jīng)配置以將所記錄的聽覺場景分解成第一類可定位源與第二類環(huán)境聲音的裝置;以及方向估計器,其經(jīng)配置以記錄所述可定位源中的每一者的方向的指示。
38.一種機器可讀存儲媒體,其包括當由機器讀取時致使所述機器執(zhí)行根據(jù)權利要求1到14中任一權利要求所述的方法的有形特征。
39.根據(jù)權利要求1到18中任一權利要求所述的方法,其中所述方法包含: 訓練多個濾波器以產(chǎn)生對應的多個固定會聚濾波器;以及 將所述固定會聚濾波器應用于所述所記 錄的聽覺場景以執(zhí)行所述分解。
全文摘要
本發(fā)明描述用于使用多麥克風設置進行三維聲音記錄和再現(xiàn)的系統(tǒng)、方法、設備和機器可讀媒體。
文檔編號G11B20/00GK103181192SQ201180051705
公開日2013年6月26日 申請日期2011年10月25日 優(yōu)先權日2010年10月25日
發(fā)明者金萊軒, 埃里克·維塞, 向佩, 伊恩·埃爾納恩·劉, 迪內(nèi)?!だR克里希南 申請人:高通股份有限公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
上林县| 综艺| 北安市| 平南县| 元谋县| 宿州市| 开阳县| 平潭县| 大名县| 平定县| 临城县| 田东县| 隆尧县| 农安县| 德令哈市| 亚东县| 诸城市| 苏尼特左旗| 南康市| 开远市| 中宁县| 屯门区| 亳州市| 祁门县| 平凉市| 巴彦淖尔市| 漠河县| 桃园县| 西充县| 马鞍山市| 乌拉特后旗| 龙江县| 山西省| 马龙县| 镇安县| 嘉定区| 聊城市| 法库县| 蒙山县| 胶州市| 镇原县|