本公開涉及音頻設(shè)備和操作音頻設(shè)備的方法的領(lǐng)域,并且具體地,涉及具有基于頭部取向的濾波的音頻設(shè)備和相關(guān)方法。
背景技術(shù):
1、諸如耳機、耳塞和頭戴式耳機的音頻可穿戴設(shè)備/設(shè)備在個人音頻收聽、通信和娛樂方面已獲得廣泛歡迎。雖然這些設(shè)備提供音頻回放能力,但是由于揚聲器與用戶耳朵接近以及傳統(tǒng)音頻處理技術(shù)的限制,這些設(shè)備通常難以再現(xiàn)空間感。傳統(tǒng)的音頻可穿戴設(shè)備(例如,耳機、耳塞和頭戴式耳機)側(cè)重于立體聲或環(huán)繞聲設(shè)置,這些設(shè)置依賴于位于收聽者周圍的多個揚聲器來產(chǎn)生空間感。然而,當應用于音頻可穿戴設(shè)備時,這些傳統(tǒng)方法在傳送沉浸式聲音體驗方面遇到挑戰(zhàn)。當前音頻可穿戴設(shè)備的一些挑戰(zhàn)是,當前音頻可穿戴設(shè)備無法控制聲源的聲音來源并且缺乏空間線索。
技術(shù)實現(xiàn)思路
1、數(shù)字信號處理和空間音頻技術(shù)的進步已經(jīng)試圖通過引入聽覺化、3d渲染或雙耳合成等技術(shù)來解決這些挑戰(zhàn)。這些方法旨在通過操縱音頻信號來模擬空間感知,以重現(xiàn)來自不同方向的聲音的效果。
2、通過利用耳機上的雙耳回放,可以生成定位在收聽者周圍的“虛擬音景”內(nèi)的聲源的空間感知。這些音景可以通過在信號中嵌入空間信息來創(chuàng)建,通過使用虛擬頭部進行的記錄,或者通過在處理階段合成空間效果。
3、然而,當收聽者轉(zhuǎn)過頭時,就出現(xiàn)了限制。在這種情況下,感知到的虛擬音景隨著頭部移動,這與保持錨定在物理空間中并且不隨著頭部移動而移動的真實音景的自然行為形成對比。這種感知上的差異可能會引入不自然的元素,并損害虛擬音景的幻覺,可能導致其崩潰。
4、當傳感器測量頭部轉(zhuǎn)動時,可以將頭部旋轉(zhuǎn)角包含到空間信息的合成中。這種包含會產(chǎn)生感知的靜止虛擬音景。然而,在各種設(shè)置中實現(xiàn)這一點在技術(shù)上可能很復雜。需要實時合成,并且必須將頭部旋轉(zhuǎn)角集成到合成過程中。如果在耳機之外或傳輸鏈的早期發(fā)生合成,則會出現(xiàn)數(shù)據(jù)交換的挑戰(zhàn)。
5、因此,仍然需要優(yōu)化空間感知的改進的方法和音頻設(shè)備,例如,對于音頻設(shè)備和音頻可穿戴設(shè)備。
6、因此,需要具有基于頭部取向的濾波的音頻設(shè)備和操作音頻設(shè)備的方法,這可以減輕、緩解或解決現(xiàn)有缺點,并且可以為音頻可穿戴設(shè)備/設(shè)備提供改進的空間線索,從而允許基于頭部取向的濾波并進而改進用戶的空間感知。
7、公開了一種音頻設(shè)備。音頻設(shè)備包括適于佩戴在用戶的第一耳朵處的第一音頻可穿戴設(shè)備和適于佩戴在用戶的第二耳朵處的第二音頻可穿戴設(shè)備。第一音頻可穿戴設(shè)備(例如,音頻設(shè)備)包括第一輸出換能器、第一無線通信接口、一個或多個第一處理器和第一存儲器。第一音頻可穿戴設(shè)備被配置為例如經(jīng)由第一無線通信接口獲得第一音頻信號。第一音頻可穿戴設(shè)備被配置為例如經(jīng)由第一無線通信接口和/或經(jīng)由頭部取向傳感器來獲得指示用戶的頭部取向的頭部取向數(shù)據(jù)。第一音頻可穿戴設(shè)備被配置為例如使用一個或多個第一處理器基于頭部取向數(shù)據(jù)來確定第一濾波器,其中,第一濾波器基于第一延遲和/或第一電平補償。第一音頻可穿戴設(shè)備被配置為例如使用一個或多個第一處理器將第一濾波器應用于第一音頻信號,以補償用戶的頭部取向,用于提供第一經(jīng)濾波的音頻信號。第一音頻可穿戴設(shè)備被配置為例如在第一音頻可穿戴設(shè)備處例如使用一個或多個第一處理器并且經(jīng)由第一輸出換能器輸出第一經(jīng)濾波的音頻信號。
8、公開了一種操作音頻設(shè)備的方法。該方法包括獲得第一音頻信號。該方法包括獲得指示用戶的頭部取向的頭部取向數(shù)據(jù)。該方法包括基于頭部取向數(shù)據(jù)確定第一濾波器,其中,第一濾波器基于第一延遲和/或第一電平補償。該方法包括將第一濾波器應用于第一音頻信號,以補償用戶的頭部取向,用于提供第一經(jīng)濾波的音頻信號。該方法包括輸出第一經(jīng)濾波的音頻信號。
9、本公開提供了音頻信號的改進的基于頭部取向的濾波,進而改進的空間感知,同時降低了濾波和音頻處理的技術(shù)復雜性。本公開提供了空間音景的自然感知,同時降低了濾波和音頻處理的技術(shù)復雜性。例如,在同時視覺刺激的情況下,增強了聲音與視覺圖像融合的感知。例如,參加在線會議的用戶在電子設(shè)備的屏幕上觀看參與者的視頻時,會感知到真實音景的自然行為,該音景仍然錨定在物理空間中,不會隨著頭部移動而移動??梢岳斫?,屏幕可以錨定在物理空間中,并且不隨著頭部移動而移動。
10、可以理解,本公開提供了音頻信號的簡單的基于頭部取向的濾波,同時減少了處理音頻信號所需的計算資源。這可以通過在音頻設(shè)備處處理音頻信號并且通過單獨處理音頻可穿戴設(shè)備的音頻信號來實現(xiàn),例如,通過將第一音頻可穿戴設(shè)備的第一音頻信號與第二音頻可穿戴設(shè)備的第二音頻信號分開處理,或者通過第一音頻可穿戴設(shè)備僅處理第一音頻信號。本公開允許實時合成經(jīng)濾波的音頻信號。申請人已經(jīng)認識到,重要的是第一音頻信號和第二音頻信號之間的差異,例如,音頻設(shè)備/可穿戴設(shè)備的用戶的耳朵之間的感知差異。因此,本公開的優(yōu)點在于,在一個音頻可穿戴設(shè)備上(例如,在用戶的一只耳朵上)應用濾波器可能就足夠了。這可以進一步簡化基于頭部取向的濾波,并且允許在容量受限的音頻可穿戴設(shè)備/設(shè)備中具有基于頭部取向的濾波。然而,本公開還描述了濾波器在音頻可穿戴設(shè)備上的應用及其優(yōu)點。
11、日常生活中,人類會通過細微的頭部取向變化(例如,輕微的頭部旋轉(zhuǎn))來定位空間中的音頻源。本公開允許模仿這些輕微的頭部取向變化,以定位音頻源,并模仿對空間音景位置的自然感知。因此,本公開提供了用于改進用戶對音頻的空間感知的改進的空間線索。
12、本公開的優(yōu)點還在于,在音頻設(shè)備與音頻設(shè)備所連接的電子設(shè)備之間減少數(shù)據(jù)流,并且在音頻設(shè)備的音頻可穿戴設(shè)備之間也減少數(shù)據(jù)流。這可以允許在每個音頻可穿戴設(shè)備處處理更快并且節(jié)省功率。
1.一種音頻設(shè)備,包括適于佩戴在用戶的第一耳朵處的第一音頻可穿戴設(shè)備和適于佩戴在所述用戶的第二耳朵處的第二音頻可穿戴設(shè)備,所述第一音頻可穿戴設(shè)備包括:
2.根據(jù)權(quán)利要求1所述的音頻設(shè)備,其中,所述第一延遲基于基礎(chǔ)延遲和第一補償延遲,并且其中,應用所述第一濾波器包括將所述第一延遲應用于所述第一音頻信號。
3.根據(jù)前述權(quán)利要求中任一項所述的音頻設(shè)備,其中,所述第二音頻可穿戴設(shè)備包括:
4.根據(jù)權(quán)利要求3所述的音頻設(shè)備,其中,所述第二延遲基于基礎(chǔ)延遲和第二補償延遲,并且其中,應用所述第二濾波器包括將所述第二延遲應用于所述第二音頻信號。
5.根據(jù)權(quán)利要求4所述的音頻設(shè)備,其中,所述基礎(chǔ)延遲是恒定延遲,所述恒定延遲被配置為應用于所述第一音頻信號和所述第二音頻信號。
6.根據(jù)權(quán)利要求2至5中任一項所述的音頻設(shè)備,其中,第一補償延遲被配置為修改所述第一音頻信號與所述第二音頻信號之間的耳間時間差,并且第二補償延遲被配置為修改所述第一音頻信號與所述第二音頻信號之間的耳間時間差。
7.根據(jù)權(quán)利要求2至6中任一項所述的音頻設(shè)備,其中,所述第一電平補償被配置為修改所述第一音頻信號與所述第二音頻信號之間的耳間電平差,并且第二電平補償被配置為修改所述第一音頻信號與所述第二音頻信號之間的耳間電平差。
8.根據(jù)前述權(quán)利要求中任一項所述的音頻設(shè)備,其中,所述音頻設(shè)備包括頭部取向傳感器,所述頭部取向傳感器被配置為提供所述頭部取向數(shù)據(jù),其中,所述第一音頻可穿戴設(shè)備包括所述頭部取向傳感器。
9.根據(jù)權(quán)利要求8所述的音頻設(shè)備,其中,所述音頻設(shè)備被配置為將所述頭部取向數(shù)據(jù)從所述第一音頻可穿戴設(shè)備發(fā)送到所述第二音頻可穿戴設(shè)備。
10.根據(jù)前述權(quán)利要求中任一項所述的音頻設(shè)備,其中,所述頭部取向數(shù)據(jù)包括頭部旋轉(zhuǎn)角,其中,所述頭部旋轉(zhuǎn)角是相對于所述用戶在所述用戶的頭部的參考位置處的視線測量的。
11.根據(jù)前述權(quán)利要求中任一項或根據(jù)權(quán)利要求3至11中任一項所述的音頻設(shè)備,其中,所述第一音頻信號和/或所述第二音頻信號是雙耳音頻信號。
12.根據(jù)前述權(quán)利要求中任一項或根據(jù)權(quán)利要求3至12中任一項所述的音頻設(shè)備,其中,所述第一濾波器是時域濾波器和/或第二濾波器是時域濾波器。
13.根據(jù)前述權(quán)利要求中任一項或根據(jù)權(quán)利要求4至13中任一項所述的音頻設(shè)備,其中,第一補償延遲是基于頻率的和/或第二補償延遲是基于頻率的。
14.根據(jù)權(quán)利要求3至13中任一項所述的音頻設(shè)備,其中,將所述第一濾波器應用于所述第一音頻信號與將第二濾波器應用于第二音頻信號分開執(zhí)行,并且其中,所述第一經(jīng)濾波的信號與第二經(jīng)濾波的信號分開確定。
15.根據(jù)前述權(quán)利要求中任一項所述的音頻設(shè)備,其中,所述第一音頻可穿戴設(shè)備是第一聽筒,并且所述第二音頻可穿戴設(shè)備是第二聽筒。
16.根據(jù)權(quán)利要求1至14中任一項所述的音頻設(shè)備,其中,所述音頻設(shè)備是頭戴式耳機,并且其中,所述第一音頻可穿戴設(shè)備是第一耳罩,并且所述第二音頻可穿戴設(shè)備是第二耳罩。
17.一種操作音頻設(shè)備的方法(100),所述方法包括: