車載手勢(shì)交互空間音頻系統(tǒng)的制作方法
【專利說明】車載手勢(shì)交互空間音頻系統(tǒng)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2014年I月3日提交并且代理人案號(hào)為HRMN/0078USL的序列號(hào)為61/923，560的美國(guó)臨時(shí)專利申請(qǐng)，以及2014年I月3日提交并且代理人案號(hào)為HRMN/0080USL的序列號(hào)為61/923，571的美國(guó)臨時(shí)專利申請(qǐng)的權(quán)益。這些相關(guān)申請(qǐng)的主題據(jù)此以引用方式并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明的實(shí)施方案總體上涉及音頻信號(hào)處理，并且更具體來說涉及一種車載手勢(shì)交互空間音頻系統(tǒng)。
【背景技術(shù)】
[0004]如導(dǎo)航系統(tǒng)、通信設(shè)備和媒體播放器的電子設(shè)備的使用在日常生活的所有方面變得越來越流行。這類設(shè)備為用戶提供了對(duì)信息內(nèi)容的便利訪問，所述信息內(nèi)容如導(dǎo)航指令和媒體內(nèi)容，如音樂、新聞和播客。另外，這類設(shè)備為用戶提供了對(duì)廣泛范圍的通信服務(wù)的訪問，這些通信服務(wù)中的許多服務(wù)使得用戶能夠利用音頻、視頻和/或文本接口彼此交互。
[0005]電子設(shè)備的用戶時(shí)常遇到的一個(gè)問題會(huì)在電子設(shè)備為這個(gè)設(shè)備的用戶同時(shí)重現(xiàn)多個(gè)音頻事件時(shí)發(fā)生。例如，在同一設(shè)備上操作多個(gè)軟件應(yīng)用程序(例如，多重任務(wù)處理)的用戶可能難以將由一個(gè)軟件應(yīng)用程序所生成的音頻內(nèi)容與由另一個(gè)軟件應(yīng)用程序所生成的音頻內(nèi)容進(jìn)行區(qū)分。因此，在一些情形下，用戶可能不知道哪些聲音是與哪個(gè)軟件應(yīng)用程序相關(guān)聯(lián)的，和/或用戶可能會(huì)由于多個(gè)音頻事件的同時(shí)呈現(xiàn)而分心，從而會(huì)抑制用戶有效地與具體軟件應(yīng)用程序交互的能力。另外，通過通信服務(wù)與一個(gè)或多個(gè)人員交談而同時(shí)又使用單獨(dú)的軟件應(yīng)用程序(例如，媒體播放器)的用戶可能難以在單獨(dú)音頻事件(例如，音樂)重現(xiàn)時(shí)關(guān)注對(duì)話。
[0006]如前述說明，使得用戶能夠更加有效地聆聽音頻事件的技術(shù)將是有用的。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的一個(gè)實(shí)施方案闡述一種基于手勢(shì)來修改音頻參數(shù)的方法。所述方法包括獲取與用戶的手部相關(guān)聯(lián)的傳感器數(shù)據(jù)，以及分析所述傳感器數(shù)據(jù)來確定至少一個(gè)手部位置。所述方法還包括基于所述至少一個(gè)手部位置來確定對(duì)應(yīng)于音頻事件的第一虛擬對(duì)象與對(duì)應(yīng)于所述用戶的所述手部的第二虛擬對(duì)象之間的交互。所述方法還包括基于所述交互來修改與所述音頻事件相關(guān)聯(lián)的空間音頻參數(shù)，以便生成修改過的音頻流，以及使所述修改過的音頻流重現(xiàn)來輸出到用戶。
[0008]另外的實(shí)施方案尤其提供被配置來實(shí)現(xiàn)以上闡述方法的系統(tǒng)和非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。
[0009]所公開技術(shù)的至少一個(gè)優(yōu)勢(shì)在于，它使得用戶能夠修改虛擬聲音空間內(nèi)正在重現(xiàn)音頻事件的位置。例如，用戶可以與立體顯示器交互來抓取與音頻事件相關(guān)聯(lián)的虛擬對(duì)象，并且將虛擬對(duì)象重新定位在虛擬三維空間內(nèi)的所需位置處。另外，當(dāng)用戶與音頻事件交互時(shí)，視覺、聽覺和/或觸覺反饋可以被提供給用戶(例如，通過立體顯示器提供)。因此，音頻事件可以被重新定位在聲音空間內(nèi)，從而使得用戶能夠更加有效地同時(shí)聆聽多個(gè)音頻事件和/或與多個(gè)音頻事件交互。
【附圖說明】
[0010]因此，使本發(fā)明的上述特征可得到詳細(xì)理解的方式，即對(duì)以上簡(jiǎn)要概述的本發(fā)明的更具體描述可參照實(shí)施方案來獲得，實(shí)施方案中的一些在附圖中示出。然而，應(yīng)指出的是，附圖只示出本發(fā)明的典型實(shí)施方案，并因此不視為對(duì)本發(fā)明范圍的限制，因?yàn)楸景l(fā)明可承認(rèn)其它同等有效的實(shí)施方案。
[0011]圖1A示出根據(jù)各種實(shí)施方案的用于辨別用戶手勢(shì)并修改音頻流的空間音頻參數(shù)的手勢(shì)交互空間音頻系統(tǒng)(“手勢(shì)系統(tǒng)”)；
[0012]圖1B示出根據(jù)各種實(shí)施方案的用戶通過一個(gè)或多個(gè)手勢(shì)來與圖1A的手勢(shì)系統(tǒng)交互，以便修改空間音頻參數(shù)；
[0013]圖1C示出根據(jù)各種實(shí)施方案的音頻事件的空間音頻參數(shù)由圖1A的手勢(shì)系統(tǒng)響應(yīng)于分裂手勢(shì)而得以修改；
[0014]圖2為根據(jù)各種實(shí)施方案的可以結(jié)合圖1A的手勢(shì)系統(tǒng)來實(shí)現(xiàn)或耦接至圖1A的手勢(shì)系統(tǒng)的計(jì)算設(shè)備的方框圖；
[0015]圖3示出根據(jù)各種實(shí)施方案的用戶在汽車環(huán)境中與圖1A的手勢(shì)系統(tǒng)交互；
[0016]圖4A至圖4C示出根據(jù)各種實(shí)施方案的用戶與圖1A的手勢(shì)系統(tǒng)交互，以便重新定位由通信服務(wù)生成的音頻事件；
[0017]圖5A至圖5E示出根據(jù)各種實(shí)施方案的用戶與虛擬對(duì)象交互，以便重新定位音頻事件；
[0018]圖6A示出根據(jù)各種實(shí)施方案的兩個(gè)用戶與單獨(dú)的手勢(shì)系統(tǒng)交互，以便在兩個(gè)不同的聲音空間之間傳遞音頻事件；
[0019]圖6B示出根據(jù)各種實(shí)施方案的兩個(gè)用戶與單個(gè)手勢(shì)系統(tǒng)交互，以便在兩個(gè)不同的聲音空間之間傳遞音頻事件；
[0020]圖7A和圖7B示出根據(jù)各種實(shí)施方案的可以結(jié)合圖1A的手勢(shì)系統(tǒng)來實(shí)現(xiàn)的立體顯示器；
[0021]圖8A至圖SE示出根據(jù)各種實(shí)施方案的用戶與立體顯示器交互，以便重新定位音頻事件；
[0022]圖9為根據(jù)各種實(shí)施方案的基于手勢(shì)來修改音頻參數(shù)的方法步驟的流程圖；以及
[0023]圖10為根據(jù)各種實(shí)施方案的基于虛擬對(duì)象的定位來修改音頻參數(shù)的方法步驟的流程圖。
【具體實(shí)施方式】
[0024]在以下描述中，闡述了許多特定細(xì)節(jié)以提供對(duì)本發(fā)明的實(shí)施方案的更全面理解。然而，本領(lǐng)域技術(shù)人員將明白的是，本發(fā)明的實(shí)施方案可在沒有這些特定細(xì)節(jié)中的一個(gè)或多個(gè)細(xì)節(jié)的情況下加以實(shí)施。
[0025]圖1A示出根據(jù)各種實(shí)施方案的用于辨別用戶手勢(shì)并修改音頻流的空間音頻參數(shù)的手勢(shì)交互空間音頻系統(tǒng)100 ( “手勢(shì)系統(tǒng)100”)。手勢(shì)系統(tǒng)100包括一個(gè)或多個(gè)傳感器140。傳感器140被配置來獲取與用戶做出的手勢(shì)相關(guān)聯(lián)的數(shù)據(jù)，和/或獲取使得手勢(shì)系統(tǒng)100能夠跟蹤用戶相對(duì)于他或她的環(huán)境的位置和/或方位的數(shù)據(jù)。傳感器140可以被配置來獲取用戶的手部、手臂和/或手指的圖像，如圖1B所示，圖中示出根據(jù)各種實(shí)施方案的用戶通過一個(gè)或多個(gè)手勢(shì)來與圖1A的手勢(shì)系統(tǒng)100交互，以便修改空間音頻參數(shù)。在一些實(shí)施方案中，傳感器140包括視覺傳感器，如攝像機(jī)。另外，在一些實(shí)施方案中，傳感器140包括超聲傳感器、雷達(dá)傳感器、激光傳感器、熱傳感器和/或深度傳感器，如飛行時(shí)間(time-of-flight)傳感器、結(jié)構(gòu)光傳感器等。
[0026]在一些實(shí)施方案中，傳感器140被配置來檢測(cè)用戶空手做出的一個(gè)或多個(gè)手勢(shì)，并且響應(yīng)于手勢(shì)來修改與音頻流相關(guān)聯(lián)的一個(gè)或多個(gè)音頻參數(shù)。在這類實(shí)施方案中，分析傳感器140所獲取的數(shù)據(jù)來確定用戶指尖、關(guān)節(jié)、手部、手腕和/或手臂的位置。例如并且無限制地，如圖1B所示，可以由分析傳感器140所獲取的數(shù)據(jù)來確定用戶的手指正在形成‘V’形手部位置(例如，通過使用食指和中指或者任何其它手指組合來擺出字母V)。然后，響應(yīng)于‘V’形手部位置，手勢(shì)系統(tǒng)100可以使一個(gè)或多個(gè)音頻事件移動(dòng)到(例如，分裂到)虛擬聲音空間的側(cè)面。
[0027]特定實(shí)例展示于圖1C中，圖中示出根據(jù)各種實(shí)施方案的音頻事件的空間音頻參數(shù)由圖1A的手勢(shì)系統(tǒng)100響應(yīng)于分裂手勢(shì)而得以修改。如圖所示，當(dāng)用戶通過通信服務(wù)對(duì)兩個(gè)人講話時(shí)，手勢(shì)系統(tǒng)100可以檢測(cè)到已經(jīng)做出的分裂手勢(shì)(例如，基于檢測(cè)‘V’形手部位置)，并且作為響應(yīng)使與第一人員的語音相關(guān)聯(lián)的第一音頻事件移動(dòng)到聲音空間的一側(cè)，并使與第二人員的語音相關(guān)聯(lián)的第二音頻事件移動(dòng)到聲音空間的另一側(cè)。另外，分裂手勢(shì)可以用來將其它類型的音頻事件(例如，音樂、播客、通知等)移動(dòng)到聲音空間的側(cè)面。此夕卜，在一些實(shí)施方案中，其它類型的手勢(shì)可以用來在聲音空間內(nèi)均勻地分布音頻事件，從而根據(jù)預(yù)定樣式在聲音空間內(nèi)分布音頻事件，以便使音頻事件從多個(gè)位置進(jìn)行播放，和/或使一個(gè)或多個(gè)音頻事件靜音。
[0028]在一些實(shí)施方案中，傳感器140被配置來通過跟蹤附接到用戶的另一設(shè)備的位置，以便檢測(cè)由用戶做出的一個(gè)或多個(gè)手勢(shì)。例如并且無限制地，可以跟蹤耦接至用戶手臂的一個(gè)或多個(gè)設(shè)備的位置，以便檢測(cè)用戶正在做出的手勢(shì)。盡管圖1A和圖1B中展示兩個(gè)傳感器140，但是定位于手勢(shì)系統(tǒng)100中任何位置上的任何數(shù)量的傳感器140都可以用來檢測(cè)用戶手勢(shì)。在一些實(shí)施方案中，至少兩個(gè)傳感器140包括在手勢(shì)系統(tǒng)100中，以便使得能夠獲取立體圖像并且因此允許更加精確地確定用戶手指、手部、手臂等的深度。在其它實(shí)施方案中，使用捕獲圖像、獲取深度測(cè)量值、計(jì)算位置等的單個(gè)傳感器來檢測(cè)手勢(shì)。另外，在各種實(shí)施方案中，傳感器140可以定位在不同于設(shè)備主體102的對(duì)象上，其中傳感器140被設(shè)置在如車輛的內(nèi)部和/或外部表面上，和/或耦接至用戶，如耦接至一幅眼鏡上、手表上、可配戴設(shè)備上、用戶的身體上(例如，Thalmic Labs?提供的手臂配戴式Myo ?)等。
[0029]圖2為根據(jù)各種實(shí)施方案的可以結(jié)合圖1A的手勢(shì)系統(tǒng)100來實(shí)現(xiàn)或耦接至圖1A的手勢(shì)系統(tǒng)的計(jì)算設(shè)備200的方框圖。如圖所示，計(jì)算設(shè)備200包括處理單元210、輸入/輸出(I/O)設(shè)備220和存儲(chǔ)設(shè)備23