用于映射及顯示音頻源位置的系統(tǒng)及方法
【專利摘要】本發(fā)明總體上涉及一種用于相對(duì)于一個(gè)或多個(gè)聲音特征定義參考聲音位置及產(chǎn)生與其靠近的標(biāo)記的系統(tǒng)及方法。在一個(gè)或多個(gè)實(shí)施例中，本發(fā)明提供了在參考聲音位置處顯示全息圖像，該參考聲音位置是相對(duì)于與一個(gè)或多個(gè)所標(biāo)識(shí)的聲音特征關(guān)聯(lián)的一個(gè)或多個(gè)目標(biāo)聲音的標(biāo)識(shí)而確定的。在其他實(shí)施例中，本發(fā)明提供了一個(gè)標(biāo)記，該標(biāo)記看上去好像與一個(gè)參考聲音位置是交互的并且可被用在各種環(huán)境中，包括但不限于搖滾表演、國(guó)土安全及住宅安全。
【專利說(shuō)明】用于映射及顯示音頻源位置的系統(tǒng)及方法
相關(guān)申請(qǐng)的交叉引用
[0001]本申請(qǐng)要求于2012年3月4日提交的名為“拉伸技術(shù)動(dòng)畫(huà)軟件(STRETCH TECHANIMAT1N SOFTWARE) ”的美國(guó)臨時(shí)專利申請(qǐng)?zhí)?1/606，428的權(quán)益，通過(guò)引用將這項(xiàng)申請(qǐng)的所有內(nèi)容結(jié)合在此。
發(fā)明領(lǐng)域
[0002]本發(fā)明總體上涉及聲波及聲壓的檢測(cè)以及準(zhǔn)確地確定聲源的位置。
發(fā)明背景
[0003]相對(duì)于與聲源、聲音本身、以及聲源所在的環(huán)境關(guān)聯(lián)的許多特征,聲音以各種比率并在不同的方向上從聲源發(fā)出。聲音是由快速變化的壓力波行進(jìn)穿過(guò)媒介(如空氣)造成的。聲音行進(jìn)穿過(guò)空氣時(shí)，(大氣壓力下的)空氣周期性地變化。每秒氣壓變化的次數(shù)被稱為聲音的頻率，通常以赫茲(Hz)測(cè)量并被定義為每秒周期數(shù)。
[0004]具有較高頻率的聲音產(chǎn)生對(duì)于聽(tīng)眾或檢測(cè)器而言較高音調(diào)的聲音。例如，打擊鼓產(chǎn)生的聲音通常具有比長(zhǎng)笛產(chǎn)生的聲音更加低的頻率。管弦樂(lè)隊(duì)的弦樂(lè)部中的聲學(xué)樂(lè)器通?？梢允且韵赂黜?xiàng)之一:小提琴、中提琴、大提琴、及低音提琴，它們各自以也可能發(fā)生重疊的不同頻率發(fā)出其自己的聲音?？赡茈y以從電子聲源上或在具有例如高分貝噪音的環(huán)境中聽(tīng)見(jiàn)這些樂(lè)器。然而，在管弦樂(lè)環(huán)境中，發(fā)自這些樂(lè)器的聲音常常可以從管弦樂(lè)隊(duì)的其他樂(lè)器中明顯地辨識(shí)出，尤其是在注重聽(tīng)覺(jué)的演出場(chǎng)地的表演期間。
[0005]由于聲學(xué)樂(lè)器的聲音是弦的振動(dòng)所創(chuàng)造的氣壓的產(chǎn)物，而這些弦本身并不能使空氣流動(dòng)，因此有意將這些樂(lè)器的主體設(shè)計(jì)為充當(dāng)擴(kuò)音器。由此主體設(shè)計(jì)能夠促進(jìn)單獨(dú)一根振動(dòng)弦上的振動(dòng)、氣壓及聲音強(qiáng)度。在此類設(shè)計(jì)中，弦與樂(lè)器進(jìn)行通信并且振動(dòng)穿過(guò)該樂(lè)器的琴橋，在此處主體用于擴(kuò)大這些振動(dòng)弦所生成的一套適當(dāng)?shù)念l率范圍。聲音(相對(duì)于聲源、所生成的聲音的類型、以及聲源的環(huán)境)則可進(jìn)一步相對(duì)于該檢測(cè)器的敏感性而被聽(tīng)到或檢測(cè)到。
[0006]然而，每種樂(lè)器的主體的每個(gè)部分(相對(duì)于其形狀、構(gòu)成、大小等)可以在不同的頻率共振，以便使得該樂(lè)器的音調(diào)字符以及輻射方向圖二者將會(huì)顯著變化，特別是隨頻率變化。認(rèn)識(shí)到，小提琴及大提琴的平均極性響應(yīng)以一系列不同的頻率變化；進(jìn)一步理解為，此類樂(lè)器還以不同的方式發(fā)出聲音，其中例如雖然大多數(shù)的聲音來(lái)自于樂(lè)器的頂部或前部，但是發(fā)聲依賴于樂(lè)器本身。
[0007]因此，期望的是一種相對(duì)于特定環(huán)境中一個(gè)或多個(gè)聲源的一個(gè)或多個(gè)目標(biāo)特征準(zhǔn)確地確定參考聲源位置的方法，其中優(yōu)選地，一旦確定了參考聲源位置，進(jìn)一步的視覺(jué)標(biāo)記及刺激可與參考位置對(duì)準(zhǔn)以進(jìn)一步保證和產(chǎn)生觀看者利益。
發(fā)明概述
[0008]本發(fā)明滿足這些需要，并且已經(jīng)響應(yīng)于現(xiàn)有技術(shù)水平并具體地響應(yīng)于本領(lǐng)域中目前可獲得的技術(shù)仍未完全解決的問(wèn)題和需要對(duì)本發(fā)明進(jìn)行了開(kāi)發(fā)。
[0009]在一個(gè)實(shí)施例中，本發(fā)明是一種用于在預(yù)先確定的位置處相對(duì)于一個(gè)或多個(gè)聲音特征定義參考聲音位置并且產(chǎn)生與其靠近的標(biāo)記的方法。該方法優(yōu)選包括:定義至少一個(gè)待檢測(cè)的聲音特征；相對(duì)于該至少一個(gè)聲音特征檢測(cè)至少一個(gè)目標(biāo)聲音；以及相對(duì)于所檢測(cè)到的目標(biāo)聲音確定該參考聲音位置。進(jìn)一步地，該方法提供了產(chǎn)生靠近所確定的參考聲音位置的所述標(biāo)記。
[0010]在進(jìn)一步的實(shí)施例中，本發(fā)明是一種用于相對(duì)于預(yù)先確定的聲音環(huán)境中的一個(gè)或多個(gè)聲源的一個(gè)或多個(gè)目標(biāo)特征確定參考聲源位置并且執(zhí)行靠近該參考聲音位置的標(biāo)記的方法。該方法包括定義一個(gè)或多個(gè)目標(biāo)聲音特征，該目標(biāo)聲音特征是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段；將該標(biāo)記的一個(gè)或多個(gè)特征定義為以下各項(xiàng)中的一種或多種:可見(jiàn)的、可聽(tīng)的、和/或可觸知的；在該聲音環(huán)境中相對(duì)于該一個(gè)或多個(gè)目標(biāo)聲音特征檢測(cè)至少一個(gè)目標(biāo)聲音；以及相對(duì)于所檢測(cè)到的目標(biāo)聲音確定該參考聲源位置。優(yōu)選地，該方法還包括指定靠近所確定的參考聲源位置執(zhí)行該標(biāo)記。
[0011]在進(jìn)一步的實(shí)施例中，本發(fā)明是一種用于相對(duì)于聲音環(huán)境的一個(gè)或多個(gè)預(yù)先確定的性能特征來(lái)確定參考聲源位置并且靠近該參考聲音位置顯示一個(gè)或多個(gè)圖像的系統(tǒng)。優(yōu)選地，該系統(tǒng)包括:一個(gè)聲音檢測(cè)裝置，用于相對(duì)于一個(gè)或多個(gè)預(yù)先確定的性能特征檢測(cè)該聲音環(huán)境中的一個(gè)或多個(gè)聲音；一個(gè)處理器，用于相對(duì)于該聲音環(huán)境的參考聲源位置處理所檢測(cè)到的聲音信息并且生成一個(gè)或多個(gè)圖像以靠近該參考聲源位置進(jìn)行顯示；以及一個(gè)圖像顯示裝置，用于靠近該參考聲源位置顯示所生成的一個(gè)或多個(gè)圖像。
[0012]如此處所使用的，聲源或聲音之源可包括能夠生成或發(fā)出聲音的任何事物，比如但不限于任何人類、音樂(lè)器材、電子裝置、靜物、自然生成的聲源、人造聲音發(fā)生器等。
附圖簡(jiǎn)要說(shuō)明
[0013]圖1闡明了小提琴及大提琴在不同頻率范圍下的平均極性響應(yīng)的圖解示例；
[0014]圖2從觀眾觀察者的視角闡明了聲源及可能發(fā)生來(lái)自這些聲源的聲音的監(jiān)聽(tīng)或檢測(cè)的聲音位置的圖示法；
[0015]圖3闡明了聲源、可能發(fā)生來(lái)自這些聲源的聲音的監(jiān)聽(tīng)或檢測(cè)的位置、以及一個(gè)聚合聲源的可能的中心線的圖示法；
[0016]圖4闡明了一種具有多個(gè)聲源的環(huán)境安排，其中聽(tīng)眾位于一個(gè)相對(duì)于該多個(gè)聲源靠近舞臺(tái)前面的特定位置處；
[0017]圖5闡明了一種具有多個(gè)聲源的環(huán)境安排，其中聽(tīng)眾位于一個(gè)相對(duì)于該多個(gè)聲源朝向舞臺(tái)后側(cè)的特定位置處；
[0018]圖6根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了本發(fā)明的流程圖；
[0019]圖7根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了依賴于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的本發(fā)明的流程圖；
[0020]圖8根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了本發(fā)明的流程圖，其中特征數(shù)據(jù)的定義還包括對(duì)于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的依賴；
[0021]圖9闡明了對(duì)于本發(fā)明的標(biāo)記的交互圖像效果的示例；
[0022]圖10根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例描繪了對(duì)于本發(fā)明的標(biāo)記的交互圖像效果的示例；
[0023]圖11使用本發(fā)明根據(jù)一個(gè)或多個(gè)實(shí)施例描繪了對(duì)于多個(gè)標(biāo)記的多視角交互圖像的示例；
[0024]圖12根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例展示了一種適合存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)；
[0025]圖13根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例展示了本發(fā)明的一種包括適合存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)的裝置安排；
[0026]圖14根據(jù)一個(gè)或多個(gè)實(shí)施例使用聲學(xué)照相機(jī)的輸入裝置以及圖像投影系統(tǒng)的輸出裝置闡明了本發(fā)明的流程圖，其中特征數(shù)據(jù)的定義還包括對(duì)于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的依賴；
[0027]圖15展示了本發(fā)明運(yùn)轉(zhuǎn)所在的環(huán)境；
[0028]圖16使用實(shí)時(shí)聲音動(dòng)畫(huà)展示了本發(fā)明運(yùn)轉(zhuǎn)所在的環(huán)境1600 ;以及，
[0029]圖17展示了本發(fā)明運(yùn)轉(zhuǎn)所在以及演唱會(huì)上有現(xiàn)場(chǎng)表演者時(shí)投影全息動(dòng)畫(huà)影像的環(huán)境。
優(yōu)選實(shí)施方案的詳細(xì)說(shuō)明
[0030]本發(fā)明總體上涉及一種用于定義參考聲音位置及相對(duì)于一個(gè)或多個(gè)聲音特征產(chǎn)生與其靠近的標(biāo)記的系統(tǒng)及方法。
[0031]以下描述被展示為使得本領(lǐng)域的普通技術(shù)人員能夠制作和使用本發(fā)明，并且提供在專利申請(qǐng)及其要求的背景中。對(duì)優(yōu)選實(shí)施例和通用原理以及在此描述的特征作出的各種修改對(duì)本領(lǐng)域的技術(shù)人員而言將是非常明顯的。因此，本發(fā)明并非旨在限定于所示實(shí)施例，而是要符合與在此描述的原理和特征相一致的最廣范圍。
[0032]圖1闡明了小提琴110及大提琴120在不同頻率范圍下的平均極性響應(yīng)的圖解示例100。從圖1中，小提琴110及大提琴120在2-5kHz的范圍(111，121)中具有類似的聲音分散，其中總體上二者均在弦及琴橋的局部位置周圍發(fā)出。然而，小提琴和大提琴在200-500HZ的范圍內(nèi)在聲音分散方面變化顯著，其中小提琴圍繞其局部位置(112)圓周地輻射并且大提琴僅局部地(122)輻射。結(jié)果，要確定聲源的具體地點(diǎn)或位置仍然是一項(xiàng)挑戰(zhàn)。
[0033]圖2從觀眾觀察者的視角闡明了聲源(210，220，230，240)及可能發(fā)生來(lái)自這些聲源的聲音的監(jiān)聽(tīng)或檢測(cè)的聲音位置(250,260)的圖示法200。例如，聲源(210，220，230，240)可以表示演唱會(huì)上的現(xiàn)場(chǎng)樂(lè)隊(duì)，并且圖2的觀察者在觀眾中。理解為，沒(méi)有障礙時(shí)，聲音以與聲音的速度相等的速率行進(jìn)。還認(rèn)識(shí)到，可在距聲源的一個(gè)預(yù)先確定的距離處確定檢測(cè)位置(250，260)。使用速率X時(shí)間=距離的標(biāo)準(zhǔn)關(guān)系，校準(zhǔn)技術(shù)可用于確定從聲源傳播的聲音是否被阻以及用于檢測(cè)的設(shè)備是否被正確地定位。
[0034]從圖2中，傳聲器或其他檢測(cè)設(shè)備可被放置于250、260處以檢測(cè)發(fā)自舞臺(tái)區(qū)270的聲音。從該圖中，聲源230及240與檢測(cè)器250及260不是等距的。聲源230位于距檢測(cè)器260 —個(gè)第一預(yù)先確定的距離處，并且聲源240位于距檢測(cè)器260 —個(gè)第二預(yù)先確定的距離處。發(fā)自230的聲音將在發(fā)自聲源240的聲音之前到達(dá)檢測(cè)器260。然而，發(fā)自230的聲音將在發(fā)自聲源240的聲音之后到達(dá)檢測(cè)器250。雖然可使用與標(biāo)準(zhǔn)關(guān)系關(guān)聯(lián)的計(jì)算來(lái)確定參考檢測(cè)器與這些聲源中的每一個(gè)之間的距離，由于聲音分散、聲源移動(dòng)、以及檢測(cè)設(shè)備的放置，以精確性及專一性確定聲源的位置仍然是一項(xiàng)挑戰(zhàn)。
[0035]聲音的另一個(gè)特征是與其響度相關(guān)的，其中響亮的聲音源自較大的氣壓變化，氣壓變化隨距離消弱。由于每個(gè)聲音以聲音的速度行進(jìn)穿過(guò)房間，每個(gè)聲音產(chǎn)生的氣壓變化可受到其他聲音、時(shí)間及聲音行進(jìn)的距離影響。在此類設(shè)置中，為一整套聲源或?yàn)橛筛?jìng)爭(zhēng)聲源圍繞的單個(gè)聲源確定一個(gè)特定的中心點(diǎn)提出了挑戰(zhàn)。
[0036]例如，圖3闡明了聲源(310，320，330，340)、可發(fā)生來(lái)自這些聲源的聲音的監(jiān)聽(tīng)或檢測(cè)的位置(350，360)、以及一個(gè)聚合聲源的可能的中心線的圖示法300。從圖3中，每個(gè)聲源(310，320，330，340)可產(chǎn)生具有在表演或演示期間各不相同地重疊的頻率的聲音。在某些情況下，這些聲源中的一個(gè)或多個(gè)可以是例如揚(yáng)聲器。聽(tīng)眾可通過(guò)部署一個(gè)或多個(gè)檢測(cè)陣列(350，360)來(lái)嘗試分辨一套特定的頻率發(fā)自何處。然而，雖然可使用與標(biāo)準(zhǔn)關(guān)系關(guān)聯(lián)的計(jì)算來(lái)確定參考檢測(cè)器與這些聲源中的每一個(gè)之間的距離，由于競(jìng)爭(zhēng)聲音、聲音分散、聲源移動(dòng)、檢測(cè)設(shè)備的放置、以及其他特征，以精確性及專一性為特定頻率目標(biāo)或范圍確定一個(gè)聚合中心仍然是一項(xiàng)挑戰(zhàn)。相應(yīng)地，很難確定聚合中心出現(xiàn)在何處，如在380處所估計(jì)的。
[0037]進(jìn)一步地，圖4闡明了一種具有多個(gè)聲源400的環(huán)境安排，其中聽(tīng)眾490位于一個(gè)相對(duì)于該多個(gè)聲源靠近舞臺(tái)前面的特定位置處。從圖4中(即頭頂視角)，可能期望的是該表演使得聽(tīng)眾490在特定時(shí)間或在特定時(shí)段聚焦在該表演的特定方面。不幸的是，使用與標(biāo)準(zhǔn)關(guān)系關(guān)聯(lián)的計(jì)算，聽(tīng)眾490很可能可以確定聚合聲源的一個(gè)感知到的中心點(diǎn)位于499處。結(jié)果，聽(tīng)眾490的焦點(diǎn)通常將朝向該感知到的中心點(diǎn)并且可能不聚焦在與這些聲源及其特定特征關(guān)聯(lián)的特定亮點(diǎn)或表演效果。不幸的是，聽(tīng)眾可能無(wú)法完全地與最初打算的那樣從表演中得到一定程度的樂(lè)趣。
[0038]類似地，節(jié)目企劃可期望為了聽(tīng)眾的樂(lè)趣將一個(gè)視覺(jué)特征對(duì)準(zhǔn)與該表演的聲音、聲源及環(huán)境相關(guān)的特定特征，其中需要準(zhǔn)確地確定聲源位置與正在發(fā)自或?qū)⒁l(fā)自一個(gè)或多個(gè)聲源的聲音的定時(shí)信息之間的對(duì)準(zhǔn)關(guān)聯(lián)。
[0039]圖5闡明了一種具有多個(gè)聲源500的環(huán)境安排，其中聽(tīng)眾590位于一個(gè)相對(duì)于該多個(gè)聲源朝向舞臺(tái)后側(cè)的特定位置處。從圖5中，使用與標(biāo)準(zhǔn)關(guān)系關(guān)聯(lián)的計(jì)算，聽(tīng)眾很可能將具有在特定時(shí)間點(diǎn)上源自599的一個(gè)感知到的聲源聚合中心，結(jié)果，聽(tīng)眾590的焦點(diǎn)通常將朝向該感知到的中心點(diǎn)599并且可能不聚焦在與這些聲源及其特定特征關(guān)聯(lián)的特定亮點(diǎn)或表演效果上，特別是朝向舞臺(tái)前面的那些。不幸的是，由于聽(tīng)眾所感知到的聲源中心點(diǎn)，該聽(tīng)眾可能不能完全地與最初打算的那樣從該表演中得到一定程度的樂(lè)趣。
[0040]圖6根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了本發(fā)明的流程圖600。從圖6中，流程600開(kāi)始于605處。在610處，標(biāo)識(shí)一個(gè)聲源為該流程的一個(gè)感興趣的目標(biāo)。例如，在一個(gè)實(shí)施例中，用戶可以標(biāo)識(shí)一個(gè)或多個(gè)用于確定目標(biāo)的聲音目標(biāo)特征。例如，聲音目標(biāo)特征可包括頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段。所定義的一個(gè)或多個(gè)聲音目標(biāo)特征作為輸入被該流程接收，用于在一個(gè)定義的環(huán)境中確定和標(biāo)識(shí)聲源。將認(rèn)識(shí)到，不存在聲音目標(biāo)特征時(shí)，一套默認(rèn)的聲音目標(biāo)特征可用于本發(fā)明中。
[0041]進(jìn)一步地，從圖6中，在620處定義了聲音環(huán)境。例如，聲音環(huán)境可以是音樂(lè)廳、攝影棚、演出地點(diǎn)、室外、室內(nèi)等，借此打算的是定義待檢測(cè)的聲音之源預(yù)期出自其中的地點(diǎn)。
[0042]在630處，一種效果被標(biāo)識(shí)供本發(fā)明使用。如此處所使用的，術(shù)語(yǔ)“標(biāo)記”意指標(biāo)記在方式上為可視的、可聽(tīng)的或可觸知的。例如，標(biāo)記可包括但不限于視覺(jué)效果、聽(tīng)覺(jué)效果、可觸知的效果、視覺(jué)圖像、動(dòng)畫(huà)片、字符表示、視頻、動(dòng)漫、全息圖、光束、噴射的火焰、動(dòng)畫(huà)、及其組合，用于相對(duì)于所檢測(cè)到的目標(biāo)聲音或所確定的參考聲音位置進(jìn)行顯示。
[0043]進(jìn)一步地，標(biāo)記可以是例如一個(gè)或多個(gè)圖像，其中每個(gè)圖像或運(yùn)動(dòng)圖像在一個(gè)特定的預(yù)先確定的時(shí)間或響應(yīng)于一個(gè)特定的預(yù)先確定的聲音特征或者在這兩種情況下均進(jìn)行顯示。例如，在一個(gè)實(shí)施例中，視覺(jué)標(biāo)記是一個(gè)全息圖像中的一個(gè)或多個(gè)，該全息圖像以一個(gè)或多個(gè)預(yù)先確定的時(shí)間所定義的間隔相對(duì)于所確定的參考聲音位置進(jìn)行顯示。進(jìn)一步舉例來(lái)說(shuō)，如果環(huán)境是樂(lè)隊(duì)的舞臺(tái)，那么標(biāo)記可以是個(gè)人、動(dòng)漫、圖標(biāo)等的全息圖或是全息圖像，它們可具有與該影像關(guān)聯(lián)的運(yùn)動(dòng)或者可具有響應(yīng)于本發(fā)明所檢測(cè)到的聲音的運(yùn)動(dòng)。
[0044]進(jìn)一步在圖6中，在640處，使用定義聲音的聲音目標(biāo)特征以及所定義的有待被確定為目標(biāo)的聲源，使用本發(fā)明的傳感裝置在該環(huán)境內(nèi)對(duì)聲源進(jìn)行了標(biāo)識(shí)。聲音傳感裝置可包括聲音可被確定在其中存在的任何聲音傳感設(shè)備或裝置(包括人類)?？傮w上，能夠檢測(cè)氣壓變化的傳感器可作為適用于本發(fā)明的裝置。其他示例可包括傳聲器、音頻采集裝置、氣壓傳感器、聲波檢測(cè)器、聲學(xué)照相機(jī)、電子控制邏輯、聲音傳感器、監(jiān)聽(tīng)裝置、分貝觸發(fā)器、揚(yáng)聲器、及水聽(tīng)器等。
[0045]在650處，所標(biāo)識(shí)的聲源的位置是將這些聲音傳感裝置的輸出用作對(duì)本發(fā)明的一個(gè)第一位置處理器的輸入而確定的。在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，在距目標(biāo)參考點(diǎn)一個(gè)固定距離處設(shè)置的一個(gè)傳聲器陣列被用作聲音傳感裝置。來(lái)自該傳聲器陣列的輸出被提供為至該第一位置處理器的輸入。該第一位置處理器接收該陣列信息并且及時(shí)地在一個(gè)第一實(shí)例處確定目標(biāo)聲源的一個(gè)第一位置。
[0046]例如，在一個(gè)進(jìn)一步的優(yōu)選實(shí)施例中，沿公共X軸參考平面相對(duì)于聲源的目標(biāo)參考系設(shè)置了一個(gè)有30個(gè)傳聲器的傳聲器陣列。當(dāng)聲源傳輸待本發(fā)明感測(cè)的聲音時(shí),該聲音由該傳聲器陣列非均勻地接收。由于該陣列的每個(gè)傳聲器相對(duì)于彼此以及相對(duì)于聲源目標(biāo)參考系位于一個(gè)固定距離處，本發(fā)明可在聲音傳輸?shù)臅r(shí)間tl計(jì)算聲源目標(biāo)的所在位置。本發(fā)明的第一位置處理器然后確定在tl處相對(duì)于目標(biāo)參考系的一個(gè)第一位置。
[0047]進(jìn)一步的實(shí)施例包括多個(gè)傳聲器陣列的使用，其中每個(gè)陣列可在傳聲器的數(shù)量上發(fā)生變化，所定義的陣列的一部分以及每個(gè)陣列的位置也可以相對(duì)于目標(biāo)參考系不同。對(duì)于此實(shí)施例，當(dāng)聲源傳輸待本發(fā)明感測(cè)的聲音時(shí)，該聲音由該多個(gè)傳聲器陣列非均勻地接收。由于每個(gè)陣列的每個(gè)傳聲器相對(duì)于彼此、相對(duì)于每個(gè)陣列、以及相對(duì)于聲源目標(biāo)參考系位于一個(gè)固定距離處，本發(fā)明可在聲音傳輸?shù)臅r(shí)間tl處計(jì)算聲源目標(biāo)的所在位置。
[0048]在一個(gè)進(jìn)一步的實(shí)施例中，這些陣列被圍繞目標(biāo)聲源多維地放置。本發(fā)明的第一位置處理器然后確定在tl處相對(duì)于目標(biāo)參考系的一個(gè)第一位置。
[0049]將認(rèn)識(shí)到，在以上每一個(gè)參考實(shí)施例中，目標(biāo)聲源的位置可以被特別準(zhǔn)確地標(biāo)識(shí)。
[0050]繼續(xù)從圖6中，在660處，來(lái)自第一位置處理器的輸出被提供為至一個(gè)第一參考處理器的輸入，該第一參考處理器將目標(biāo)聲源在tl處的位置信息與目標(biāo)參考軸關(guān)聯(lián)，從而確定所標(biāo)識(shí)的目標(biāo)聲音之源的位置。所標(biāo)識(shí)的聲源的位置在所定義的環(huán)境中還可被用作參考位置，該環(huán)境中本發(fā)明的標(biāo)記可被映射用于相對(duì)于顯示器、聲音、外觀等進(jìn)行定位。在670處，視覺(jué)效果(即標(biāo)記)可相對(duì)于并且靠近參考聲源進(jìn)行映射及顯示。
[0051]圖7根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了依賴于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的本發(fā)明的流程圖700。從圖7中，流程700針對(duì)初始時(shí)間tl開(kāi)始于705。在706處，聲音特征被標(biāo)識(shí)并用于進(jìn)一步在710處為該流程定義聲源或目標(biāo)區(qū)。在720及730處定義了聲音環(huán)境，標(biāo)記效果被標(biāo)識(shí)供本發(fā)明使用。在740處，使用定義聲音的聲音目標(biāo)特征及所定義的有待被確定為目標(biāo)的聲源，在環(huán)境內(nèi)使用本發(fā)明的傳感裝置對(duì)聲源進(jìn)行了標(biāo)識(shí)。在750處，所標(biāo)識(shí)的聲源的位置是將這些聲音傳感裝置的輸出用作本發(fā)明的一個(gè)第一位置處理器的輸入而確定的。在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，位置可以是兩軸坐標(biāo)或三維坐標(biāo)。在760處，確定了所標(biāo)識(shí)的目標(biāo)聲音之源的位置。在770處，視覺(jué)效果(即標(biāo)記)可被相對(duì)于并且靠近參考聲源進(jìn)行映射及顯示。
[0052]在780處，該流程在初始時(shí)段tl之后的時(shí)段內(nèi)根據(jù)步驟740-770使用預(yù)定義的特征重新評(píng)估所確定的聲源。相應(yīng)地，對(duì)于tl+Ι，在740處，使用定義聲音的聲音目標(biāo)特征及所定義的有待被確定為目標(biāo)的聲源，在下一時(shí)段內(nèi)使用本發(fā)明的傳感裝置在環(huán)境內(nèi)標(biāo)識(shí)聲源。該流程一直持續(xù)到770，在此可在時(shí)間tl+Ι基于所確定和標(biāo)識(shí)的聲音信息及標(biāo)記相對(duì)于并且靠近參考聲源對(duì)視覺(jué)效果進(jìn)行映射及顯示。相應(yīng)地，該流程可在附加時(shí)段重復(fù)。
[0053]圖8根據(jù)一個(gè)或多個(gè)實(shí)施例闡明了本發(fā)明的流程圖800，其中特征數(shù)據(jù)的定義還包括對(duì)于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的依賴。從圖8中，流程800針對(duì)初始時(shí)間tl開(kāi)始于805。在806處，闡明了特征標(biāo)識(shí)關(guān)聯(lián)被稱為一個(gè)時(shí)間函數(shù)。從該流程中，在810處定義了該流程的聲源或目標(biāo)區(qū)。在820及830處定義了聲音環(huán)境，標(biāo)記效果被標(biāo)識(shí)為時(shí)間函數(shù)供本發(fā)明使用。在840處，使用定義聲音的這些聲音目標(biāo)特征(各自為一個(gè)時(shí)間函數(shù))及所定義的有待被確定為目標(biāo)的聲源，在該環(huán)境內(nèi)使用本發(fā)明的傳感裝置對(duì)聲源進(jìn)行了標(biāo)識(shí)。在850處，確定了所標(biāo)識(shí)的聲源的位置。在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，位置可以是兩軸坐標(biāo)或三維坐標(biāo)。在860處，確定了所標(biāo)識(shí)的目標(biāo)聲音之源的位置。該流程一直持續(xù)到870，在此可基于所確定和標(biāo)識(shí)的聲音信息及標(biāo)記相對(duì)于并且靠近參考聲源對(duì)視覺(jué)效果進(jìn)行映射及顯示。相應(yīng)地，該流程可在tl+Ι (附加時(shí)段)重復(fù)880。在880處，由于這些特征是時(shí)間函數(shù)，可在890處闡明新定義，并且該流程將在下一時(shí)間間隔在下一流程繼續(xù)新定義的特征。
[0054]圖9闡明了對(duì)于本發(fā)明的標(biāo)記的交互圖像效果的示例。從圖9中，所呈現(xiàn)的符號(hào)標(biāo)記包括具有一個(gè)或多個(gè)擬人特征。910描繪了一個(gè)朝前的面部。920描繪了一個(gè)朝左的面部。930描繪了一個(gè)朝右的面部。940描繪了一個(gè)朝后的面部。此類面部側(cè)貌可被投影到靠近本發(fā)明的參考聲音位置的聲音環(huán)境中的膠卷或其他顯示器上。
[0055]交互式地，本發(fā)明能夠進(jìn)一步提供具有面部標(biāo)記，該面部標(biāo)記具有有限動(dòng)作或無(wú)動(dòng)作的910，直到相對(duì)于一個(gè)或多個(gè)聲音特征檢測(cè)到一個(gè)特定的聲音或一套聲音。使用本發(fā)明檢測(cè)到此類目標(biāo)聲音時(shí)，910的標(biāo)記可在顯示器中改變圖像或運(yùn)動(dòng)，以便使得面部可轉(zhuǎn)向參考聲音位置。例如，如果檢測(cè)到一個(gè)聲音在910朝前的標(biāo)記的左側(cè)，面部則可在屏幕上變換圖像以便繼續(xù)看上去好像在“看”向參考聲音位置。這樣做，朝向910的面部轉(zhuǎn)變成看向右側(cè)的面部930 (或是面部的左側(cè))，并朝向所檢測(cè)到的聲源。面部標(biāo)記930將一直繼續(xù)直到一個(gè)未來(lái)時(shí)間間隔或者直到一個(gè)所檢測(cè)到的聲音停止的時(shí)段。如果所檢測(cè)到的聲音停止了，面部標(biāo)記930可被返回到910朝前的表情。
[0056]圖10根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例描繪了對(duì)于本發(fā)明的標(biāo)記的交互圖像效果的不例。從圖10中，聲音可來(lái)自環(huán)境1000中的聲源1010。相對(duì)于聲源確定一個(gè)第一參考聲音位置已被本發(fā)明執(zhí)行，確定此類參考位置在1020處。在本發(fā)明的示例中，面部標(biāo)記1070及1080包括定義的特征，這些定義的特征還包括在檢測(cè)到具有預(yù)先確定的聲音特征的某些聲源時(shí)發(fā)生的移動(dòng)。
[0057]從圖10并且操作性地，使用本發(fā)明，面部標(biāo)記1070A通常遠(yuǎn)離該聲源朝向別處，直到檢測(cè)到一個(gè)特定的聲源。檢測(cè)到該特定聲源時(shí)，朝向別處的面部標(biāo)記1070A轉(zhuǎn)變成面對(duì)面部標(biāo)記1070B，該面部標(biāo)記“看上去好像”朝向1020處確定的聲源。一旦聲源停止，面部標(biāo)記可返回表情1070A。類似地，面部標(biāo)記1080A通常朝向聲源，直到檢測(cè)到一個(gè)特定的聲源。檢測(cè)到該特定聲源時(shí)，朝前的面部標(biāo)記1080A轉(zhuǎn)變成朝向別處的面部標(biāo)記1080B，該面部標(biāo)記“看上去好像”遠(yuǎn)離1020處確定的聲源朝向別處。一旦聲源停止，面部標(biāo)記可返回表情1080A。一方面，1080A及1080B的后一不例可觸發(fā)對(duì)所檢測(cè)到的聲音中異?；蛘`差的檢測(cè)，如樂(lè)器或演唱者的失誤。在另一實(shí)例中，標(biāo)記可以是表演者真人大小的圖像，像它們所代表的表演者一樣進(jìn)行交互。
[0058]圖11使用本發(fā)明根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例描繪了多個(gè)標(biāo)記的多視角交互圖像的不例。從圖11中，聲音可來(lái)自環(huán)境1100中的聲源1110。相對(duì)于聲源確定一個(gè)第一參考聲音位置已被本發(fā)明執(zhí)行，確定此類參考位置在1120處。在本發(fā)明的示例中，面部標(biāo)記1170、1180及1190各自包括定義的特定特征，這些特征還包括在檢測(cè)到具有預(yù)先確定的聲音特征的某些聲源時(shí)發(fā)生的移動(dòng)?？傮w上，對(duì)于此示例，三個(gè)標(biāo)記其中的兩個(gè)(1170,1180)被設(shè)置成“看上去好像”在看參考位置1120，而一個(gè)(1190)包括不看參考位置(1120)的設(shè)置。
[0059]從圖11并且操作性地，使用本發(fā)明，面部標(biāo)記1070A通常遠(yuǎn)離該聲源朝向別處，直到檢測(cè)到一個(gè)特定的聲源。檢測(cè)到該特定聲源時(shí)，朝向別處的面部標(biāo)記1070A轉(zhuǎn)變成面對(duì)面部標(biāo)記1070B，“看上去好像”朝向1020處確定的聲源。一旦聲源停止，面部標(biāo)記可返回表情1070A。類似地，面部標(biāo)記1080A通常朝向聲源，直到檢測(cè)到一個(gè)特定的聲源。檢測(cè)到該特定聲源時(shí)，朝前的面部標(biāo)記1080A轉(zhuǎn)變成朝向別處的面部標(biāo)記1080B，“看上去好像”遠(yuǎn)離1020處確定的聲源朝向別處。一旦聲源停止,面部標(biāo)記可返回表情1080A。一方面，1080A及1080B的后一示例可觸發(fā)對(duì)所檢測(cè)到的聲音中異?；蛘`差的檢測(cè)，如樂(lè)器或演唱者的失誤。
[0060]圖12根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例展示了一種適合存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)1200。數(shù)據(jù)處理系統(tǒng)1200包括通過(guò)系統(tǒng)總線1206耦合到存儲(chǔ)器元件1204a-b的處理器1202。在其他實(shí)施例中，數(shù)據(jù)處理系統(tǒng)1200可包括多于一個(gè)處理器并且每個(gè)處理器可通過(guò)系統(tǒng)總線直接或間接耦合到一個(gè)或多個(gè)存儲(chǔ)器元件。
[0061]存儲(chǔ)器元件1204a_b可包括實(shí)際執(zhí)行程序代碼時(shí)使用的局部存儲(chǔ)器、大容量存儲(chǔ)器及提供至少某些程序代碼的暫時(shí)存儲(chǔ)的高速緩沖存儲(chǔ)器，以便減少在執(zhí)行時(shí)必須從大容量存儲(chǔ)器中檢索代碼的次數(shù)。如所示出的，輸入/輸出或I/o裝置1208a-b (包括但不限于鍵盤(pán)、顯示器、定點(diǎn)裝置等)耦合到數(shù)據(jù)處理系統(tǒng)1200。I/O裝置1028a-b可通過(guò)中介I/O控制器(未示出)直接或間接耦合到數(shù)據(jù)處理系統(tǒng)1200。
[0062]進(jìn)一步地，在圖12中，網(wǎng)絡(luò)適配器1210耦合到數(shù)據(jù)處理系統(tǒng)1202以使得數(shù)據(jù)處理系統(tǒng)1200能夠變得通過(guò)通信鏈路1212耦合到其他數(shù)據(jù)處理系統(tǒng)或遠(yuǎn)程打印機(jī)或存儲(chǔ)裝置。通信鏈路1212可以是專用網(wǎng)絡(luò)或公用網(wǎng)絡(luò)。調(diào)制解調(diào)器、有線調(diào)制解調(diào)器、及以太網(wǎng)卡僅為幾種目前可用的網(wǎng)絡(luò)適配器類型。
[0063]此外，在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，圖12的數(shù)據(jù)處理系統(tǒng)1200可進(jìn)一步包括適合根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例執(zhí)行程序代碼的邏輯及控制器。例如，數(shù)據(jù)處理系統(tǒng)1200可包括1202處的多個(gè)處理器，其中，每個(gè)處理器可預(yù)處理、處理或后處理相對(duì)于環(huán)境、環(huán)境中的聲音及效果和/或本發(fā)明的用戶的優(yōu)先設(shè)置接收或傳輸?shù)臄?shù)據(jù)(諸如但不限于聲學(xué)的、圖像或可觸知的)。關(guān)于其對(duì)本發(fā)明的處理，該多個(gè)處理器可通過(guò)系統(tǒng)總線1206耦合到存儲(chǔ)器元件1204a-b。多個(gè)輸入/輸出或I/O裝置1208a-b可聯(lián)合對(duì)應(yīng)的處理器直接耦合到數(shù)據(jù)處理系統(tǒng)1200，或通過(guò)中介I/O控制器(未示出)間接耦合。此類I/O裝置的示例可包括但不限于傳聲器、傳聲器陣列、聲學(xué)照相機(jī)、聲音檢測(cè)設(shè)備、光檢測(cè)設(shè)備等。
[0064]在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，對(duì)于本發(fā)明有效的軟件可以是應(yīng)用、遠(yuǎn)程軟件或者可在計(jì)算機(jī)、智能電話或其他基于計(jì)算機(jī)的裝置上操作。例如，從諸如iPhone的聲源檢測(cè)到的聲音可用于本發(fā)明，其中本發(fā)明的軟件被安排了一個(gè)傳聲器陣列和多個(gè)聲學(xué)照相機(jī)，以根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例從iPhone檢測(cè)聲源并且在iPhone上顯示視覺(jué)圖像。預(yù)期的是，本裝置可用于基本上任何環(huán)境及應(yīng)用中，包括涉及但不限于搖滾表演、視頻表演、劇場(chǎng)、特征描述的那些和/或涉及在世/去世表演者的戲劇演出、動(dòng)畫(huà)應(yīng)用、交互電子及虛擬論壇、國(guó)家安全需求、安全住宅等。
[0065]圖13根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例展示了本發(fā)明的一種包括適合存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)1300的裝置安排。1300的裝置包括聲學(xué)照相機(jī)1308a用于與環(huán)境關(guān)聯(lián)的聲壓及聲音信息的輸入，圖像投影系統(tǒng)1308b用于將所處理的圖像信息的輸出作為該裝置的處理的產(chǎn)物進(jìn)行顯示，以及數(shù)據(jù)處理子系統(tǒng)1301。數(shù)據(jù)處理子系統(tǒng)1301包括映射處理器1302a(用于處理從聲學(xué)照相機(jī)輸入1308a接收的聲音信息)以及圖像處理器1302b(用于為了輸出而處理與用戶定義的特征關(guān)聯(lián)的圖像數(shù)據(jù))，各自通過(guò)系統(tǒng)總線1306耦合到存儲(chǔ)器元件1304a-b。存儲(chǔ)器元件1304a例如可以包括用戶定義的聲音特征，用于標(biāo)識(shí)關(guān)于環(huán)境中的聲音的感興趣的目標(biāo)。類似地，存儲(chǔ)器元件1304b例如可以包括視覺(jué)圖像數(shù)據(jù)及用戶定義的特征，用于相對(duì)于環(huán)境中標(biāo)識(shí)的聲音信息進(jìn)行視覺(jué)圖像數(shù)據(jù)的應(yīng)用。將認(rèn)識(shí)到附加存儲(chǔ)器元件及存儲(chǔ)器的安排也是本發(fā)明預(yù)期的。
[0066]進(jìn)一步從圖13中，存儲(chǔ)器元件1304a_b可包括程序代碼實(shí)際執(zhí)行時(shí)使用的局部存儲(chǔ)器、大容量存儲(chǔ)器、及提供至少某些程序代碼的暫時(shí)存儲(chǔ)的高速緩沖存儲(chǔ)器。進(jìn)一步的存儲(chǔ)器元件或控制器(未示出)此外可在本發(fā)明執(zhí)行數(shù)據(jù)捕獲、處理及數(shù)據(jù)顯示時(shí)提供用于確定步驟的實(shí)時(shí)、近實(shí)時(shí)、且預(yù)先確定的時(shí)間指令，本質(zhì)上作為時(shí)間函數(shù)。
[0067]進(jìn)一步地，在圖13中，雖然網(wǎng)絡(luò)適配器1310圖解法地耦合到數(shù)據(jù)處理系統(tǒng)1302以使得數(shù)據(jù)處理系統(tǒng)1301能夠通過(guò)通信鏈路1312開(kāi)始耦合到其他數(shù)據(jù)處理系統(tǒng)、存儲(chǔ)裝置、投影系統(tǒng)及類似物上，本發(fā)明并未限制通信聯(lián)動(dòng)的特定安排。通信鏈路1312可以是專用網(wǎng)絡(luò)或公用網(wǎng)絡(luò)，有線的或無(wú)線的，并且連通性上為直接的或間接的。用于本發(fā)明的當(dāng)前實(shí)施例及其他實(shí)施例的I/o裝置可以包括但不限于傳聲器、傳聲器陣列、聲學(xué)照相機(jī)、聲音檢測(cè)設(shè)備、光檢測(cè)設(shè)備、影像投影系統(tǒng)、顯示系統(tǒng)、電子媒體等。
[0068]圖14根據(jù)一個(gè)或多個(gè)實(shí)施例使用聲學(xué)照相機(jī)的輸入裝置以及圖像投影系統(tǒng)的輸出裝置闡明了本發(fā)明的流程圖1400，其中特征數(shù)據(jù)的定義還包括對(duì)于一個(gè)或多個(gè)預(yù)先確定的時(shí)間的依賴。從圖14中，流程1400針對(duì)初始時(shí)間tl開(kāi)始于1405。在1406處，闡明了特征標(biāo)識(shí)關(guān)聯(lián)被稱為一個(gè)時(shí)間函數(shù)。從該流程中，在1410處定義了該流程的聲源或目標(biāo)區(qū)。在1420及1430處定義了聲音環(huán)境，視覺(jué)效果(例如動(dòng)畫(huà))被標(biāo)識(shí)供本發(fā)明使用。在1440處，使用這些聲音目標(biāo)特征(各自為一個(gè)時(shí)間函數(shù))，定義聲音及所定義的有待被確定為目標(biāo)的聲源，使用本發(fā)明的聲學(xué)照相機(jī)在該環(huán)境內(nèi)對(duì)聲源進(jìn)行了標(biāo)識(shí)。優(yōu)選地，聲學(xué)照相機(jī)提供了對(duì)該環(huán)境中檢測(cè)到的聲壓的映射并且輸入了數(shù)據(jù)以由本發(fā)明處理。
[0069]在1450處，確定了所標(biāo)識(shí)的聲源的位置。在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，位置可以是兩軸坐標(biāo)或三維坐標(biāo)。類似地，本發(fā)明的附加處理可提供轉(zhuǎn)換處理，以使二維位置信息轉(zhuǎn)換成三維信息。在1460處，確定了所標(biāo)識(shí)的目標(biāo)聲音之源的位置。該流程一直持續(xù)到1470處，在此按照用戶定義的特征對(duì)視覺(jué)效果進(jìn)行了安排，并且基于所確定及標(biāo)識(shí)的聲音信息及視覺(jué)圖像數(shù)據(jù)和優(yōu)選設(shè)置相對(duì)于且靠近該參考聲源進(jìn)行了映射。在1480處，對(duì)有待顯示的視覺(jué)圖像進(jìn)行了處理和安排以由本發(fā)明的圖像投影系統(tǒng)顯示。使用本發(fā)明，無(wú)論是二維的還是三維的，投影可直接、間接、靠近、遠(yuǎn)離、位于、朝向、或跨目標(biāo)位置進(jìn)行顯示。
[0070]相應(yīng)地，該流程則于tl+Ι (附加時(shí)段)在1490處重復(fù)。在1490處，由于這些特征是時(shí)間函數(shù)，可在1410處或者如果之前的步驟中沒(méi)發(fā)生變化則在該流程的其他步驟闡明新定義，并且該流程將根據(jù)本發(fā)明并且還優(yōu)選地在下一時(shí)間間隔作為時(shí)間函數(shù)繼續(xù)所定義的特征、所獲取的數(shù)據(jù)、所處理的數(shù)據(jù)及為輸出準(zhǔn)備的數(shù)據(jù)。
[0071]圖15展示了本發(fā)明運(yùn)轉(zhuǎn)所在的環(huán)境1500。從圖15中，環(huán)境1500包括聲源1510、目標(biāo)區(qū)或目標(biāo)參考系1520、及聲音檢測(cè)及接收裝置1530。優(yōu)選地，在一個(gè)或多個(gè)實(shí)施例中，聲源1510可以是一群音樂(lè)家、一套發(fā)聲設(shè)備、舞臺(tái)表演者、動(dòng)畫(huà)片、單個(gè)人等。優(yōu)選地，在一個(gè)或多個(gè)實(shí)施例中，目標(biāo)參考系或目標(biāo)區(qū)1520被定義為一個(gè)將發(fā)生聲音的檢測(cè)的物理區(qū)域，而該目標(biāo)區(qū)將是但不限于一個(gè)可用整體物理空間的子集。目標(biāo)區(qū)優(yōu)選地將由本發(fā)明的用戶定義或默認(rèn)由用于本發(fā)明的值定義，其中示例可包括中央舞臺(tái)的一片20’X 20’ X 10’的區(qū)域，其中一支現(xiàn)場(chǎng)樂(lè)隊(duì)在100’ X 100’ x50’的圍欄內(nèi)表演。進(jìn)一步地，接收裝置將被放置在整體物理空間內(nèi)并且被安排成從目標(biāo)區(qū)的聲源接收聲音信息以供本發(fā)明的最佳使用。在一個(gè)或多個(gè)優(yōu)選實(shí)施例中，接收裝置是聲學(xué)照相機(jī)。
[0072]圖16使用實(shí)時(shí)聲音動(dòng)畫(huà)展示了本發(fā)明運(yùn)轉(zhuǎn)所在的環(huán)境1600。從圖16中，環(huán)境1600包括聲源、目標(biāo)區(qū)或目標(biāo)參考系、及聲音檢測(cè)及接收裝置(未示出)。在該環(huán)境1600內(nèi)描繪了動(dòng)畫(huà)影像1610。動(dòng)畫(huà)影像是所選擇的將根據(jù)優(yōu)選視覺(jué)效果的一個(gè)或多個(gè)用戶定義的特征在該環(huán)境內(nèi)形象化地顯示的標(biāo)記。所選動(dòng)畫(huà)影像被安排成進(jìn)行實(shí)時(shí)處理以便該影像相對(duì)于所檢測(cè)到的聲音信息靠近且朝向目標(biāo)區(qū)進(jìn)行投影。優(yōu)選地，動(dòng)畫(huà)影像響應(yīng)于所檢測(cè)到的聲音信息(諸如聲壓、頻率、音高、分貝等)，以便使得動(dòng)畫(huà)影像與聲壓交互。例如，在所檢測(cè)到的聲壓增加并且降低以反映漸增的然后以及漸減的聲音響度時(shí)，動(dòng)畫(huà)的花朵、云彩、天使翅膀的圖像等等可以在例如大小、視覺(jué)透明度、動(dòng)作、及色彩強(qiáng)度和/或照明效果方面增加及降低。將認(rèn)識(shí)到，使用本發(fā)明，存在很多可用變更并且本發(fā)明不僅限制于以上列表。
[0073]圖17展示了本發(fā)明運(yùn)轉(zhuǎn)所在以及演唱會(huì)上有現(xiàn)場(chǎng)表演者時(shí)投影全息動(dòng)畫(huà)影像的環(huán)境1700。從圖17中，環(huán)境1700包括聲源1710、目標(biāo)區(qū)或目標(biāo)參考系1720、聲音檢測(cè)及接收裝置1730、及投影系統(tǒng)(未示出)。從圖17中，在1701處描繪了一位聽(tīng)眾。優(yōu)選地，在一個(gè)實(shí)施例中，聲源1710是一群正在表演的音樂(lè)家，目標(biāo)參考系1720被定義在靠近中央舞臺(tái)處，接收裝置1730是聲學(xué)照相機(jī)，并且投影系統(tǒng)提供了相對(duì)于預(yù)先確定的特征的來(lái)自于定義的視覺(jué)圖像的三維全息顯示能力。
[0074]從圖17中，視覺(jué)動(dòng)畫(huà)1740由投影系統(tǒng)相對(duì)于聲學(xué)照相機(jī)檢測(cè)到的聲音信息投影到靠近目標(biāo)區(qū)1720的環(huán)境1700的舞臺(tái)上。優(yōu)選地，作為時(shí)間函數(shù)，顯示的圖像被相對(duì)于本發(fā)明所檢測(cè)及處理的聲音信息進(jìn)行了更新?？商娲?，基于一組預(yù)先確定的圖像、動(dòng)作、形象化等在一個(gè)時(shí)段內(nèi)顯示了圖像。
[0075]雖然本發(fā)明根據(jù)所示的實(shí)施例中已經(jīng)描述，在本【技術(shù)領(lǐng)域】的普通技術(shù)人員將容易地認(rèn)識(shí)到，有可能是變化的實(shí)施例，這些變化將在本發(fā)明的精神和范圍之內(nèi)。相應(yīng)地，在不偏離本發(fā)明的精神和范圍的情況下，本領(lǐng)域的普通技術(shù)人員可以作出許多修改。還設(shè)想了本發(fā)明的許多其他實(shí)施例。
[0076]在此所述的任何理論、運(yùn)行機(jī)制、證據(jù)、或發(fā)現(xiàn)旨在進(jìn)一步加強(qiáng)對(duì)本發(fā)明的理解，并且并不打算以任何方式使本發(fā)明依賴于這種理論、運(yùn)行機(jī)制、證據(jù)、或發(fā)現(xiàn)。應(yīng)當(dāng)理解的是，雖然上述說(shuō)明中對(duì)詞語(yǔ)更可取的、優(yōu)選地或優(yōu)選的的使用表示如此描述的特征可能更可取，盡管如此，它可能不是必要的，并且沒(méi)有該特征的實(shí)施例可以視為在本發(fā)明的范圍之內(nèi)，該范圍由接下來(lái)的權(quán)利要求書(shū)所定義。
[0077]如此處所使用的，本發(fā)明的檢測(cè)及監(jiān)聽(tīng)位置可放置或坐落于環(huán)境中一個(gè)期望的聲源或一系列聲源可能源自其中的任何地方。例如，傳聲器陣列可沿X軸、y軸和/或z軸相對(duì)于感興趣的聲源放置。
[0078]如在此所使用的，術(shù)語(yǔ)裝置、電器、終端、遠(yuǎn)程裝置、無(wú)線資產(chǎn)等旨在彼此或與針對(duì)本發(fā)明的目的的其他類似的基于通信的設(shè)備是包含的、可互換的、和/或同義的，雖然將認(rèn)識(shí)到每一裝置在功能上可以具有獨(dú)特的特點(diǎn)、功能和/或操作(對(duì)其個(gè)體能力和/或部署可能是特定的)。
【權(quán)利要求】
1.一種用于在預(yù)先確定的位置處相對(duì)于一個(gè)或多個(gè)聲音特征定義參考聲音位置并且產(chǎn)生與其靠近的標(biāo)記的方法，包括: 定義至少一個(gè)待檢測(cè)的聲音特征； 相對(duì)于該至少一個(gè)聲音特征檢測(cè)至少一個(gè)目標(biāo)聲音； 相對(duì)于所檢測(cè)到的目標(biāo)聲音確定該參考聲音位置；以及， 產(chǎn)生靠近所確定的參考聲音位置的該標(biāo)記。
2.如權(quán)利要求1所述的方法，其中，這些聲音特征是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段。
3.如權(quán)利要求2所述的方法，其中，該參考聲音位置包括一個(gè)相對(duì)于該預(yù)先確定的位置幀的二維位置。
4.如權(quán)利要求3所述的方法，其中，該參考聲音位置包括一個(gè)相對(duì)于該預(yù)先確定的位置幀的三維位置。
5.如權(quán)利要求2所述的方法，其中，該至少一個(gè)目標(biāo)聲音是使用以下各項(xiàng)中的一項(xiàng)或多項(xiàng)檢測(cè)的:聲波檢測(cè)器、聲學(xué)照相機(jī)、或電子控制邏輯。
6.如權(quán)利要求5所述的方法,其中，該聲波檢測(cè)器是以下各項(xiàng)之一:傳聲器、電子聲音傳感器、監(jiān)聽(tīng)裝置、分貝觸發(fā)器、揚(yáng)聲器、人、以及水聽(tīng)器。
7.如權(quán)利要求5所述的方法，其中，該標(biāo)記是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):視覺(jué)圖像、動(dòng)畫(huà)片、字符表示、視頻、動(dòng)漫、全息圖、光束、動(dòng)畫(huà)、及其組合，用于相對(duì)于所檢測(cè)到的目標(biāo)聲音進(jìn)行顯示。
8.如權(quán)利要求7所述的方法，其中，產(chǎn)生該標(biāo)記進(jìn)一步包括根據(jù)一個(gè)或多個(gè)預(yù)先確定的時(shí)間相對(duì)于該參考聲音位置顯示該標(biāo)記。
9.如權(quán)利要求8所述的方法，其中，該標(biāo)記是一個(gè)全息圖像中的一個(gè)或多個(gè)，該全息圖像以一個(gè)或多個(gè)預(yù)先確定的時(shí)間所定義的間隔相對(duì)于該參考聲音位置進(jìn)行顯示。
10.一種用于相對(duì)于預(yù)先確定的聲音環(huán)境中的一個(gè)或多個(gè)聲源的一個(gè)或多個(gè)目標(biāo)特征確定參考聲源位置并且執(zhí)行靠近該參考聲音位置的標(biāo)記的方法，包括: 定義一個(gè)或多個(gè)目標(biāo)聲音特征，該目標(biāo)聲音特征是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段； 將該標(biāo)記的一個(gè)或多個(gè)特征定義為以下各項(xiàng)中的一種或多種:可見(jiàn)的、可聽(tīng)的、和/或可觸知的； 在該聲音環(huán)境中相對(duì)于該一個(gè)或多個(gè)目標(biāo)聲音特征檢測(cè)至少一個(gè)目標(biāo)聲音； 相對(duì)于所檢測(cè)到的目標(biāo)聲音確定該參考聲源位置；以及， 指定靠近所確定的參考聲源位置執(zhí)行該標(biāo)記。
11.如權(quán)利要求10所述的方法,其中，該參考聲源位置包括相對(duì)于該聲音環(huán)境的或者一個(gè)二維或者一個(gè)三維的坐標(biāo)位置。
12.如權(quán)利要求11所述的方法，其中，該至少一個(gè)目標(biāo)聲音是使用以下各項(xiàng)中的一項(xiàng)或多項(xiàng)檢測(cè)的:聲波檢測(cè)器或聲學(xué)照相機(jī)。
13.如權(quán)利要求12所述的方法，其中，該標(biāo)記是一個(gè)投影的視覺(jué)圖像，該視覺(jué)圖像以與一個(gè)或多個(gè)預(yù)先確定的時(shí)間相關(guān)聯(lián)的預(yù)先確定的間隔相對(duì)于該目標(biāo)聲音進(jìn)行顯示，并且相對(duì)于該參考聲源位置顯示為或者是交互的或者是不交互的。
14.一種存儲(chǔ)在計(jì)算機(jī)可用介質(zhì)上的計(jì)算機(jī)程序產(chǎn)品，包括: 一個(gè)計(jì)算機(jī)可讀程序裝置，用于使得一個(gè)計(jì)算機(jī)控制一個(gè)應(yīng)用的執(zhí)行，以執(zhí)行一種用于相對(duì)于一個(gè)或多個(gè)聲音特征產(chǎn)生靠近一個(gè)第一參考聲音位置的標(biāo)記的方法，包括: 定義將由一個(gè)聲音檢測(cè)器檢測(cè)的該一個(gè)或多個(gè)聲音特征； 相對(duì)于該一個(gè)或多個(gè)聲音特征檢測(cè)至少一個(gè)目標(biāo)聲音； 相對(duì)于所檢測(cè)到的至少一個(gè)目標(biāo)聲音確定該第一參考聲音位置；以及， 產(chǎn)生一個(gè)靠近該第一參考聲音位置的預(yù)先確定的標(biāo)記。
15.如權(quán)利要求14所述的程序產(chǎn)品，其中，這些聲音特征是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段。
16.如權(quán)利要求15所述的程序產(chǎn)品,其中，該第一參考聲音位置包括相對(duì)于一個(gè)第一參考軸的或者一個(gè)二維位置或者一個(gè)三維位置。
17.如權(quán)利要求16所述的程序產(chǎn)品，其中，該聲音檢測(cè)器是一個(gè)聲學(xué)照相機(jī)或電子控制邏輯。
18.如權(quán)利要求16所述的程序產(chǎn)品，其中，該預(yù)先確定的標(biāo)記是以下各項(xiàng)中的一項(xiàng)或多項(xiàng):視覺(jué)圖像、動(dòng)畫(huà)片、字符表示、視頻、動(dòng)漫、全息圖、光束、動(dòng)畫(huà)、及其組合，用于相對(duì)于該第一參考聲音位置進(jìn)行投影。
19.如權(quán)利要求18所述的程序產(chǎn)品，其中，投影該預(yù)先確定的標(biāo)記進(jìn)一步包括根據(jù)一個(gè)或多個(gè)預(yù)先確定的時(shí)間相對(duì)于該第一參考聲音位置顯不該標(biāo)記。
20.如權(quán)利要求19所述的程序產(chǎn)品，其中，該預(yù)先確定的標(biāo)記通過(guò)相對(duì)于一個(gè)或多個(gè)檢測(cè)到的交互聲音顯示運(yùn)動(dòng)的出現(xiàn)來(lái)響應(yīng)地靠近該第一參考聲音位置進(jìn)行顯示。
21.如權(quán)利要求20所述的程序產(chǎn)品，其中，該預(yù)先確定的標(biāo)記是一個(gè)具有一個(gè)或多個(gè)擬人特征的圖像。
22.如權(quán)利要求16所述的程序產(chǎn)品，其中，該預(yù)先確定的標(biāo)記是基于可見(jiàn)的、可聽(tīng)的或可觸知的投影中的一種或多種，該投影以一個(gè)或多個(gè)預(yù)先確定的時(shí)間所定義的間隔靠近該第一參考聲音位置進(jìn)行投影。
23.一種用于相對(duì)于聲音環(huán)境的一個(gè)或多個(gè)預(yù)先確定的性能特征來(lái)確定參考聲源位置并且靠近該參考聲音位置顯示一個(gè)或多個(gè)圖像的系統(tǒng)，包括: 一個(gè)聲音檢測(cè)裝置，用于相對(duì)于一個(gè)或多個(gè)預(yù)先確定的性能特征檢測(cè)該聲音環(huán)境中的一個(gè)或多個(gè)聲音， 一個(gè)處理器，用于相對(duì)于該聲音環(huán)境的參考聲源位置處理所檢測(cè)到的聲音信息并且生成一個(gè)或多個(gè)圖像以靠近該參考聲源位置進(jìn)行顯示， 一個(gè)圖像顯示裝置，用于靠近該參考聲源位置顯示所生成的一個(gè)或多個(gè)圖像。
24.如權(quán)利要求23所述的系統(tǒng)，其中，這些預(yù)先確定的性能特征包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng):頻率范圍、分貝級(jí)別、音域范圍、響度范圍、定向位置、以及時(shí)段。
25.如權(quán)利要求24所述的系統(tǒng)，其中，該一個(gè)或多個(gè)圖像包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng):一個(gè)或多個(gè)視覺(jué)圖像、動(dòng)畫(huà)片、字符表示、視頻、動(dòng)漫、全息圖、光束、動(dòng)畫(huà)、多媒體、及其組合。
26.如權(quán)利要求25所述的系統(tǒng)，其中，該一個(gè)或多個(gè)圖像被顯示為一個(gè)時(shí)間函數(shù)并且該一個(gè)或多個(gè)圖像的一個(gè)或多個(gè)特征能夠與該聲音環(huán)境中所檢測(cè)到的一個(gè)或多個(gè)聲音進(jìn)行視覺(jué)交互。
27.如權(quán)利要求26所述的系統(tǒng),其中，該參考聲源位置是相對(duì)于該聲音環(huán)境的一個(gè)二維位置或一個(gè)三維位置之一。
28.如權(quán)利要求26所述的系統(tǒng)，其中，該聲音檢測(cè)裝置是一個(gè)聲學(xué)照相機(jī)并且該圖像顯示裝置是一個(gè)三維全息顯示系統(tǒng)。
29.如權(quán)利要求26所述的系統(tǒng)，其中，該聲源是一支樂(lè)隊(duì)，該環(huán)境是一個(gè)演唱會(huì)地點(diǎn)，該檢測(cè)裝置是一個(gè)聲學(xué)照相機(jī)，并且該一個(gè)或多個(gè)圖像包括動(dòng)畫(huà)。
30.如權(quán)利要求29所述的系統(tǒng)，其中，該動(dòng)畫(huà)包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng):天使的翅膀、全息圖、交互視頻、動(dòng)畫(huà)片、及名人圖像。
【文檔編號(hào)】G03B42/06GK104272183SQ201380022736
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2013年3月4日 優(yōu)先權(quán)日:2012年3月4日
【發(fā)明者】約翰·比蒂, 賈馬爾·索亞 申請(qǐng)人:約翰·比蒂