專利名稱：利用振幅值的聲音到觸覺效應(yīng)轉(zhuǎn)換系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
實施例一般指向一種設(shè)備，且更具體地，指向一種生成觸覺效應(yīng)的設(shè)備。
背景技術(shù)：
觸覺是一種通過向用戶應(yīng)用觸覺反饋效應(yīng)(即，“觸覺效應(yīng)”)，例如力、振動、以及運動，利用用戶觸摸感覺的觸覺壓力反饋技術(shù)。例如移動設(shè)備、觸摸屏設(shè)備、以及個人計算機的設(shè)備，可以被配置為產(chǎn)生觸覺效應(yīng)。通常，能夠產(chǎn)生觸覺效應(yīng)(例如致動器)的、到嵌入式硬件的調(diào)用能夠在設(shè)備的操作系統(tǒng)(“OS”)中被編程。這些調(diào)用指定插放(play)哪個觸覺效應(yīng)。例如，當(dāng)用戶通過使用，例如按鈕、觸屏、杠桿、操縱桿、滾輪、或其他一些控制與設(shè)備進行交互時，設(shè)備的OS會經(jīng)由控制電路發(fā)送播放命令給嵌入式硬件。該嵌入式硬件然后生成合適的觸覺效應(yīng)。這種設(shè)備還可以被配置為播放音頻數(shù)據(jù)，例如數(shù)字音頻信號。例如，這種設(shè)備可以包括配置為播放視頻數(shù)據(jù)的應(yīng)用程序，例如電影或視頻游戲，其包含音頻部分或音頻數(shù)據(jù)，例如歌曲。類似于觸覺，能夠產(chǎn)生音頻效應(yīng)(例如揚聲器)的、到另外的嵌入式硬件的調(diào)用能夠在設(shè)備的OS中被編程。因此，設(shè)備的OS能經(jīng)由控制電路發(fā)送播放命令給另外的嵌入式硬件，其中另外的嵌入式硬件接著生成適當(dāng)?shù)穆犛X效應(yīng)。

發(fā)明內(nèi)容
一個實施例指向一種將音頻信號轉(zhuǎn)換成一個或多個觸覺效應(yīng)的系統(tǒng)。該系統(tǒng)接收該音頻信號的數(shù)據(jù)幀。該系統(tǒng)進一步產(chǎn)生該數(shù)據(jù)幀的最大值。該系統(tǒng)基于該最大值進一步產(chǎn)生觸覺信號，其中該最大值定義該觸覺信號的振幅。該系統(tǒng)進一步發(fā)送該觸覺信號到致動器來產(chǎn)生一個或多個觸覺效應(yīng)。


更多的實施例、細節(jié)、優(yōu)點、以及修改將從下面優(yōu)選實施例的詳細描述中變得明白，其將結(jié)合附圖來考慮。圖I示出了根據(jù)本發(fā)明實施例的觸覺轉(zhuǎn)換系統(tǒng)的方框圖。圖2示出了根據(jù)本發(fā)明實施例的觸覺轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)圖。圖3示出了根據(jù)本發(fā)明實施例，由觸覺轉(zhuǎn)換系統(tǒng)執(zhí)行的功能(functionality)的流程圖。圖4示出了根據(jù)本發(fā)明實施例，被應(yīng)用來控制輸出值范圍的一線性轉(zhuǎn)換函數(shù)。圖5示出了根據(jù)本發(fā)明實施例，基于數(shù)字音頻信號產(chǎn)生的觸覺效應(yīng)的振幅的示例計算。圖6示出了根據(jù)本發(fā)明實施例，數(shù)字音頻信號的包絡(luò)的示例計算。圖7示出了根據(jù)本發(fā)明實施例,基于頻率含量(frequency content)的數(shù)字音頻信號的包絡(luò)的示例計算。圖8示出了根據(jù)本發(fā)明實施例，觸覺轉(zhuǎn)換模塊的功能性流程圖。
具體實施例方式一個實施例是能夠截取一個或多個幀音頻數(shù)據(jù)的觸覺轉(zhuǎn)換(conversion)系統(tǒng)，例如數(shù)字音頻信號，將一個或多個幀轉(zhuǎn)換為觸覺信號，并通過致動器播放該生成的觸覺信號來產(chǎn)生一個或多個觸覺效應(yīng)。該觸覺信號可以包括單獨控制參數(shù)。該觸覺信號可以應(yīng)用 于一種配置為接收單獨控制參數(shù)的類型的致動器，其中該致動器能夠利用單獨控制參數(shù)來產(chǎn)生一個或多個觸覺效應(yīng)。圖I示出了根據(jù)本發(fā)明實施例的觸覺轉(zhuǎn)換系統(tǒng)10的方框圖。在一個實施例中，系統(tǒng)10是移動設(shè)備的一部分，并且系統(tǒng)10為該移動設(shè)備提供觸覺轉(zhuǎn)換功能。盡管示出為一個單獨的系統(tǒng)，但系統(tǒng)10的功能性可以作為分布式系統(tǒng)來執(zhí)行。系統(tǒng)10包括總線12或用于通信信息的其他通信機制，以及耦合于總線12的用于處理信息的處理器22。處理器22可以是任何類型的通用或?qū)Ｓ媚康牡奶幚砥?。系統(tǒng)10進一步包括用于存儲信息和指令以被處理器22執(zhí)行的存儲器14。存儲器14可以包括隨機存取存儲器(“RAM”)、只讀存儲器(“ROM”)、靜態(tài)存儲器例如磁盤或光盤、或任何其他類型的計算機可讀介質(zhì)的任何組合。計算機可讀介質(zhì)可以是任何可獲得的介質(zhì)，其能被處理器22訪問并可以包括易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)、通信介質(zhì)，以及存儲介質(zhì)。通信介質(zhì)可以包括計算機可讀指令、數(shù)據(jù)指令、程序模塊或調(diào)制數(shù)據(jù)信號中的其他數(shù)據(jù)，例如載波或其他傳輸機制，并且可以包括本領(lǐng)域公知的任何其他形式的信息傳輸介質(zhì)。存儲介質(zhì)可以包括RAM、閃存、ROM、可擦除可編程只讀存儲器(“EPR0M”)、電可擦除可編程只讀存儲器(“EEPR0M”)、寄存器、硬盤、移動磁盤、光盤只讀存儲器(“⑶-ROM”)、或本領(lǐng)域公知的任何其他形式的存儲介質(zhì)。在實施例中，存儲器14存儲軟件模塊，其在被處理器22執(zhí)行時提供功能。在實施例中，該模塊包括為系統(tǒng)10提供操作系統(tǒng)功能性的操作系統(tǒng)15，以及移動設(shè)備的剩余部分。該模塊進一步包括觸覺轉(zhuǎn)換模塊16，將音頻信號轉(zhuǎn)換為用來產(chǎn)生一個或多個觸覺效應(yīng)的觸覺信號，下文將更詳細地描述。在某些實施例中，觸覺轉(zhuǎn)換模塊16包括多個模塊，其中每一個提供專用各個功能，用于將音頻信號轉(zhuǎn)換為用來產(chǎn)生一個或多個觸覺效應(yīng)的觸覺信號。系統(tǒng)10將典型地包括一個或多個另外的應(yīng)用模塊18以包括另外的其他的功能性，例如Immersion公司的MOTTV 觸覺開發(fā)平臺。在實施例中，系統(tǒng)10從遠程源發(fā)送和/或接收數(shù)據(jù)，其進一步包括例如網(wǎng)絡(luò)接口卡的通信設(shè)備20，以提供移動的無線網(wǎng)絡(luò)通信，例如紅外的、射頻的、Wi-Fi、蜂窩網(wǎng)絡(luò)、或其他下一代無線數(shù)據(jù)網(wǎng)絡(luò)通信。在其他實施例中，通信設(shè)備20提供一種有線的網(wǎng)絡(luò)連接，例如以太網(wǎng)連接或調(diào)制解調(diào)器。處理器22進一步經(jīng)由總線12耦合到顯示器24，例如液晶顯示器(“IXD”)，用于為用戶顯示圖形表示或用戶接口。顯示器24可以是一種觸摸敏感輸入設(shè)備，例如觸摸屏，其被配置為發(fā)送和接收來自處理器22的信號，并且可以是多觸摸的觸摸屏。系統(tǒng)10進一步包括一個或多個致動器26。處理器22可以傳送觸覺效應(yīng)相關(guān)的觸覺信號到致動器26，其進而輸出觸覺效應(yīng)。致動器26可以是，例如，電子馬達、電磁致動器、音圈、形狀記憶合金、電活性的聚合物、螺線管、質(zhì)量偏心旋轉(zhuǎn)電機(“ERM”)、線性諧振致動器(“LRA”)、壓電致動器、高帶寬致動器、電活性聚合物(“EAP”)致動器、靜電摩擦顯示器、或超聲波振動產(chǎn)生器。在一些實施例中，系統(tǒng)10進一步包括一個或多個揚聲器28。處理器22可以傳送音頻信號給揚聲器28，其進而輸出音頻效應(yīng)。揚聲器28可以是，例如，動態(tài)喇叭、電動喇叭、壓電揚聲器、磁致伸縮喇叭、靜電揚聲器、帶及平面磁喇叭、彎曲波喇叭、平板喇叭、海爾氣動式喇叭、等離子弧揚聲器、以及數(shù)字式音箱。圖2示出了根據(jù)本發(fā)明一實施例的一種觸覺轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)圖。在該示出的實施例中，觸覺轉(zhuǎn)換系統(tǒng)包括音頻軌道模塊210和揚聲器220。音頻軌道模塊210是用于設(shè)備(例如移動設(shè)備)的操作系統(tǒng)填塊，其配置為接收一個或多個脈沖編碼調(diào)制(“PCM”)音頻 緩沖，并使一個或多個PCM音頻緩沖流向揚聲器220，其中每個PCM音頻緩沖包括一個或多個PCM音頻數(shù)據(jù)幀。在一個實施例中，音頻軌道模塊210是用于移動設(shè)備的Android 操作系統(tǒng)的一種Android音頻軌道模塊。揚聲器220是一種配置為接收一個或多個PCM音頻緩沖并配置為輸出一個或多個音頻效應(yīng)的揚聲器。揚聲器220可以是,例如,動態(tài)喇機、電動喇叭、壓電揚聲器、磁致伸縮喇叭、靜電揚聲器、帶及平面磁喇叭、彎曲波喇叭、平板喇叭、帶狀空氣運動變頻器、等離子弧揚聲器、以及數(shù)字式音箱。根據(jù)該實施例，觸覺轉(zhuǎn)換系統(tǒng)還包括觸覺轉(zhuǎn)換模塊230。在某些實施例中，觸覺轉(zhuǎn)換模塊230和圖I中的觸覺轉(zhuǎn)換模塊16相同。在該示出的實施例中，觸覺轉(zhuǎn)換模塊230包括兩個模塊混響(reverb)模塊231和內(nèi)置揚聲器(boombox)模塊232。然而,這僅僅是一個示例性實施例，并且在可選實施例中，觸覺轉(zhuǎn)換模塊230可以包括任何數(shù)量的子模塊，或者觸覺轉(zhuǎn)換模塊230可以是單個模塊。根據(jù)實施例，混響模塊231配置為截取一個或多個由音頻軌道模塊210流向揚聲器220的音頻緩沖(buffer)?；祉懩K231進一步配置為發(fā)送每個音頻緩沖的每個音頻數(shù)據(jù)幀到內(nèi)置揚聲器模塊232。內(nèi)置揚聲器模塊232配置為分析每個音頻數(shù)據(jù)幀并為每個音頻數(shù)據(jù)幀計算最大值。由內(nèi)置揚聲器模塊232執(zhí)行對每個音頻數(shù)據(jù)幀的最大值計算，并關(guān)于圖4-7進一步更加詳細地描述。內(nèi)置揚聲器模塊232進一步配置為將每個音頻數(shù)據(jù)幀的最大值返回給混響模塊231。觸覺轉(zhuǎn)換系統(tǒng)還包括觸覺效應(yīng)播放模塊240和致動器250。觸覺效應(yīng)播放模塊240是嵌入在設(shè)備(例如移動設(shè)備)中的模塊，并被配置為通過發(fā)送一個或多個觸覺信號到致動器，而在致動器上播放一個或多個觸覺效應(yīng)。在一個實施例中，觸覺效應(yīng)播放模塊240是Immersion公司的TouchSense Player 致動器250是配置為接收一個或多個觸覺信號，并且為輸出一個或多個觸覺效應(yīng)的致動器。在某些實施例中，致動器250是配置為接收單獨控制參數(shù)(例如振幅參數(shù))的致動器，該單獨控制參數(shù)用于當(dāng)通過致動器播放時控制周期性效應(yīng)的振幅。致動器250可以是，例如電馬達、電磁致動器、音圈、形狀記憶合金、電活性聚合物、螺線管、ERM、或LRA。根據(jù)實施例，混響模塊231配置為利用由內(nèi)置揚聲器模塊232返回的音頻數(shù)據(jù)幀的最大值來生成觸覺信號，其中觸覺信號是一種周期性效應(yīng)，并且其中最大值定義該觸覺信號的振幅。在某些實施例中，該觸覺信號為在致動器250諧振頻率的周期性效應(yīng)。混響模塊231進一步配置為調(diào)用觸覺效應(yīng)播放模塊240的應(yīng)用程序接口( “API”)并將音頻數(shù)據(jù)幀的最大值作為API的參數(shù)發(fā)送到觸覺效應(yīng)播放模塊240。在某些實施例中，觸覺效應(yīng)播放模塊240的API是Immersion公司的TouchSense Player 的“播放周期性效應(yīng)” API。觸覺效應(yīng)播放模塊240的API發(fā)送該音頻數(shù)據(jù)幀的最大值到致動器250，其中該致動器250配置為基于該音頻數(shù)據(jù)幀的最大值播放適當(dāng)?shù)闹芷谛孕?yīng)。根據(jù)實施例，該音頻數(shù)據(jù)幀的最大值用作致動器250的振幅參數(shù)，并且致動器250的振幅參數(shù)的變化在致動器250內(nèi)播放適當(dāng)?shù)闹芷谛孕?yīng)。通過播放周期性效應(yīng)，致動器250產(chǎn)生觸覺效應(yīng)。圖3示出了根據(jù)本發(fā)明實施例，由觸覺轉(zhuǎn)換系統(tǒng)執(zhí)行的功能流程圖。在一個實施例中，圖3的功能以及圖8的功能，都是由存儲在存儲器或其他計算機可讀或有形介質(zhì)中的軟件來實施，并由處理器執(zhí)行。在其他實施例中，功能可以由硬件(例如，通過使用專用集成電路(“ASIC”)、可編程門陣列(“PGA”)、現(xiàn)場可編程門陣列(1 6么”)、等)，或硬件和軟件的任何組合來執(zhí)行。此外，在可選實施例中，該功能可以利用模擬元件由硬件來執(zhí)行。
根據(jù)實施例，觸覺轉(zhuǎn)換系統(tǒng)包括操作系統(tǒng)300，混響模塊301，以及內(nèi)置揚聲器模塊302。操作系統(tǒng)300是設(shè)備(例如移動設(shè)備)的操作系統(tǒng)。在例示的實施例中，操作系統(tǒng)300是用于移動設(shè)備的Android 操作系統(tǒng)。混響模塊301和內(nèi)置揚聲器模塊302是觸覺轉(zhuǎn)換模塊(例如圖I中的觸覺轉(zhuǎn)換模塊16)的子模塊。在某些實施例中，混響模塊301和內(nèi)置揚聲器模塊302分別與圖2中的混響模塊231和內(nèi)置揚聲器模塊232相同。根據(jù)實施例，在305，生成配置為產(chǎn)生音頻信號的應(yīng)用。該應(yīng)用是能夠在操作系統(tǒng)300內(nèi)部執(zhí)行的任何應(yīng)用。在例示的實施例中，該應(yīng)用是Android 應(yīng)用。流程進行到310。在310，由應(yīng)用生成“聲音池”對象，其中聲音池對象是聲音池API的一個實例(其是一種Android(S)API )，并且其中，聲音池對象為應(yīng)用程序管理并播放音頻資源。聲音池對象包括音頻樣本的采集，其能被從設(shè)備內(nèi)存儲的資源或者從設(shè)備的文件系統(tǒng)內(nèi)存儲的文件載入設(shè)備的存儲器中。該聲音池對象能將音頻樣本的采集解碼為原始16位PCM單聲道或立體聲緩沖。流程進行到315。在315，應(yīng)用生成其他音頻對象，其中其他音頻對象是其他音頻API的實例。其他音頻對象還能夠?qū)⒁纛l樣本解碼為16位PCM音頻緩沖。流程進行到320。在320，音頻軌道對象是由聲音池對象或其他音頻對象之一生成的。音頻軌道對象配置為接收一個或多個PCM音頻緩沖并流出一個或多個PCM音頻緩沖。流程進行到325。在325，生成混響對象。混響對象是混響模塊301的一個實例，其中混響對象配置為處理由音頻軌道對象發(fā)送的PCM音頻緩沖的一個或多個音頻數(shù)據(jù)幀，如之前關(guān)于圖2所描述的。流程進行到330。在330，混響對象的一個或多個設(shè)置被設(shè)定?；祉懺O(shè)置的例子包括激活/不激活觸覺轉(zhuǎn)換、激活/不激活用于媒體的觸覺轉(zhuǎn)換、從三個選項(例如，輕的、中度的、強的)中選擇觸覺轉(zhuǎn)換的強度，以及選擇為其激活觸覺轉(zhuǎn)換的一個或多個應(yīng)用(例如，從列表中)。在某些實施例中，上述設(shè)置以可擴展標(biāo)示語言(“XML”)文件被保存。上述設(shè)直能夠從XML文件中讀取并被保存在混響對象中，在那里混響對象能夠為某些應(yīng)用而激活，不為其他應(yīng)用所激活。在某些實施例中，三個值被標(biāo)識為強度、密度，以及銳度，是基于三個因素(I)強度設(shè)置(例如，輕的、中度的、強的)、(2)觸覺主題(將用戶接口事件映射到觸覺效應(yīng))、以及(3)致動器類型。強度、密度、和銳度值可以被生成并被保存在混響對象中。流程進行到335，在335，內(nèi)置揚聲器對象是由混響對象產(chǎn)生的。內(nèi)置揚聲器對象是內(nèi)置揚聲器模塊302的實例，其中該內(nèi)置揚聲器對象配置為從混響對象接收音頻數(shù)據(jù)幀，生成該音頻數(shù)據(jù)幀的最大值，并發(fā)送該音頻數(shù)據(jù)幀的最大值給混響模塊，如之前關(guān)于圖2所描述的。在某些實施例中，所生成并被保存在混響對象中的強度和密度值還可以被保存在內(nèi)置揚聲器對象中。流程進行到340。在340，混響對象將從音頻軌道對象接收的PCM音頻緩沖的音頻數(shù)據(jù)幀，發(fā)送到內(nèi)置揚聲器對象。流程進行到345。在345，內(nèi)置揚聲器對象采樣包含在音頻數(shù)據(jù)幀中的數(shù)據(jù)。關(guān)于圖4-7進一步更加詳細地描述這種采樣。流程進行到350。在350，內(nèi)置揚聲器對象將音頻數(shù)據(jù)幀中包含的數(shù)據(jù)轉(zhuǎn)變?yōu)閱蝹€電壓值(即，最大值)。這種轉(zhuǎn)變還進一步關(guān)于圖4-7更加詳細地描述。內(nèi)置揚聲器對象接著返回該單個電壓值給混響對象。流程進行到355。在355，混響對象在單個電壓值上執(zhí)行振幅過濾。這種振幅過濾還將關(guān)于圖4-7進一步更加詳細地描述。在某些實施例中，產(chǎn)生并被存儲在混響對象中的銳度值用于執(zhí)行單個電壓值上的振幅過濾。流程進行到360。在360，混響對象利用該單個電壓值在 致動器處播放周期性效應(yīng)。通過在致動器處播放該周期性效應(yīng)，混響對象使得該致動器產(chǎn)生觸覺效應(yīng)。如前所述，觸覺轉(zhuǎn)換模塊(例如圖I的觸覺轉(zhuǎn)換模塊16)處理包含在PCM音頻數(shù)據(jù)緩沖內(nèi)的音頻信號。同樣如前所述，音頻信號的處理包括采樣PCM音頻數(shù)據(jù)緩沖的每個音頻數(shù)據(jù)幀，為PCM音頻數(shù)據(jù)緩沖的每個音數(shù)據(jù)幀計算最大值，以及振幅過濾?，F(xiàn)在更加詳細地描述音頻信號的這種處理。根據(jù)某些實施例，音頻信號的包絡(luò)被首次提取?？梢岳迷家纛l信號或原始音頻信號的過濾版本的所有頻率來提取包絡(luò)。然而，包絡(luò)本身不具有和原始音頻信號相同的
頻率含量。在一個實施例中，音頻數(shù)據(jù)幀從音頻信號中得到。作為例子，音頻數(shù)據(jù)幀可以具有Ims的幀長。作為另一個例子，音頻數(shù)據(jù)幀可以具有IOms的幀長。Ims音頻數(shù)據(jù)幀捕獲頻率大于500Hz的包絡(luò)，但是較低的頻率未被捕獲，并且“泄漏”通過。IOms幀捕獲頻率大于50Hz的包絡(luò)等。在一個實施例中，巾貞中每個樣本的絕對值被計算。在一可選實施例中，計算幀中每個樣本的平方，而不是絕對值。這種處理構(gòu)成了觸覺轉(zhuǎn)換模塊(例如圖I的觸覺轉(zhuǎn)換模塊16)執(zhí)行的音頻數(shù)據(jù)幀的采樣。計算絕對樣本值(或可選實施例中的平方樣本值)的最大值“V/’。然后利用線性轉(zhuǎn)換函數(shù)轉(zhuǎn)換最大值如下面關(guān)于圖4描述的。圖4示出了根據(jù)本發(fā)明的實施例，用來控制輸出值范圍的一線性轉(zhuǎn)換功能。根據(jù)實施例，線性轉(zhuǎn)換函數(shù)400可以被用來控制輸出值I1 ”的范圍來獲取新的值“V2”，如圖4所示。根據(jù)示出的實施例，“X?！笨梢栽诮o定的范圍內(nèi)變化，例如[2. ..20]?！癤?！倍x將被轉(zhuǎn)換為新的值“V2”的最小值“V/’。“ymax”可以在給定的范圍內(nèi)變化，例如例子[60. . . 255]?！皔_”定義最大轉(zhuǎn)換值‘％”。如果“V/’小于或等于“X?！?，則輸出值“V2”等于O。如果“V/’大于“V’，則輸出值“V2”由“V/’乘以函數(shù)的斜率得到。“V2”是收緊的(clamp)并且不會大于”。在可選實施例中，還可以采用較為普遍的利用(X(l，y。)和(Xl，y_)的映射。這種處理構(gòu)成了由觸覺轉(zhuǎn)換模塊(例如圖I中的觸覺轉(zhuǎn)換模塊16)執(zhí)行的音頻數(shù)據(jù)幀的最大值計算。
因此，根據(jù)實施例，音頻信號的包絡(luò)被映射到觸覺信號的振幅，其中該觸覺信號的振幅被過濾。在可選實施例中，該音頻信號的包絡(luò)被首次過濾，并且接著該音頻信號的過濾包絡(luò)被映射到觸覺信號的振幅?，F(xiàn)在更詳細地描述由觸覺轉(zhuǎn)換模塊(例如圖I的觸覺轉(zhuǎn)換模塊)執(zhí)行的振幅過濾。觸覺效應(yīng)的振幅(或強度)“v3”是利用之前的值“v2”來計算的。在某些實施例中，“V3”可以被映射到一種頻率。在其他實施例中，“v3”可以被映射到一組頻率值。如果迭代“i”的“v2”小于迭代“i-1”的“v2”，那么輸出“v3”可以被設(shè)置為零或者其他一些小的值，否則輸出保持不變(“v3”=“v2”)。這種特殊的技術(shù)可以捕獲由表示觸覺事件的信號的峰值，并自動地關(guān)聯(lián)觸覺事件獨立的觸覺效應(yīng)。這種技術(shù)還可以被用來在下一個觸覺事件播放之前平息致動器，這樣就避免過度地給用戶太多的觸覺信息。在一可選實施例中，可以用到平滑衰減，而不是銳減到0，當(dāng)?shù)癷”的“v2”小于迭代“i-1”的“V，時。“銳度”參數(shù)的范圍從0%到100%，可以用來定義衰減的數(shù)量，將其應(yīng)用于“V2” V3 = V2X銳度/m，這里“m”是從I開始的整數(shù)，并且只要迭代“i”的“V2 ”小于迭代“i-1”的“V2 ”則遞增。根據(jù)實施例，當(dāng)?shù)癷”的“V2”大于或等于迭代“i-1”的“V2”，或換句話說，當(dāng)“V3” = “V，時， “m”被重置為I。在某些實施例中，在混響對象中生成并保存的銳度值被用作為銳度參數(shù)。圖5示出了根據(jù)本發(fā)明一實施例，基于數(shù)字音頻信號生成的一觸覺效應(yīng)振幅的示例計算500。圖5示出了在44100Hz采樣的音頻信號510，計算的最大值520用于20ms幀長，以及由振幅過濾獲得的脈沖530。根據(jù)實施例，脈沖530捕獲音頻信號510的包絡(luò)，并且因此，脈沖530可以通過一個或多個觸覺效應(yīng)將這個信息傳遞給用戶。圖6示出了根據(jù)本發(fā)明實施例的數(shù)字音頻信號的包絡(luò)的示例計算600。圖6示出了音頻信號610、通過低通過濾音頻信號610的絕對值而獲得的包絡(luò)620、以及計算在特定幀，在本例中為20ms的最大值絕對值的包絡(luò)值630。每個特定ms波期的幀都在頻率域中被處理。因此，在某些實施例中，幀的快速傅里葉變換(FFT)可以用來提取頻率含量。在其他實施例中，帶通過濾器可以用來提取頻率含量。在實施例中，幀信息可以劃分為低音或低頻率(例如，小于200Hz)，中頻(例如，介于240Hz和4000KHZ之間)，以及高頻(例如，大于4400KHz)，其中頻率含量和高頻率含量均利用信號的含量被提取。圖7示出了根據(jù)本發(fā)明實施例，基于頻率含量的數(shù)字音頻信號包絡(luò)的示例計算700。根據(jù)實施例，一旦音頻數(shù)據(jù)幀如前所述地被處理，則獲得最大值。實際上，三個最大值被獲得，一個用于低頻波段，一個用于中頻波段，一個用于高頻波段。如圖7中所示出的，圖表710表不未被處理的最大值(基于全部音頻信號)，圖表720表不對應(yīng)于音頻信號低頻范圍的最大值，圖表730表示對應(yīng)于音頻信號中頻范圍的最大值，以及圖表740表示對應(yīng)于音頻信號高頻范圍的最大值。根據(jù)實施例，當(dāng)信號開始被處理時，第一幀包含較多的中頻率含量(S卩，圖表730)，考慮到獲得的最大值大于低頻波段(S卩，圖表720)和高頻波段(S卩，圖表740)中的
頻率值。根據(jù)實施例，當(dāng)幀的含量頻率不同于之前幀的頻率含量時，播放觸覺效應(yīng)。如圖7中所示出的，觸覺效應(yīng)將在箭頭701-707指示的位置處被播放。
在可選實施例中，這類技術(shù)的變形可以包括在具有如下振幅的每個頻率變化處播放脈沖未被處理的幀的最大振幅；對應(yīng)于頻率波段的最大振幅；在TouchSense軟件中所允許的僅用于第一幀的最大振幅。在某些可選實施例中，如果接下來的幀具有相同的頻率含量，那么該未被處理幀的振幅可以被播放或已處理幀的振幅可以被播放；或恒定振動(可能是小的)只要幀具有相同的頻率含量就可以被播放；或者基于頻率波段中的功率含量來改變振幅。在某些可選實施例中，當(dāng)發(fā)現(xiàn)具有不同頻率含量的幀時可以播放不同的觸覺效應(yīng)。
此外，人類對于聲音的理解不是線性的，而是依賴于聲音的頻率。更特別地，人類對于低頻比對高頻更敏感。性別和年齡也影響理解。因此，在某些實施例中，可能存在增強特定頻率的補償因子。增強因子可以基于人類對聲音的理解或者甚至在一些頻率波段被人為提高時的用戶選擇。通常，軟件可以提高高頻率含量，其中已知用戶對聲音具有較低的敏感度。這將允許對于特定波段的觸覺效應(yīng)變得更強，并且因此提高雖然被用戶的聽覺系統(tǒng)所感知和注意到、但可能沒有足夠的功率的聲音。在某些實施例中，觸覺轉(zhuǎn)換系統(tǒng)的用戶可以定制聲音-觸覺效應(yīng)轉(zhuǎn)換算法。更特別地，用戶可以選擇是否利用低通過濾器、高通過濾器、或帶通過濾器來過濾數(shù)字音頻信號?？蛇x地，或除了定制過濾器類型，用戶可以指定過濾器參數(shù)而不是在預(yù)定參數(shù)之間選擇。根據(jù)這些實施例，觸覺轉(zhuǎn)換系統(tǒng)可以顯示圖形用戶接口內(nèi)的一個或多個用戶定義的參數(shù)。利用該圖形用戶接口，用戶可以接著從一個或多個用戶定義的參數(shù)中選擇或者指定一個或多個用戶定義的參數(shù)。例如，用戶可以從低通過濾器、帶通過濾器、高通過濾器中選擇聲音-觸覺效應(yīng)轉(zhuǎn)換算法中利用的過濾器類型。作為另一個示例，用戶能夠指定一個或多個截止頻率，其中代替250和500Hz之間的值，用戶可以指定任何值。仍然作為另一個示例，用戶可以指定聲音-觸覺效應(yīng)轉(zhuǎn)換算法中使用的增益。在某些實施例中，不使用系統(tǒng)定義的過濾器參數(shù)，而是觸覺轉(zhuǎn)換系統(tǒng)可以基于用戶定義的參數(shù)計算運行時的過濾器參數(shù)。更特別地，用戶可以選擇過濾器類型。例如，用戶可以選擇Butterworth設(shè)計、Bessel設(shè)計、或者Chebyshev設(shè)計，其中對于每個設(shè)計，用戶可以選擇低通過濾器、高通過濾器、帶通過濾器、或帶阻過濾器。如果用戶選擇Chebyshev設(shè)計，用戶還可以指定脈動(ripple)。用戶還可以指定過濾器順序以及采樣率。如果用戶選擇低通過濾器或高通過濾器，用戶還可以指定拐點頻率，并且如果用戶選擇帶通過濾器或帶阻過濾器，用戶還可以指定兩個拐點頻率。用戶還可以選擇可選的附加零值，以及可選的振幅比例下限。此外，用戶還可以選擇過濾器是否由雙線性變換方法設(shè)計，或由匹配的z變換方法設(shè)計。觸覺轉(zhuǎn)換系統(tǒng)能夠基于用戶指定的參數(shù)計算運行時的一個或多個過濾器參數(shù)。圖8示出了根據(jù)本發(fā)明實施例，觸覺轉(zhuǎn)換模塊(例如圖I的觸覺轉(zhuǎn)換模塊16)的功能性流程圖。在810，接收音頻信號的數(shù)據(jù)幀。在某些實施例中，當(dāng)音頻信號流向揚聲器時，音頻信號被截取。而且，在某些實施例中，音頻信號是PCM音頻緩沖。流程進行到820。在820，生成數(shù)據(jù)幀的最大值。在某些實施例中，通過采樣數(shù)據(jù)幀來產(chǎn)生數(shù)據(jù)幀的一個或多個樣本值以生成最大值，其中該最大值是一個或多個樣本值的最大值。在實施例中，該一個或多個樣本值是絕對值。在可選實施例中，該一個或多個樣本值是平方值。在某些實施例中，該最大值是利用線性轉(zhuǎn)換函數(shù)從原始的最大值特換的。流程進行到830。在830，基于該最大值產(chǎn)生觸覺信號。在某些實施例中，最大值定義該觸覺信號的振幅。同樣在某些實施例中，過濾該觸覺信號的振幅。另外，在某些過濾觸覺信號振幅的實施例中，銳度參數(shù)被用來定義應(yīng)用于該觸覺信號振幅衰減的量。流程進行到840。在840，觸覺信號通過致動器被發(fā)送以產(chǎn)生一個或多個觸覺效應(yīng)。在某些實施例中，觸覺信號是周期性的效應(yīng)。同樣，在某些實施例中，產(chǎn)生和發(fā)送該觸覺信號進一步包括將該最大值作為參數(shù)傳送給觸覺效應(yīng)播放模塊的應(yīng)用編程接口。因此，根據(jù)實施例，觸覺轉(zhuǎn)換系統(tǒng)截取作為音頻信號一部分的音頻數(shù)據(jù)幀，將該音頻數(shù)據(jù)幀轉(zhuǎn)換為觸覺信號，其中每個音頻數(shù)據(jù)幀的最大值定義該觸覺信號的振幅，并且通過致動器播放該被轉(zhuǎn)換的觸覺信號來產(chǎn)生觸覺效應(yīng)。基于定義觸覺信號振幅的最大值，通過致動器播放的觸覺信號的強度可以非常強，由此生成充分定義的觸覺效應(yīng)。
貫穿說明書描述的本發(fā)明的功能、結(jié)構(gòu)、或特征可以以任何適合的方式在一個或多個實施例中被組合。例如，使用“一個實施例，” “一些實施例，” “特定實施例，” “某些實施例”或其它類型的語言，貫穿說明書是指如下的事實，結(jié)合實施例描述的特定的功能、結(jié)構(gòu)、或特征可以被包括在本發(fā)明的至少一個實施例中。因此，出現(xiàn)的語句“一個實施例，i‘一些實施例，” “特定實施例，” “某些實施例”或其他類似的語言，貫穿本說明書不必都指代同一組實施例，并且描述的功能、結(jié)構(gòu)、或特征可以以任何適合的方式在一個或多個實施例中被組合。本領(lǐng)域普通技術(shù)人員容易理解，以上討論的本發(fā)明可以通過不同順序的步驟，和/或不同于那些已經(jīng)被公開的配置中的元件來實施。因此，盡管已經(jīng)基于這些優(yōu)選實施例描述了本發(fā)明，但是顯然對本領(lǐng)域技術(shù)人員而言某些修改、變化、以及可選的結(jié)構(gòu)是明顯的，同時仍在本發(fā)明的主旨和范圍之內(nèi)。因此，可以參考給出的附加的權(quán)利要求以便確定本發(fā)明的邊界和范圍。
權(quán)利要求
1.一種用于將音頻信號轉(zhuǎn)換為一個或多個觸覺效應(yīng)的方法，該方法包括 接收該音頻信號的數(shù)據(jù)幀； 產(chǎn)生該數(shù)據(jù)幀的最大值； 基于該最大值產(chǎn)生觸覺信號，其中該最大值定義該觸覺信號的振幅；以及 將該觸覺信號發(fā)送到致動器以產(chǎn)生一個或多個觸覺效應(yīng)。
2.如權(quán)利要求I的方法，其中該觸覺信號包括周期性效應(yīng)。
3.如權(quán)利要求I所述的方法，進一步包括采樣該數(shù)據(jù)幀以產(chǎn)生該數(shù)據(jù)幀的一個或多個樣本值，其中該最大值是該一個或多個樣本值的最大值。
4.如權(quán)利要求3所述的方法，其中該數(shù)據(jù)幀的一個或多個樣本值是絕對值。
5.如權(quán)利要求I所述的方法，其中利用線性轉(zhuǎn)換函數(shù)從原始的最大值轉(zhuǎn)換該最大值。
6.如權(quán)利要求I所述的方法，進一步包括過濾該觸覺信號的振幅。
7.如權(quán)利要求6所述的方法，其中銳度參數(shù)被用來定義要被應(yīng)用于該觸覺信號的該振幅的衰減量。
8.如權(quán)利要求I所述的方法，其中產(chǎn)生和發(fā)送該觸覺信號進一步包括傳送該最大值作為觸覺效應(yīng)執(zhí)行模塊的應(yīng)用編程接口的一個參數(shù)。
9.如權(quán)利要求I所述的方法，進一步包括利用該數(shù)據(jù)幀的快速傅里葉變換從該數(shù)據(jù)幀提取頻率含量。
10.如權(quán)利要求I所述的方法，進一步包括利用帶通過濾器從該數(shù)據(jù)幀提取頻率含量。
11.如權(quán)利要求I所述的方法，進一步包括 將該數(shù)據(jù)幀劃分為低頻率含量、中頻率含量、和高頻率含量；以及 利用該數(shù)字音頻信號的含量提取該中頻率含量和高頻率含量。
12.一種觸覺轉(zhuǎn)換系統(tǒng)，包括 用于接收該音頻信號的數(shù)據(jù)幀的裝置； 用于產(chǎn)生該數(shù)據(jù)幀的最大值的裝置，其中該最大值定義該觸覺信號的振幅； 用于基于該最大值產(chǎn)生觸覺信號的裝置；以及 用于將該觸覺信號發(fā)送到致動器以產(chǎn)生一個或多個觸覺效應(yīng)的裝置。
13.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，其中該觸覺信號包括周期性效應(yīng)。
14.如權(quán)利要求求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進一步包括用于采樣該數(shù)據(jù)幀以產(chǎn)生該數(shù)據(jù)幀的一個或多個樣本值的裝置，其中該最大值是該一個或多個樣本值的最大值。
15.如權(quán)利要求14所述的觸覺轉(zhuǎn)換系統(tǒng)，其中該數(shù)據(jù)幀的一個或多個樣本值是絕對值。
16.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，其中利用線性轉(zhuǎn)換函數(shù)從原始的最大值轉(zhuǎn)換該最大值。
17.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進一步包括用于利用該數(shù)據(jù)幀的快速傅里葉變換從該數(shù)據(jù)幀提取頻率含量的裝置。
18.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進一步包括用于利用帶通過濾器從該數(shù)據(jù)幀提取頻率含量的裝置。
19.如權(quán)利要求12所述的觸覺轉(zhuǎn)換系統(tǒng)，進一步包括 用于將該數(shù)據(jù)幀劃分為低頻率含量、中頻率含量、和高頻率含量的裝置；以及用于利用該數(shù)字音頻信號的含量提取該中頻率含量和高頻率含量的裝置。
20.一種具有存儲在其上的指令的計算機可讀介質(zhì)，當(dāng)由處理器執(zhí)行時，導(dǎo)致該處理器執(zhí)行根據(jù)前述權(quán)利要求1-11中的一項的方法。
21.一種觸覺轉(zhuǎn)換系統(tǒng)，包括 根據(jù)權(quán)利要求20的計算機可讀介質(zhì)； 處理器，耦合于該計算機可讀介質(zhì)，并配置為執(zhí)行該計算機可讀介質(zhì)；以及 致動器，配置為輸出一個或多個觸覺效應(yīng)?！?br> 全文摘要
本公開涉及利用振幅值的聲音到觸覺效應(yīng)轉(zhuǎn)換系統(tǒng)。提供一種觸覺轉(zhuǎn)換系統(tǒng)，其截取音頻數(shù)據(jù)的幀，例如數(shù)字音頻信號，將幀轉(zhuǎn)換為觸覺信號，并通過致動器播放該生成的觸覺信號來產(chǎn)生觸覺效應(yīng)。該觸覺信號基于每個音頻數(shù)據(jù)幀的最大值，其定義該觸覺信號的振幅。該觸覺信號被應(yīng)用到配置為接收該觸覺信號的致動器，其中該致動器利用該觸覺信號來產(chǎn)生一個或多個觸覺效應(yīng)。
文檔編號G10L21/06GK102750957SQ20121013117
公開日2012年10月24日 申請日期2012年2月10日 優(yōu)先權(quán)日2011年2月11日
發(fā)明者H·T·提蒙, J·H·F·勞, J·M·克魯茲-埃爾南德斯 申請人:英默森公司