專利名稱：使用觸覺反饋的聲音數(shù)據(jù)輸出和處理的制作方法
背景技術(shù)：
本發(fā)明涉及允許人與計算機(jī)系統(tǒng)連接的系統(tǒng)，更特別地，涉及用于在計算機(jī)聲音編輯和回放環(huán)境中為用戶提供觸覺反饋的方法。
計算機(jī)已成為音樂和其他有關(guān)音頻的數(shù)據(jù)創(chuàng)建和編輯過程中所普遍使用的工具?？梢允褂每捎玫木庉嬡浖?例如，來自Digidesign的ProTools和其他軟件)來容易地創(chuàng)建并/或處理表示音樂類型或其他類型的聽覺作品或記錄的數(shù)字?jǐn)?shù)據(jù)。音樂家可以回放聲音文件或聲音數(shù)據(jù)的任何部分，并可以使用這類軟件來拷貝、編輯或處理該數(shù)據(jù)的任何部分。圖形用戶界面中的圖形控件(例如，滑動器、旋鈕、按鈕、指針或光標(biāo)等)通常被顯示在計算機(jī)屏幕上。用戶可以操作計算機(jī)屏幕，以控制聲音數(shù)據(jù)回放和編輯。聲音數(shù)據(jù)的視覺表示通常被顯示為一幅或多幅“時間/振幅”的曲線圖，用戶可以將曲線圖定制為所需比例。一些更精致的系統(tǒng)提供硬件控制器(例如，轉(zhuǎn)輪)，該硬件控制器是以彈簧居中的旋鈕，用戶可以旋轉(zhuǎn)該旋鈕，以便前向或反向地回放聲音選段。
但是，當(dāng)代的計算機(jī)處理音樂領(lǐng)域中的挑戰(zhàn)之一是允許音樂家用有助于自然、本能的音樂作曲和編輯的方法和計算機(jī)關(guān)聯(lián)。編輯和作曲過程的大部分以人們涉及被用來控制計算機(jī)的這些物理界面的方式而存在。傳統(tǒng)上，音樂家已學(xué)會使用直接將物理操作與聲音產(chǎn)生(例如，鋼琴的動作或作為嘴唇振動的諧振器的喇叭)相結(jié)合的樂器。但是，這種類型的物理關(guān)系很難利用計算機(jī)來再現(xiàn)。在如今的大多數(shù)情況下，通過鍵盤和鼠標(biāo)或(在不太頻繁的情形中)專用硬件(例如，自定義開發(fā)的電子音樂控制器)來產(chǎn)生與計算機(jī)的這種交互作用。這些類型的界面是單向的，從而允許音樂家或其他用戶將物理輸入發(fā)送到該計算機(jī)，但它們沒有慮及物理反饋的接收。
當(dāng)前的聲音編輯系統(tǒng)要求音樂家在編輯聲音的同時使用輸入設(shè)備(例如，鍵盤和鼠標(biāo)、被動滾輪或被動操縱桿)。在這些情況下，音樂家必須依靠聽覺和視覺反饋。但是，音樂家或用戶經(jīng)常執(zhí)行要求精密度的重復(fù)的編輯任務(wù)(例如，瀏覽音樂或語言選擇，以找出找到將要被編輯或處理的特定區(qū)域)。這些標(biāo)準(zhǔn)輸入設(shè)備以及聽覺和視覺反饋在這類導(dǎo)航和編輯任務(wù)中有時可能會難以使用、效率低或不夠精確，從而使音樂家在創(chuàng)作過程中受挫。
發(fā)明概述本發(fā)明針對連同該音頻輸出一起輸出觸覺。觸覺與音頻輸出關(guān)聯(lián)，以允許用戶更加準(zhǔn)確、有效率地對聲音數(shù)據(jù)的回放和編輯進(jìn)行控制。
更具體地說，本發(fā)明的方法使觸覺與聲音數(shù)據(jù)相關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)。將聲音數(shù)據(jù)的至少一部分載入計算機(jī)的存儲器，并且，播放該聲音數(shù)據(jù)，以便生成并使用音頻信號，以從音頻設(shè)備輸出聲音。由用戶輸入來控制該聲音的這種播放，計算機(jī)從用戶那里接收用戶輸入，用于瀏覽該聲音數(shù)據(jù)。根據(jù)該聲音數(shù)據(jù)來生成觸覺命令，并且，由用戶操作的觸覺反饋設(shè)備使用這些觸覺命令，將觸覺輸出給用戶。這些觸覺對應(yīng)于該聲音數(shù)據(jù)的一個或多個特征，以協(xié)助用戶在瀏覽和編輯該聲音數(shù)據(jù)期間辨別聲音數(shù)據(jù)的特點(diǎn)。
較佳的是，用戶可以使用速率控制范例或位置控制范例，來控制聲音數(shù)據(jù)的這種播放的速度和/或方向。這些觸覺在聲音數(shù)據(jù)的該播放期間可以被連續(xù)不斷地輸出，并且這些觸覺的程度基于當(dāng)前正在播放的聲音數(shù)據(jù)的振幅；或者，只有當(dāng)播放具有預(yù)定特征的聲音數(shù)據(jù)的特點(diǎn)時，才能輸出這些觸覺。
一個實施例對聲音數(shù)據(jù)進(jìn)行預(yù)處理，以允許在向用戶播放該聲音數(shù)據(jù)時，輸出與該聲音數(shù)據(jù)關(guān)聯(lián)的這些觸覺。處理存儲器中的聲音數(shù)據(jù)，以找出具有一個或多個預(yù)定特征的聲音特點(diǎn)。當(dāng)發(fā)現(xiàn)聲音特征時，將標(biāo)記符存儲在標(biāo)記符清單中，在那里，標(biāo)記符指示聲音數(shù)據(jù)中的這個關(guān)聯(lián)的聲音特征的位置。該位置將要與至少一個觸覺相關(guān)聯(lián)，以使得在播放聲音數(shù)據(jù)并且在播放聲音數(shù)據(jù)期間達(dá)到該標(biāo)記符時，將這個關(guān)聯(lián)的觸覺輸出給用戶。
在另一個實時實施例中，將聲音數(shù)據(jù)的一部分存儲在二級緩沖器中，并且，處理聲音數(shù)據(jù)的這個部分，以便在播放聲音數(shù)據(jù)期間實時發(fā)現(xiàn)聲音數(shù)據(jù)中的這些特征。在這些實施例的任何一個中，計算機(jī)可以顯示該聲音數(shù)據(jù)的視覺表示和移動光標(biāo)，該移動光標(biāo)用于指示正在被播放的聲音數(shù)據(jù)的當(dāng)前部分。
本發(fā)明有利地允許用戶體驗與聲音輸出協(xié)調(diào)的觸覺反饋。例如，觸覺反饋可以被并入數(shù)字音頻編輯系統(tǒng)，以允許用戶感受到直接與該音頻數(shù)據(jù)的回放有關(guān)并與對該音頻數(shù)據(jù)所執(zhí)行的操作有關(guān)的觸覺。用戶可以瀏覽聲音數(shù)據(jù)，以找出該數(shù)據(jù)中的特殊點(diǎn)；并且，當(dāng)播放重要特點(diǎn)時，這些觸覺可以更好地通知用戶。這對用戶執(zhí)行導(dǎo)航任務(wù)和編輯任務(wù)有很大的幫助。這使用戶性能更好，使?jié)M意程度更高，并使用戶體驗有了全面的改進(jìn)。
通過閱讀本發(fā)明的以下說明書并研究制圖中的這幾幅附圖，精通該技術(shù)領(lǐng)域的人將會明白本發(fā)明的這些和其他的優(yōu)點(diǎn)。
附圖簡述

圖1是框圖，展示了一種系統(tǒng)，該系統(tǒng)用于對用戶提供利用觸覺反饋而有所增強(qiáng)的聲音數(shù)據(jù)處理能力；圖2是框圖，展示了圖1中的觸覺反饋系統(tǒng)的一個實施例，它包括與主計算機(jī)進(jìn)行通信的觸覺反饋接口設(shè)備；圖3是適用于本發(fā)明的觸覺反饋設(shè)備的鼠標(biāo)實施例的截面?zhèn)纫晥D；圖4是適用于本發(fā)明的接口設(shè)備12的另一個實施例150的透視圖；圖5是根據(jù)本發(fā)明用于預(yù)處理聲音數(shù)據(jù)的方法的流程圖；圖6是聲音波形以及與該聲音波形相關(guān)的觸覺的示意圖；圖7是流程圖，展示了根據(jù)本發(fā)明用于回放預(yù)處理的聲音數(shù)據(jù)和觸覺的過程；圖8是流程圖，展示了根據(jù)本發(fā)明依照聲音回放來輸出觸覺的實時回放過程；圖9a和9b是示意圖，分別展示基本時間內(nèi)的聲音波形和觸覺波形同直接輸出和反向輸出中連續(xù)觸覺輸出的振幅形式的比較；圖10是圖形用戶界面的示意圖，該圖形用戶界面可以允許用戶輸入?yún)?shù)選擇和設(shè)置并控制關(guān)于本發(fā)明的聲音回放；以及，圖11是另一種圖形用戶界面的示意圖，該圖形用戶界面可以允許用戶輸入關(guān)于本發(fā)明的參數(shù)選擇和設(shè)置。
較佳實施例的詳細(xì)說明圖1是框圖，展示了系統(tǒng)10，該系統(tǒng)用于對用戶提供利用觸覺反饋而有所增強(qiáng)的聲音數(shù)據(jù)處理能力。主計算機(jī)14運(yùn)行聲音數(shù)據(jù)處理應(yīng)用程序，該應(yīng)用程序允許用戶16通過將命令輸入到該主計算機(jī)來處理聲音數(shù)據(jù)15。為了輸入這些命令，用戶16可操作觸覺反饋接口設(shè)備12。觸覺反饋接口設(shè)備允許用戶輸入命令和數(shù)據(jù)，并且也為用戶提供動覺力反饋或觸覺反饋(在這里總稱作“觸覺反饋”)。通過使用馬達(dá)或其他類型的致動器，這些接口設(shè)備可以提供物理感覺。接觸該設(shè)備或操作該設(shè)備的用戶操作物的用戶對這些物理感覺有感受。例如，設(shè)備12可以是旋鈕、鼠標(biāo)、跟蹤球、操縱桿或用戶在所提供的自由度內(nèi)加以移動以便輸入方向、值、大小等的其他設(shè)備。用戶在物理上接觸設(shè)備12來提供輸入，同時，他或她也可以體驗由觸覺設(shè)備12輸出的觸覺。在本發(fā)明中，這些觸覺與在該主計算機(jī)的該應(yīng)用程序中產(chǎn)生的該編輯和其他聲音處理特點(diǎn)有關(guān)，并且允許用戶更容易地執(zhí)行這些處理任務(wù)和使用該聲音數(shù)據(jù)。
主計算機(jī)14也將信號輸出到音頻揚(yáng)聲器24，以允許用戶16聽取用戶已選擇播放的聲音數(shù)據(jù)。來自這些揚(yáng)聲器的聲音數(shù)據(jù)的輸出配合主計算機(jī)的視覺顯示和來自觸覺設(shè)備12的觸覺輸出，允許用戶更容易地體驗并注意該聲音數(shù)據(jù)中的特定的或預(yù)先選擇的事件。這樣，允許用戶通過利用除聽覺和視覺以外的觸覺從而更加容易地編輯聲音。
觸覺反饋設(shè)備可以處理輸入并輸出到計算機(jī)接口。這對于實時任務(wù)而言是很強(qiáng)大的，在這些實時任務(wù)中，迅速、有效率地進(jìn)行人的物理反應(yīng)是成功的關(guān)鍵。觸覺反饋接口可以提高用戶的效率和精確性，同時可減少實現(xiàn)計算機(jī)任務(wù)所要求的認(rèn)知負(fù)擔(dān)。這些類型的結(jié)果會大大有益于音樂創(chuàng)作和編輯，因為有效的音樂界面的關(guān)鍵特征之一是它允許用戶沉浸在音樂體驗中，而不會過度地意識到特殊的身體姿勢。本發(fā)明允許將不昂貴的觸覺設(shè)備并入計算機(jī)輔助的音樂和聲音編輯和創(chuàng)作。
圖2是框圖，展示了圖1中的觸覺反饋系統(tǒng)的一個實施例，該實施例包括與主計算機(jī)14進(jìn)行通信的觸覺反饋接口設(shè)備12。
主計算機(jī)14最好包括主機(jī)微處理器20、時鐘22、顯示屏幕26和音頻輸出設(shè)備24。該主計算機(jī)也包括其他眾所周知的部件，例如隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)和輸入/輸出(I/O)電路(未示出)。主計算機(jī)14是可以采取眾多各種形式的計算設(shè)備。例如，在所描述的實施例中，計算機(jī)14是個人計算機(jī)或工作站(例如，PC兼容計算機(jī)或Macintosh個人計算機(jī)、或Sun或Silicon Graphics工作站)。這類計算機(jī)14可以在WindowsTM、MacOSTM、Unix、MS-DOS或其他操作系統(tǒng)下進(jìn)行操作。作為選擇，主計算機(jī)14可以是通常被連接到電視機(jī)或其他顯示器的各種家庭視頻游戲控制臺系統(tǒng)之一(例如，任天堂、Sega、索尼公司或微軟公司提供的系統(tǒng))。在其他實施例中，主計算機(jī)系統(tǒng)14可以是“機(jī)頂盒”、“網(wǎng)絡(luò)計算機(jī)”或“因特網(wǎng)計算機(jī)”、便攜式計算機(jī)或游戲設(shè)備、消費(fèi)電子設(shè)備(立體聲部件等)、PDA等。
如果合適的話，主計算機(jī)14最好執(zhí)行用戶經(jīng)由設(shè)備12和其他外圍設(shè)備而與其連接的主機(jī)應(yīng)用程序。在本發(fā)明的上下文中，該主機(jī)應(yīng)用程序是數(shù)字音頻編輯程序，以下將對其進(jìn)行更詳細(xì)的描述。也可以使用其他利用設(shè)備12的輸入并將觸覺反饋命令輸出到設(shè)備12的應(yīng)用程序。該主機(jī)應(yīng)用程序最好利用圖形用戶界面(GUI)來向用戶呈現(xiàn)選項并從用戶那里接收輸入。這個應(yīng)用程序可以包括以下所描述的觸覺反饋功能性；或者，該觸覺反饋控制可以在運(yùn)行于該主計算機(jī)上的另一個程序(例如，驅(qū)動器或其他應(yīng)用程序)中加以執(zhí)行。這里，計算機(jī)14可以被稱作提供“圖形環(huán)境”，該“圖形環(huán)境”可以是圖形用戶界面、游戲、模擬或其他視覺環(huán)境。該計算機(jī)顯示“圖形對象”或“計算機(jī)對象”，它們不是物理對象，而是可以由計算機(jī)14在顯示屏幕26上顯示為圖像的數(shù)據(jù)和/或程序的邏輯軟件單元集合，這是精通該技術(shù)領(lǐng)域的人眾所周知的?？梢詮募永Ｄ醽喼莸氖ズ稳腎mmersion公司獲得使軟件與觸覺反饋設(shè)備連接的合適的驅(qū)動程序軟件。
顯示設(shè)備26可以被包括在主計算機(jī)系統(tǒng)14中，并可以是標(biāo)準(zhǔn)顯示屏幕(LCD、CRT、平面控制板等)、3-D風(fēng)鏡、投影設(shè)備或任何其他的視覺輸出設(shè)備。顯示設(shè)備26顯示如操作系統(tǒng)應(yīng)用程序、模擬、游戲等所控制的圖像。音頻輸出設(shè)備24(例如，揚(yáng)聲器)將聲音輸出提供給用戶。在本發(fā)明的上下文中，其他有關(guān)音頻的設(shè)備也可以連接到主計算機(jī)，例如混頻器、放大器、專用硬件等。其他類型的外圍設(shè)備也可以連接到主機(jī)處理器20，如存儲設(shè)備(硬盤驅(qū)動器、CD ROM驅(qū)動器、軟盤驅(qū)動器等)、打印機(jī)和其他輸入與輸出設(shè)備。
接口設(shè)備12(例如，鼠標(biāo)、旋鈕、游戲墊、跟蹤球、操縱桿、遙控器等)通過雙向總線30連接到主計算機(jī)系統(tǒng)14。該雙向總線在主計算機(jī)系統(tǒng)14與該接口設(shè)備之間的任何一個方向上發(fā)送信號?？偩€30可以是串行接口總線(例如，RS232串行接口、RS-422、通用串行總線(USB)、MIDI或精通該技術(shù)領(lǐng)域的人眾所周知的其他協(xié)議)，也可以是并行總線或無線連接。一些接口也可以為設(shè)備12的這些致動器提供電源。
設(shè)備12可以包括本地處理器40。本地處理器40可以選擇性地被包括在設(shè)備12的外殼內(nèi)，以允許與該鼠標(biāo)的其他部件進(jìn)行有效率的通信。可以向處理器40提供軟件指令，以等待來自主計算機(jī)14的命令或請求，解碼該命令或請求，并且根據(jù)該命令或請求來處理/控制輸入信號和輸出信號。此外，通過讀取傳感器信號并根據(jù)那些傳感器信號、時間信號以及依照主機(jī)命令而加以選擇的存儲或中繼的指令來計算合適的力，處理器40可以獨(dú)立于主計算機(jī)14而進(jìn)行操作。適合用作本地處理器40的微處理器包括(例如)摩托羅拉公司生產(chǎn)的MC68HC711E9、Microchip生產(chǎn)的PIC16C74和英特爾公司生產(chǎn)的82930AX，以及諸如“Immersion Touchsense處理器”等更加精密復(fù)雜的力反饋處理器。處理器40可以包括一個微處理器芯片、多處理器和/或協(xié)處理器芯片，以及/或者數(shù)字信號處理器(DSP)性能。
根據(jù)主計算機(jī)14通過總線30所提供的指令，微處理器40可以從傳感器42接收信號，并可以將信號提供給致動器組件44。例如，在局部控制實施例中，主計算機(jī)14通過總線30將高級監(jiān)督命令提供給處理器40，并且，處理器40根據(jù)這些高級命令且獨(dú)立于主計算機(jī)14來解碼這些命令，并管理連接傳感器和致動器的低級別力控制回路。美國專利5,739,811和5,734,373(被包括于此，用作參考)中更加詳細(xì)地描述了這項操作。在該主機(jī)控制回路中，來自該主計算機(jī)的力命令指示該處理器輸出具有規(guī)定特征的力或力感覺。本地處理器40將位置和其他傳感器數(shù)據(jù)報告給主計算機(jī)，主計算機(jī)使用其來更新被執(zhí)行的程序。在該局部控制回路中，從處理器40提供致動器信號到致動器44，并且，從傳感器42和其他輸入設(shè)備48提供傳感器信號到處理器40。處理器40可以處理輸入的傳感器信號，以便通過遵循存儲的指令來確定合適的輸出致動器信號。這里，術(shù)語“觸覺”或“觸感”指的是為用戶提供感覺的這些致動器組件所輸出的單個力或一連串的力。
在其他實施例中，可以在本地向設(shè)備12提供其他較簡單的硬件，以提供如同處理器40的功能性。例如，可以使用硬件狀態(tài)機(jī)或包含固定邏輯的ASIC，以便將信號提供給致動器44并從傳感器42接收傳感器信號，并且，根據(jù)預(yù)定義的序列、算法或過程來輸出觸覺信號。
在一個不同的、主機(jī)控制的實施例中，主計算機(jī)14可以通過總線30來提供低級別力命令，這些力命令經(jīng)由處理器40而被直接傳送到致動器44。這樣，主計算機(jī)14直接控制并處理去往和來自設(shè)備12的所有信號。在這個簡單的主機(jī)控制實施例中，從主機(jī)到設(shè)備的信號可以命令致動器按預(yù)定義的頻率和大小來輸出力，或者，這個信號可以包括大小和/或方向，或者，它可以是指示應(yīng)隨時間的推移而加以應(yīng)用的所需力值的簡單命令。
本地存儲器52(例如，RAM和/或ROM)最好連接到設(shè)備12中的處理器40，以存儲處理器40的指令，并存儲臨時數(shù)據(jù)和其他數(shù)據(jù)。例如，力的配置(例如，可以由該處理器輸出的一連串被存儲的力值、或?qū)⒏鶕?jù)用戶對象的當(dāng)前位置輸出的力值查找表)可以被存儲在存儲器52中。此外，類似于主計算機(jī)14的系統(tǒng)時鐘，本地時鐘54可以連接到處理器40，以提供定時數(shù)據(jù)；例如，可能需要該定時數(shù)據(jù)來計算由致動器44輸出的力(例如，取決于計算出的速度或其他由時間決定的因素的力)。在使用USB通信接口的實施例中，可以作為選擇地從該USB信號中檢索關(guān)于處理器40的定時數(shù)據(jù)。
傳感器42感知該設(shè)備和/或一個或多個操作物或控制器的位置或運(yùn)動，并將信號(包括表示該位置或運(yùn)動的信息)提供給處理器40(或主機(jī)14)。適合用于檢測處理的傳感器包括數(shù)字光學(xué)編碼器、光學(xué)傳感器系統(tǒng)、線性光學(xué)編碼器、電位計、光學(xué)傳感器、速度傳感器、加速傳感器、應(yīng)變儀，或者，也可以使用其他類型的傳感器，并且可以提供相對傳感器或絕對傳感器?？梢允褂每蛇x的傳感器接口46，以便將傳感器信號轉(zhuǎn)換成可以由處理器40和/或主機(jī)14解釋的信號。
致動器44響應(yīng)于從處理器40和/或主計算機(jī)14接收的信號，將力傳送到設(shè)備12的外殼或一個或多個操作物60。致動器44可以是許多類型的致動器中的任何致動器，包括主動致動器(例如，DC馬達(dá)、音圈、氣動或水力致動器、加扭器、壓電致動器、動磁鐵致動器等)或被動致動器(例如，閘)。
致動器接口50可以選擇性地連接在致動器44與處理器40之間，以便將來自處理器40的信號轉(zhuǎn)換成適合驅(qū)動致動器44的信號。接口50可以包括功率放大器、開關(guān)、數(shù)?？刂破?DAC)、模數(shù)控制器(ADC)和其他部件，這是精通該技術(shù)領(lǐng)域的人眾所周知的。其他輸入設(shè)備48被包括在設(shè)備12中，并且在由用戶操作時，將輸入信號發(fā)送到處理器40或發(fā)送到主機(jī)14。這類輸入設(shè)備可以包括按鈕、滾輪、d-墊、刻度盤、開關(guān)、或其他控制器或機(jī)制。
電源56可以選擇性地包括在與致動器接口50和/或致動器44連接的設(shè)備12中，以便為致動器提供電力；或者，電源56可以作為單獨(dú)的部件來加以提供。作為選擇，可以從與設(shè)備12分開的電源提取動力，也可以通過總線30來接收動力。也可以由設(shè)備12來存儲和調(diào)節(jié)所接收的動力，這樣，當(dāng)需要該所接收的動力來驅(qū)動致動器44時，可以使用該動力，或者，可以按補(bǔ)充方式來使用該所接收的動力。一些實施例可以使用該設(shè)備中的動力存儲設(shè)備，以確?？梢詰?yīng)用峰值力(如包括于此、用作參考的第5,929,607號美國專利中所描述的)。作為選擇，這項技術(shù)可以被運(yùn)用在無線設(shè)備中，在這種情況下，使用電池電源來驅(qū)動這些觸覺致動器?？梢赃x擇性地包括安全開關(guān)58，以便出于安全原因而允許用戶停用致動器44。
致動器44輸出接口設(shè)備12的外殼和/或操作物60上的力。傳感器42可以感知該外殼或操作物60的位置或運(yùn)動。許多類型的接口或控制設(shè)備可以用于這里所描述的本發(fā)明。例如，這類接口設(shè)備可以包括觸覺反饋跟蹤球、操縱桿手柄、方向盤、旋鈕、手持遙控設(shè)備、電視游戲或計算機(jī)游戲的游戲墊控制器、觸針、手柄、轉(zhuǎn)輪、按鈕、便攜式電話、PDA、觸摸墊或其他可操作對象、表面或外殼。
圖3是適用于本發(fā)明的設(shè)備12的鼠標(biāo)實施例100的截面?zhèn)纫晥D。
鼠標(biāo)設(shè)備100包括外殼101、傳感系統(tǒng)102和致動器104。塑造外殼101，以便使其如同標(biāo)準(zhǔn)鼠標(biāo)那樣適合用戶的手形，同時，用戶按平面自由度來移動該鼠標(biāo)，并操作按鈕106。在許多不同的實施例中，可以提供其他的外殼形狀。
傳感器102按其平面自由度(例如，沿X軸和Y軸)來檢測該鼠標(biāo)的位置。在所述實施例中，傳感器102包括標(biāo)準(zhǔn)鼠標(biāo)球110，該標(biāo)準(zhǔn)鼠標(biāo)球用于將方向輸入提供給計算機(jī)系統(tǒng)。作為選擇，可以使用光學(xué)傳感器或其他類型的傳感器。
鼠標(biāo)設(shè)備100包括一個或多個致動器104，這些致動器用于將觸覺反饋(例如，觸覺)通知該鼠標(biāo)的用戶。在一個實施例中，該致動器連接到由該致動器移動的慣性質(zhì)量。該慣性質(zhì)量的運(yùn)動所引起的慣性力相對于該慣性質(zhì)量被應(yīng)用于鼠標(biāo)外殼，從而將觸覺反饋(例如，觸覺)傳達(dá)給正在接觸該外殼的鼠標(biāo)用戶。一些實施例允許該致動器使自身作為該慣性質(zhì)量而移動。第6,211,861號美國專利和第09/585,741號美國申請(都被包括于此，用作整體參考)中更加詳細(xì)地描述了這類實施例。其他類型的接口設(shè)備(例如，游戲墊、手持遙控器、便攜式電話、PDA等)可以包括這種致動器用于慣性觸覺。
其他類型的接口設(shè)備和致動器也可以用于本發(fā)明。例如，游戲墊、鼠標(biāo)或其他設(shè)備可以包括離心的旋轉(zhuǎn)質(zhì)量，該旋轉(zhuǎn)質(zhì)量連接到致動器的轉(zhuǎn)軸，以提供該設(shè)備的外殼或操作物上的慣性觸覺。其他類型的觸覺設(shè)備(例如，操縱桿、旋鈕、滾輪、游戲墊、方向盤、跟蹤球、鼠標(biāo)等)可以提供動覺力反饋，其中，按操作物的感知自由度來輸出力。例如，第6,100,874號和第6,166,723號美國專利(都被包括于此，用作整體參考)中揭示了動覺鼠標(biāo)觸覺設(shè)備的圖4是適用于本發(fā)明的接口設(shè)備12的另一個實施例150的透視圖。旋鈕設(shè)備150包括控制旋鈕152，該控制旋鈕由用戶來操作，以控制該電子設(shè)備或主計算機(jī)14的各種功能。例如，可以在與運(yùn)行如下所述的編輯軟件的主計算機(jī)14連接的單獨(dú)的外殼單元中提供該旋鈕設(shè)備，或者，可以在整個控制面板(包括與音頻編輯或如所需要的其他控制功能有關(guān)的其他控制器)中提供該旋鈕設(shè)備。主計算機(jī)14的顯示器26(或?qū)Ｓ糜谠撔o設(shè)備的顯示器)可以按以下所描述的那樣來顯示這些編輯控制器。
控制旋鈕152允許用戶直接操作本發(fā)明的各項功能和設(shè)置。旋鈕152可以是可由用戶使用的近似圓柱體的對象。在所述實施例中，如箭頭154所示，旋鈕152圍繞從該旋鈕延伸出來的軸(例如，軸A)、按單一的旋轉(zhuǎn)自由度來加以旋轉(zhuǎn)。用戶最好緊握或接觸旋鈕152的圓周表面156，并將它旋轉(zhuǎn)所需的量?？梢栽谔鎿Q實施例中提供多個旋鈕152，每個旋鈕提供不同的或類似的控制功能性。
另外，控制旋鈕152的一些實施例可以向用戶提供額外的控制功能性?？刂菩o152最好能夠沿軸A(或近似地平行于軸A)、按自由度來加以推和/或拉，并且，這個運(yùn)動由軸向開關(guān)或傳感器來感知。這為用戶提供了額外的方法，用于選擇功能或設(shè)置，而無須讓他或她放開旋鈕。例如，在一個實施例中，用戶可以使用旋鈕152的旋轉(zhuǎn)而在顯示器14上移動顯示光標(biāo)或其他指示符；當(dāng)該光標(biāo)已被移動到該顯示器上的所需設(shè)置或區(qū)域時，用戶可以推動旋鈕152，以選擇該所需設(shè)置。旋鈕152的推和/或拉功能性可以帶有彈力恢復(fù)偏向，或者可以這樣實現(xiàn)，以保留在被推或拉的位置，直到用戶主動將該旋鈕移動到新的位置為止。
在其他實施例中，用戶可能能夠在與旋轉(zhuǎn)軸A近似地垂直(正交)的平面中按一個或多個橫向或側(cè)向來移動旋鈕152。這個橫向運(yùn)動由箭頭158指示。例如，旋鈕152可以按所示的四個正交方向和四個對角線方向來進(jìn)行移動。旋鈕152的這個橫向運(yùn)動可以允許用戶選擇該受控設(shè)備的額外的設(shè)置或功能(例如，模式選擇、光標(biāo)定位、或者值或大小設(shè)置)。
最好至少在按旋鈕152的旋轉(zhuǎn)自由度為該旋鈕提供力反饋?？梢蕴峁┚哂羞B接到旋鈕152的軸桿的致動器160(例如，旋轉(zhuǎn)DC馬達(dá))。該致動器可以輸出力，以便為旋轉(zhuǎn)中的該旋鈕提供制動、彈力、阻尼、障礙或其他力感覺。用于讀取該旋鈕的旋轉(zhuǎn)位置的傳感器可以與該致動器結(jié)合，或者可以被單獨(dú)提供。作為選擇或作為附加，可以驅(qū)使該旋鈕的這些橫向和/或直線軸向運(yùn)動。第6,154,201號美國專利(被包括于此，用作參考)中更加詳細(xì)地描述了旋鈕硬件實施。第5,734,373號和第6,154,201號美國專利(被包括于此，用作整體參考)中描述了一些力感覺。
利用觸覺反饋的聲音數(shù)據(jù)輸出和處理本發(fā)明改善了通過使用由觸覺反饋接口設(shè)備輸出的觸覺來處理數(shù)字聲音數(shù)據(jù)(也被稱作“音頻數(shù)據(jù)”)這個過程中的用戶體驗。
圖5是本發(fā)明的一個預(yù)處理實施例200的流程圖。這個方法可以由應(yīng)用程序(例如，聲音作曲/編輯程序)來執(zhí)行，它是所描述的這個實施例中所使用的例子。作為選擇，可以使用正在與聲音作曲/編輯程序同時運(yùn)行的單獨(dú)的應(yīng)用程序或驅(qū)動程序來執(zhí)行該方法。其他類型的應(yīng)用程序也可以用于本發(fā)明。
該方法始于202處，并且，在步驟204中，讀入由用戶制定的任何設(shè)置。例如，用戶以前可能已將設(shè)置輸入圖形用戶界面中所顯示的各欄中；以下參照圖10和11來描述這種用戶界面的例子。這些設(shè)置允許用戶定制這些觸覺的感受以及它們與被播放或編輯的該聲音的關(guān)系。也可以用其他方法(例如，通過讀取數(shù)據(jù)庫的程序、經(jīng)由聯(lián)網(wǎng)的存儲設(shè)備等)來輸入用戶設(shè)置。
在下一個步驟206中，聲音文件或聲音數(shù)據(jù)的全部或部分，或包括在其他數(shù)據(jù)之中的聲音數(shù)據(jù)的文件被載入存儲器。如該技術(shù)領(lǐng)域中所眾所周知的，該聲音數(shù)據(jù)通常包括一連串單獨(dú)的數(shù)字聲音樣本，這些數(shù)字聲音樣本指示驅(qū)動器或其他I/O程序或設(shè)備如何從這些樣本中生成音頻信號。該聲音數(shù)據(jù)將由本發(fā)明的這種方法來進(jìn)行預(yù)處理，以便當(dāng)以后通過揚(yáng)聲器或其他音頻輸出設(shè)備來向用戶播放該聲音數(shù)據(jù)時，允許輸出觸覺。如果本發(fā)明的方法正在由該聲音編輯或回放程序以外的單獨(dú)程序執(zhí)行，那么，該單獨(dú)程序可以將該聲音數(shù)據(jù)載入存儲器，以進(jìn)行預(yù)處理。
在下一個步驟208中，對被載入存儲器的該聲音數(shù)據(jù)進(jìn)行預(yù)處理，以找出將與觸覺關(guān)聯(lián)的所需聲音特征。例如，該方法可以按該方式來檢查聲音文件，以便由回放設(shè)備(例如)按臨時序列或其他實施例中的其他序列來播放或輸出該聲音文件。
被搜索的所需聲音特征在不同的實施例中會有所不同，并且可能會受到步驟204中讀取的這些用戶設(shè)置的影響。在一個實施例中，該方法可以尋找該聲音數(shù)據(jù)中急劇的振幅上升。這在圖6的波形圖220中被加以圖示。該聲音數(shù)據(jù)表示聲音波形222，并可能具有對應(yīng)于該聲音中的簡短的或不連續(xù)的特點(diǎn)的聲音(例如，鼓聲或音樂中的其他打擊樂器聲)的矮峰值224。例如，第一個峰值224處的振幅上升可以是在步驟208中被加以搜索的特征。較佳的是，限制振幅上升閾值。例如，比該聲音波形的平均振幅更大的預(yù)定百分比可以是該閾值(例如，50％)。在步驟206中，可以預(yù)先為裝載在存儲器中的全部聲音數(shù)據(jù)計算該聲音數(shù)據(jù)的平均振幅。閾值的百分比可以是在步驟204中裝載的用戶設(shè)置，也可以是默認(rèn)值。
該方法也可以使用更加精細(xì)的方法(包括糾錯)，以便(例如)不將噪聲檢測為所需的聲音特征。例如，為了將特點(diǎn)識別為應(yīng)該被賦予觸覺的聲音數(shù)據(jù)中的峰值，在上升之后，該方法可以要求該聲音波形下降關(guān)于該特點(diǎn)的聲音數(shù)據(jù)中的那個點(diǎn)處的平均值以下的某個百分比，以便登記為該聲音數(shù)據(jù)中的峰值。如果該波形沒有這個下降，那么，所發(fā)現(xiàn)的該振幅下降可以被認(rèn)為是假下降(例如，噪聲)，因此以后在該波形中可能會發(fā)生真的振幅下降。這個檢驗減少了在只有曾引起較小的振幅下降的一個所需峰值時可能錯誤地發(fā)現(xiàn)多個峰值的可能性。
可以采取其他糾錯措施，以防止一些聲音特點(diǎn)被當(dāng)作所需的觸覺特點(diǎn)過度計數(shù)。例如，如果該方法遇到聲音數(shù)據(jù)中的峰值，則該方法可以檢查在聲音數(shù)據(jù)中最早發(fā)現(xiàn)的聲音峰值。如果該當(dāng)前發(fā)現(xiàn)的峰值沒有與該先前峰值隔開預(yù)定的最小數(shù)量的時間間隔，那么，當(dāng)前峰值不應(yīng)該被計數(shù)為所需的觸覺聲音特征。這樣，可防止將觸覺賦予聲音特征，這些聲音特征在回放期間時間上太接近，以致用戶無法區(qū)別它們；因此，節(jié)省了處理時間。在其他實施例中可以進(jìn)行當(dāng)前的聲音特征與以前發(fā)現(xiàn)的特征之間的其他比較，以確定是否可以將該當(dāng)前特征賦予觸覺。也可以搜索聲音數(shù)據(jù)中的其他特征，例如振蕩的預(yù)定數(shù)量、高度的預(yù)定百分比的下降等。
一旦已在該聲音數(shù)據(jù)中發(fā)現(xiàn)聲音特征，在下一個步驟210中，就將標(biāo)記符加入指示這個所發(fā)現(xiàn)的聲音特征的位置的標(biāo)記符運(yùn)行清單。標(biāo)記符可以只是指示聲音特征在該處開始的聲音樣本的號碼(例如，從聲音數(shù)據(jù)的開端加以參考)的數(shù)字，或者可以位于該特征的某個其他標(biāo)準(zhǔn)位置。例如，標(biāo)記符由圖6中峰值224的開端處的虛線226來表示；虛線226位置處的聲音樣本的這個標(biāo)識號(或其他標(biāo)識符)可以被存儲在標(biāo)記符清單中。
標(biāo)記符清單包括在本方法的先前迭代中發(fā)現(xiàn)的對應(yīng)于觸覺的所有這些所需的聲音特征；例如，如果執(zhí)行順序處理，則較早地在該聲音數(shù)據(jù)流中產(chǎn)生關(guān)于觸覺關(guān)聯(lián)的特征。該清單被加以組織，以便在回放期間，該清單中的聲音樣本可以容易地與當(dāng)前正在播放的聲音樣本進(jìn)行比較。
一些實施例可以只提供清單中的標(biāo)記符，并且，所有這些標(biāo)記符與標(biāo)準(zhǔn)觸覺(例如，制動)關(guān)聯(lián)。這樣，只要在回放期間達(dá)到標(biāo)記符，制動就將被輸出給用戶。在其他更加復(fù)雜的實施例中，根據(jù)所發(fā)現(xiàn)的聲音特征的類型或特征，每個標(biāo)記符可以與一種類型的觸覺關(guān)聯(lián)。例如，可以將該關(guān)聯(lián)的觸覺的標(biāo)志(它的類型和/或參數(shù))存儲在具有每個標(biāo)記符的標(biāo)記符清單中。在其他實施例中，可以將標(biāo)記符放置在每個聲音樣本或每幾個聲音樣本處，并且，聯(lián)合每個標(biāo)記符來計算力值，使其與那個樣本處的聲音振幅成比例。這允許觸覺輸出連續(xù)不斷地與聲音數(shù)據(jù)的振幅相匹配。但是，在如以下參照圖8而描述的實時處理實施例中，可以更好地執(zhí)行這類連續(xù)的匹配。
在下一個步驟212中，檢驗是否已達(dá)到聲音文件或聲音數(shù)據(jù)的末端，以及是否不再有數(shù)據(jù)需要進(jìn)行預(yù)處理。如果不是這樣，那么，該方法返回到步驟208，以便進(jìn)一步對該聲音數(shù)據(jù)進(jìn)行預(yù)處理，直到發(fā)現(xiàn)另一個所需的聲音特征為止。如果沒有更多的聲音數(shù)據(jù)需要進(jìn)行預(yù)處理，那么，該方法在214處完成。
圖7是流程圖，展示了根據(jù)本發(fā)明用于回放預(yù)處理的聲音數(shù)據(jù)和觸覺的方法250。在這個方法中，假設(shè)用戶或應(yīng)用程序正在經(jīng)由揚(yáng)聲器或其他音頻設(shè)備而將聲音輸出給用戶。在一個實施例(本范例方法主要與其有關(guān))中，該應(yīng)用程序是音樂作曲/編輯程序，該程序允許用戶根據(jù)經(jīng)由觸覺設(shè)備12而來自用戶的輸入來回放音樂。例如，通過在一個方向上轉(zhuǎn)動該旋鈕來向前播放該聲音，并通過在相反的方向上轉(zhuǎn)動該旋鈕來向后播放該聲音，用戶可以操作旋鈕設(shè)備，以回放聲音?；蛘?，用戶可以使用鼠標(biāo)、操縱桿或其他設(shè)備。用戶經(jīng)常執(zhí)行這種向前和向后的回放，以收聽用戶剛剛使用該應(yīng)用程序來加以編輯或作曲的聲音樣本，并且，也可以使用這個特點(diǎn)，將光標(biāo)放置在該聲音數(shù)據(jù)流中的所需位置處，用于進(jìn)一步編輯該聲音數(shù)據(jù)。
該方法始于252處，并且，在步驟254中，該方法檢驗是否啟動或繼續(xù)聲音回放。如果否，則該方法在256處完成。如果是，那么，在步驟258中，可以接收用戶輸入(例如，用戶將該觸覺設(shè)備的旋鈕或其他操作物轉(zhuǎn)動到新的位置)。或者，用戶可能沒有提供新的輸入。在步驟260中，按用戶所指示的方向——向前或向后，通過揚(yáng)聲器來播放該聲音數(shù)據(jù)。該方向可以對應(yīng)于旋鈕的旋轉(zhuǎn)方向、鼠標(biāo)或操縱桿或轉(zhuǎn)輪的運(yùn)動方向等。
一些實施例可以提供速率控制模式——其中，用戶可以控制該聲音回放速度。回放速率基于來自參照位置的操作物或?qū)ο蟮漠?dāng)前位置。例如，在旋鈕實施例中，用戶從起點(diǎn)靜止位置旋轉(zhuǎn)該旋鈕越多，該聲音回放速度就越大。在一些實施例中，用戶也在該旋鈕上施加彈性阻力，以協(xié)助這種速率控制。其他實施例可以提供位置控制模式——其中，僅當(dāng)用戶操作物正在移動時，才播放音樂，并且，其中，特定的移動量對應(yīng)于音樂回放的特定數(shù)量或持續(xù)時間。例如，在位置控制模式中，用戶可以連續(xù)不斷地按順時針方向旋轉(zhuǎn)旋鈕，以繼續(xù)收聽音樂回放，并且，可以調(diào)整那個旋轉(zhuǎn)的速度，以調(diào)整回放速度。當(dāng)用戶停止旋轉(zhuǎn)該旋鈕時，聲音回放停止。該模式也可以確定輸出什么觸覺；例如，基于時間的彈出或震搖可能在速率控制模式中是合適的，而在位置控制模式中，可以輸出基于位置的制動或彈力。
在下一個步驟262中，如果已達(dá)到聲音數(shù)據(jù)中的標(biāo)記符，則該方法播放觸覺效果。這些標(biāo)記符最好曾根據(jù)圖5中的預(yù)處理而被放置在清單中，并且，每個標(biāo)記符具有該聲音數(shù)據(jù)中的關(guān)聯(lián)的聲音樣本或位置。如果在回放期間達(dá)到那個聲音樣本或位置，那么，命令輸出與那個標(biāo)記符關(guān)聯(lián)的該觸覺效果。例如，如圖6所示，觸覺由線路228指定。當(dāng)在回放期間達(dá)到標(biāo)記符226時，輸出該關(guān)聯(lián)的觸覺，這是本例中的力制動，由線路228中的傾斜230指示。如上所述，一些實施例可以存儲具有已被達(dá)到的特定標(biāo)記符的一種類型的觸覺，從而允許輸出各種不同的觸覺。
這樣，在輸出關(guān)聯(lián)的聲音特點(diǎn)的同時，觸覺設(shè)備立即將觸覺輸出給用戶。例如，配合力脈沖或震搖從該觸覺設(shè)備到用戶的輸出，同時輸出鼓點(diǎn)。然后，該方法返回到步驟254，以檢驗是否繼續(xù)回放；如果是，則當(dāng)按類似方式達(dá)到標(biāo)記符時，播放該聲音，并播放觸覺效果。
一些實施例可以根據(jù)其他因素(例如，用戶輸入)來改變這些輸出觸覺。例如，這些觸覺可能基于用戶所控制的聲音回放速度。在一個實施例中，這些制動或其他觸覺的程度可以與回放速度直接成正比，或者可以基于和預(yù)定的閾值速度有關(guān)的當(dāng)前回放速度。
除了音樂以外，還可以回放諸如語言等其他聲音(例如，只是音頻或電影中的對話)。這樣，觸覺可以基于聲音數(shù)據(jù)中的語言屬性。一些程序可以劃分語言屬性(例如，句子之間或內(nèi)部的停頓、或句子和單詞內(nèi)的措詞)，以允許用戶編輯表示語言輸出的聲音數(shù)據(jù)。
這樣，本發(fā)明提供了與聲音數(shù)據(jù)中的特點(diǎn)輸出相關(guān)的觸覺。用戶可以瀏覽聲音數(shù)據(jù)，以找出該串行數(shù)據(jù)中的特殊點(diǎn)，并且，當(dāng)諸如峰值等重要的特點(diǎn)被滾動或被定位在由該應(yīng)用程序提供的光標(biāo)或指針處時，這些觸覺可以更好地通知用戶。這在導(dǎo)航和編輯任務(wù)中對用戶的幫助很大。
圖8是流程圖，展示了根據(jù)本發(fā)明依照聲音回放來輸出觸覺的實時回放過程300。與圖5和圖7中的這些方法(其中，在實際的聲音回放之前，為將要被映射到觸覺的特征而對聲音數(shù)據(jù)進(jìn)行預(yù)處理)相比，在本方法中，在回放期間處理該聲音數(shù)據(jù)，從而節(jié)省了任何預(yù)處理時間和計算。
該方法始于302處，并且，在步驟303中，聲音數(shù)據(jù)被載入存儲器(主緩沖器)。如上所述，這可以是待播放的聲音文件，也可以是包括待播放的其他數(shù)據(jù)(例如，視覺數(shù)據(jù))之中的聲音數(shù)據(jù)的文件。在步驟304中，該方法檢驗是否啟動或繼續(xù)聲音回放。如果否，則該方法在306處完成。如果是，那么，在步驟308中，類似于關(guān)于圖7的以上所述內(nèi)容，可以接收用戶輸入(例如，用戶將該觸覺設(shè)備的旋鈕或其他操作物轉(zhuǎn)動到新的位置)。在步驟310中，類似于圖7中的方法所述的內(nèi)容，在用戶所指示的那個方向上、通過這些揚(yáng)聲器來播放該聲音數(shù)據(jù)。可以使用速率控制模式、位置控制模式或其他控制方案。對于回放，回放程序(例如，音樂編輯程序)可以提供“回放指針”，該“回放指針”指示正在被播放的當(dāng)前聲音樣本或接下來將播放該聲音數(shù)據(jù)中的哪個樣本，其中，當(dāng)輸出這些聲音樣本時，該指針只是沿它們而移動。
在下一個步驟312中，該回放指針附近的聲音數(shù)據(jù)的一部分被存儲在二級緩沖器中。例如，這可以是將直接在該回放指針的當(dāng)前位置后面被播放的預(yù)定量的聲音數(shù)據(jù)(例如，相當(dāng)于100毫秒的聲音)。在步驟314中，為聲音特征而處理和分析該二級聲音緩沖器中的數(shù)據(jù)。這個步驟可以類似于圖5中的處理步驟208，其中，發(fā)現(xiàn)該聲音數(shù)據(jù)中的特點(diǎn)，這些特點(diǎn)需要與觸覺關(guān)聯(lián)。例如，可以檢查振幅的上升和/或下降?？梢允褂盟羞@些用戶參數(shù)選擇或設(shè)置，以幫助確定是否存在將要被映射到觸覺的聲音特征，以及將要被映射的特定觸覺。在其他實施例(例如，在觸覺大小連續(xù)不斷地遵循聲音振幅的情況下(見圖9a和圖9b))中，可能不需要發(fā)現(xiàn)該聲音的特殊特點(diǎn)。
在下一個步驟316中，觸覺效果被發(fā)送到該觸覺設(shè)備，以便根據(jù)在步驟314中發(fā)現(xiàn)的聲音特征來對其進(jìn)行播放。例如，如果已發(fā)現(xiàn)聲音振幅上升，則可以輸出制動感覺，類似于仿佛該方法發(fā)現(xiàn)了圖7的預(yù)處理方法中的標(biāo)記符。作為選擇，可以輸出其程度連續(xù)不斷地基于聲音振幅的觸覺。例如，圖9a是示意圖，用“基本時間/振幅”的形式展示了兩個波形330和332。波形330展示聲音數(shù)據(jù)隨時間推移的聲音振幅。在本實時處理實施例中，該方法可以計算由波形332表示的關(guān)于觸覺的振幅，該振幅連續(xù)不斷地與二級緩沖器中的聲音數(shù)據(jù)的聲音振幅成比例。例如，可以在操作物(例如，旋鈕)上輸出阻力——在那里，該阻力大小對應(yīng)于當(dāng)前聲音振幅，并隨該聲音振幅而變化。在圖9b中，類似地示出聲音波形振幅330，但觸覺振幅336可以連續(xù)不斷地進(jìn)行與聲音振幅相反的變化，以便為用戶提供不同的觸覺體驗。也可以使用其他連續(xù)的觸覺映射或聲音特征觸覺映射。
較佳的是，在已發(fā)現(xiàn)該聲音特征、映射并命令輸出觸覺之后，近似地在由揚(yáng)聲器播放對應(yīng)于這些觸覺的聲音樣本的時間，用戶將感受到這些觸覺。一旦為這些發(fā)現(xiàn)的聲音特征而播放觸覺效果，該方法就返回到步驟304，以檢驗是否繼續(xù)聲音回放。
圖10是圖形用戶界面400的示意圖，該圖形用戶界面可以允許用戶輸入關(guān)于本發(fā)明的參數(shù)選擇和設(shè)置，以及用簡單的方法來控制聲音回放，以便測試用戶設(shè)置。例如，這些設(shè)置可以被包含在應(yīng)用程序(例如，聲音/音樂編輯程序)中，或者可以用于單獨(dú)的測試程序中。
聲音控制參數(shù)402可以包括聲音文件欄404，它允許用戶選擇要回放的所需聲音文件(該文件包括將與觸覺相關(guān)的該聲音數(shù)據(jù))。該聲音文件可以完全被載入存儲器，并且，在一些實施例中，該文件反向的版本可以被載入第二個緩沖器，以允許進(jìn)行反向回放。狀態(tài)欄406可以顯示該程序的當(dāng)前狀態(tài)(例如，打開文件、處理聲音數(shù)據(jù)、為反向回放而創(chuàng)建反向緩沖器等)?；胤耪{(diào)整欄408允許用戶輸入值，以便定制聲音數(shù)據(jù)的回放；并且，回放調(diào)整欄408包括頻率欄，用于調(diào)整該回放速度(其中，最初可以自動設(shè)置關(guān)于那個文件的標(biāo)準(zhǔn)回放頻率)；平衡欄，用于調(diào)整左、右揚(yáng)聲器之間的回放平衡；以及音量欄，用于調(diào)整該聲音的輸出振幅。也可以使用滑動條410來輸入這些用戶設(shè)置。環(huán)繞音箱412允許用戶選擇當(dāng)達(dá)到該聲音文件中的該數(shù)據(jù)的末端時，該聲音文件是將重復(fù)回放，還是停止。按鈕414允許用戶開始、停止或暫停該聲音文件的回放。
處理參數(shù)420允許用戶調(diào)整這些參數(shù)，這些參數(shù)可影響根據(jù)聲音數(shù)據(jù)來生成這些觸覺的方式。如以上所解釋的，與平均聲音水平相比較，可以使用峰值閾值參數(shù)422來指定聲音信號中的上升量，這將會觸發(fā)觸覺事件。該參數(shù)可以被指定為平均聲音振幅的百分比，例如，平均振幅的50％或更大的上升將會是很顯著的上升，它足以允許使觸覺與那個上升相關(guān)聯(lián)。峰值重置參數(shù)424允許用戶規(guī)定聲音振幅的百分比下降(與該平均聲音振幅相比較)，在檢測到上升之后，聲音振幅的這個百分比下降將被認(rèn)為很重要，它足以成為聲音振幅中的峰值并保證觸覺，并且足以防止發(fā)現(xiàn)如上所述的多個假峰值。最小節(jié)拍時間間隔參數(shù)426是另一個錯誤檢驗參數(shù)，它允許用戶為待計數(shù)的第二個峰值規(guī)定時間間隔(例如，用毫秒表示)，該時間間隔是如上所述必須存在于兩個峰值之間的最小數(shù)量的時間間隔；否則，第二個峰值被認(rèn)為是由噪聲引起的假峰值。窗口大小參數(shù)428允許用戶規(guī)定該窗口大小(使用聲音樣本的數(shù)目)，這定義了在對聲音數(shù)據(jù)振幅計算平均值的過程中所使用的分辨率；該方法可以對每個窗口中的這些樣本計算平均值，然后對所有這些窗口一起計算平均值，以找出平均聲音振幅。
設(shè)備選擇430允許用戶選擇該系統(tǒng)中當(dāng)前正在使用何種類型的觸覺設(shè)備12，以及將通過哪個觸覺設(shè)備來輸出這些觸覺。不同的設(shè)備可能會要求不同的命令，以輸出這些觸覺。具有位置控制器或速率控制器的旋鈕設(shè)備、觸覺反饋鼠標(biāo)和動覺反饋鼠標(biāo)被作為選項展示，但可以使用任何觸覺設(shè)備。鼠標(biāo)控制欄432允許用戶使用鼠標(biāo)光標(biāo)來控制該聲音回放，并且可以被用來測試如用戶的參數(shù)選擇和設(shè)置所修改的聲音回放和觸覺輸出。例如，梭子欄436允許用戶在梭子欄內(nèi)移動光標(biāo)，以便按位置控制模式來回放該聲音文件。當(dāng)光標(biāo)在梭子欄436中向左或向右移動，并且按下按鈕時，與此同時，按與該光標(biāo)的速度成比例的速率來回放音樂；向右移動會引起前向回放，向左移動會引起反向回放。滾動欄434允許用戶在該欄內(nèi)移動光標(biāo)，以便按速率控制模式來回放該聲音文件。用戶放置或移動該光標(biāo)，以影響該回放方向和速率。該光標(biāo)在欄434的該中點(diǎn)的右邊的位置會引起按某個速率的前向回放，該速率跟光標(biāo)與中點(diǎn)之間的距離成比例；光標(biāo)在中點(diǎn)的左邊的位置會類似地引起成比例的反向回放。
在關(guān)于圖5加以描述的預(yù)處理實施例中，如果這些處理參數(shù)或設(shè)備選擇已改變，則測試按鈕438允許用戶啟動存儲器中的聲音數(shù)據(jù)的再次處理。
圖11是另一個圖形用戶界面500的示意圖，該圖形用戶界面可以允許用戶輸入關(guān)于本發(fā)明的額外的參數(shù)選擇和設(shè)置。任何或所有這些設(shè)置可以與圖10中的部分或全部設(shè)置(如果需要的話)一起被包括在單一界面內(nèi)。聲音文件欄502允許用戶規(guī)定聲音文件，并且，觸覺設(shè)備設(shè)置504允許用戶選擇一種類型的觸覺設(shè)備。
在圖5或圖8的各種方法的這些聲音數(shù)據(jù)處理步驟中，濾波器506允許用戶為濾波器定制頻率范圍，這些濾波器可以用于本發(fā)明的一些實施例中?？梢允褂玫屯V波器、高通濾波器和/或帶通濾波器來隔離可以應(yīng)用觸覺的聲音數(shù)據(jù)的不同的頻率范圍。用戶可以將這些截止和范圍限制設(shè)置到這些濾波器，其中，低通濾波器排除用戶指定的截止以上的頻率，高通濾波器排除用戶指定的截止以下的頻率，并且，帶通濾波器排除用戶指定的頻率范圍以外的頻率。
由于不同類型的聲音依靠不同的頻率范圍，因此，對于聲音編輯任務(wù)而言，濾波器會有用武之地。例如，語言中的該有意義的信息通常存在于較高的頻率中，所以，用戶編輯語言可能想要應(yīng)用高通濾波器，以便只存在這些相干的頻率。然后，可以在這些相干的頻率中更容易地發(fā)現(xiàn)該語言的所需特點(diǎn)。同樣，依靠沉重、強(qiáng)烈的節(jié)拍或節(jié)奏的音樂(例如，搖滾樂、舞曲、擊打樂)攜帶低頻的大部分信息，而大部分古典音樂則集中于高、中范圍的頻率；可以對所播放的該音樂風(fēng)格使用這些合適的濾波器，以隔離這個有意義的頻率范圍。由于可以控制該頻率含量，以便與該樂器的特征相匹配，因此，當(dāng)編輯該聲音數(shù)據(jù)中的單獨(dú)的樂器聲音時，這些濾波器也可以發(fā)揮作用。
和聲跟蹤設(shè)置508可以由用戶設(shè)置為打開或關(guān)閉。如果被設(shè)置為打開，則該和聲跟蹤特點(diǎn)可以創(chuàng)建觸覺(例如，質(zhì)地或振動)到該聲音的和聲內(nèi)容或音色的映射。觸覺質(zhì)地是用預(yù)定方法來加以間隔或組織的簡短觸覺特點(diǎn)的樣式(例如，制動或震搖)，當(dāng)在質(zhì)地欄的每個“撞擊”位置(例如，制動、震搖等)上移動該觸覺設(shè)備的用戶操作物時，輸出這些簡短的觸覺特點(diǎn)。觸覺質(zhì)地可以與輸出聲音的音色有關(guān)。例如，可以用觸覺方式來輸出具有被進(jìn)一步隔開的“撞擊”的干凈、簡單的觸覺質(zhì)地，同時，將純音輸出為聲音。相比之下，當(dāng)正在輸出合成的音調(diào)時，可以用觸覺方式來輸出具有緊密間隔的撞擊的合成、密集的質(zhì)地。長笛的聲音是相當(dāng)純的音調(diào)，并且可以被映射到十分輕松、簡單的觸覺質(zhì)地，或者甚至根本沒有質(zhì)地。在頻譜的另一端，電吉他失真的這種聲音是高度合成的音調(diào)，并且可以被映射到更沉重的合成觸覺質(zhì)地。質(zhì)地對于位置控制模式而言更加合適；在速率控制模式中，可以同樣輸出振動——低頻振動對應(yīng)于間隔得很開的質(zhì)地，高頻振動對應(yīng)于緊密間隔的質(zhì)地。
效果設(shè)置允許用戶調(diào)整這些觸覺中的部分觸覺將感覺如何。連續(xù)性設(shè)置510允許用戶選擇該觸覺輸出是連續(xù)不斷地變化還是基于事件。如以上參照圖9a和9b而描述的，如果選擇“連續(xù)”，那么，該觸覺輸出隨著這些聲音屬性的變化而發(fā)生實時變化。如果用戶想要連續(xù)不斷地跟蹤導(dǎo)航期間該聲音的振幅，則可以選擇這一點(diǎn)。如果選擇“基于事件”，那么，只有該聲音數(shù)據(jù)中的顯著事件(例如，以上根據(jù)圖6而討論的該振幅上升)觸發(fā)觸覺事件。例如，節(jié)拍——振幅峰值會觸發(fā)觸覺制動。在其他實施例中，用戶可以選擇既允許連續(xù)的觸覺輸出、又允許基于事件的觸覺輸出的選項(例如，增加了被覆載在該阻力上的震搖或制動的連續(xù)阻力)。
聲音到力大小的映射設(shè)置512允許用戶選擇如何輸出觸覺輸出響應(yīng)。例如，如以上參照圖9a而描述的，當(dāng)選擇直接映射時，聲音振幅越大，觸覺力的大小就越大。如以上參照圖9b而描述的，當(dāng)選擇反向映射時，聲音振幅越大，觸覺力的大小就越弱。這種映射可以應(yīng)用于連續(xù)性設(shè)置510的連續(xù)設(shè)置或基于事件的設(shè)置(例如，可以輸出反向制動)。
波形514是代表被載入存儲器的聲音數(shù)據(jù)的波形的圖形表示。例如，當(dāng)用戶瀏覽聲音數(shù)據(jù)時，可以顯示該波形。整個聲音數(shù)據(jù)文件可以被表示為波形，或者，可以表示聲音數(shù)據(jù)的一部分。在所示的這個例子中，光標(biāo)516是表示該波形中的當(dāng)前回放位置的豎線。在聲音的導(dǎo)航和回放期間，光標(biāo)516在對應(yīng)于回放方向的方向上移動，并且按回放速率來移動(作為選擇，可以滾動這整個波形，并且，該光標(biāo)保持不動)。這樣，當(dāng)光標(biāo)在聲音中的特點(diǎn)上移動時，用戶會有視覺感受，并且會感受到對應(yīng)于那些特點(diǎn)的這些觸覺。在存儲標(biāo)記符以便指示已被映射到觸覺的聲音特征的那些預(yù)處理實施例(見圖5)中，這些標(biāo)記符也可以根據(jù)波形而被顯示在其位置處。
本發(fā)明可以用于獨(dú)立的聲音文件(例如，被用于音樂或語言的聲音文件)，這些聲音文件可以采用許多標(biāo)準(zhǔn)格式(wav、mp3、MIDI等)中的一種格式。此外，本發(fā)明可以用于可以和描述視覺呈現(xiàn)(例如，電視、電影和動畫)的其他數(shù)據(jù)一起被包括在內(nèi)的聲音數(shù)據(jù)。
已通過幾個較佳實施例描述了本發(fā)明，可知通過閱讀本說明書并研究這些附圖，精通該技術(shù)領(lǐng)域的人將會理解其改變、變更和相等物。例如，可以使用觸覺反饋設(shè)備的許多不同的實施例來輸出這里所描述的觸覺。另外，特定術(shù)語的使用是出于清楚描述的目的，而不是意在限制本發(fā)明。
權(quán)利要求
1.一種方法，用于使觸覺與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)，其特征在于，所述方法包括將所述聲音數(shù)據(jù)的至少一部分載入計算機(jī)的存儲器；播放所述聲音數(shù)據(jù)，以便生成音頻信號，并將其用于輸出來自音頻設(shè)備的聲音，其中，所述聲音的所述播放由用戶輸入來控制，用戶輸入由所述計算機(jī)從用戶那里加以接收，用于瀏覽所述聲音數(shù)據(jù)；以及，根據(jù)所述聲音數(shù)據(jù)來生成觸覺命令，由所述用戶操作并與所述計算機(jī)進(jìn)行通信的觸覺反饋設(shè)備使用所述觸覺命令，以將觸覺輸出給所述用戶，所述觸覺對應(yīng)于所述聲音數(shù)據(jù)的一個或多個特征，以協(xié)助所述用戶在所述聲音數(shù)據(jù)的所述瀏覽和編輯期間辨別所述聲音數(shù)據(jù)的特點(diǎn)。
2.如權(quán)利要求1所述的方法，其特征在于，所述用戶可以控制所述聲音數(shù)據(jù)的所述播放速度。
3.如權(quán)利要求1所述的方法，其特征在于，所述用戶可以控制所述聲音數(shù)據(jù)的所述播放方向，所述方向包括前向和反向。
4.如權(quán)利要求1所述的方法，其特征在于，在所述聲音數(shù)據(jù)的所述播放期間連續(xù)不斷地輸出所述觸覺，并且，其中，輸出觸覺的程度基于當(dāng)前正在播放的所述聲音數(shù)據(jù)的振幅。
5.如權(quán)利要求4所述的方法，其特征在于，所述觸覺的程度與所述播放的聲音數(shù)據(jù)的所述振幅成正比例。
6.如權(quán)利要求4所述的方法，其特征在于，所述觸覺的程度與所述播放的聲音數(shù)據(jù)的所述振幅成反比例。
7.如權(quán)利要求1所述的方法，其特征在于，只有當(dāng)播放具有預(yù)定特征的所述聲音數(shù)據(jù)的特點(diǎn)時，才輸出所述觸覺。
8.如權(quán)利要求7所述的方法，其特征在于，所述預(yù)定特征包括預(yù)定閾值以上的所述聲音數(shù)據(jù)的振幅上升。
9.如權(quán)利要求8所述的方法，其特征在于，所述預(yù)定特征包括跟在所述振幅上升后面的預(yù)定數(shù)量的振幅下降。
10.如權(quán)利要求7所述的方法，其特征在于，所述預(yù)定特征包括最小數(shù)量的時間間隔，該時間間隔必須發(fā)生在兩個振幅峰值之間，以便允許在播放所述峰值中的第二個峰值時輸出觸覺。
11.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，過濾所述聲音數(shù)據(jù)，以排除由所述聲音數(shù)據(jù)生成的不需要的聲音頻率，并且保留所需的頻率范圍。
12.如權(quán)利要求11所述的方法，其特征在于，所述所需的頻率范圍與一種特定類型的觸覺關(guān)聯(lián)。
13.如權(quán)利要求1所述的方法，其特征在于，如果在所述聲音的所述播放期間達(dá)到以前為所述聲音數(shù)據(jù)中的特定位置而存儲的標(biāo)記符，則生成所述觸覺命令之一，并輸出觸覺。
14.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，將所述聲音數(shù)據(jù)的一部分存儲在二級緩沖器中，并處理所述聲音數(shù)據(jù)的所述部分，以便在所述聲音數(shù)據(jù)的所述播放期間實時發(fā)現(xiàn)所述聲音數(shù)據(jù)中的所述一個或多個特征。
15.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，顯示所述聲音數(shù)據(jù)的視覺表示和移動光標(biāo)，以指示正在播放的所述聲音數(shù)據(jù)的當(dāng)前部分。
16.一種方法，用于預(yù)處理聲音數(shù)據(jù)，以便當(dāng)向用戶播放所述聲音數(shù)據(jù)時，允許輸出與所述聲音數(shù)據(jù)關(guān)聯(lián)的觸覺，其特征在于，所述方法包括將所述聲音數(shù)據(jù)的至少一部分載入計算機(jī)的存儲器，所述聲音數(shù)據(jù)描述聲音波形；處理所述聲音數(shù)據(jù)，以找出具有一個或多個預(yù)定特征的聲音特點(diǎn)；以及，當(dāng)發(fā)現(xiàn)所述聲音特點(diǎn)時，將標(biāo)記符存儲在標(biāo)記符清單中，其中，所述標(biāo)記符指示所述聲音數(shù)據(jù)中的所述關(guān)聯(lián)的聲音特點(diǎn)的位置，所述位置將與至少一個觸覺關(guān)聯(lián)，以便當(dāng)播放所述聲音數(shù)并且當(dāng)在所述聲音數(shù)據(jù)的所述播放期間達(dá)到所述標(biāo)記符時，將所述關(guān)聯(lián)的至少一個觸覺輸出給用戶。
17.如權(quán)利要求16所述的方法，其特征在于，所述一個或多個預(yù)定特征包括由所述聲音數(shù)據(jù)描述的所述聲音波形的振幅上升，所述振幅上升在預(yù)定的閾值振幅以上。
18.如權(quán)利要求16所述的方法，其特征在于，所述一個或多個預(yù)定特征包括跟在所述振幅上升后面的預(yù)定數(shù)量的振幅下降。
19.如權(quán)利要求16所述的方法，其特征在于，所述一個或多個預(yù)定特征包括最小數(shù)量的時間間隔，該時間間隔必須發(fā)生在所述聲音波形的兩個振幅峰值之間，以便允許在播放所述峰值中的第二個峰值時輸出觸覺。
20.如權(quán)利要求16所述的方法，其特征在于，所述聲音數(shù)據(jù)的所述處理包括過濾所述聲音數(shù)據(jù)，以排除所述聲音數(shù)據(jù)的不需要的頻率。
21.如權(quán)利要求16所述的方法，其特征在于，進(jìn)一步包括，存儲一個或多個特定觸覺的標(biāo)志，這些特定觸覺將與所述標(biāo)記符中的一個特定標(biāo)記符關(guān)聯(lián)。
22.如權(quán)利要求21所述的方法，其特征在于，一種類型的所述一個或多個特定觸覺基于所述特定標(biāo)記符涉及的所述聲音特點(diǎn)的所述一個或多個預(yù)定特征。
23.一種計算機(jī)可讀介質(zhì)，它包括用于執(zhí)行一些步驟的程序指令，這些步驟使觸覺與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)，其特征在于，這些步驟包括將所述聲音數(shù)據(jù)的至少一部分載入計算機(jī)的存儲器；播放所述聲音數(shù)據(jù)，以便生成音頻信號，并將其用于輸出來自音頻設(shè)備的音頻聲音，其中，所述聲音的所述播放由用戶輸入來控制，用戶輸入由所述計算機(jī)從用戶那里加以接收，用于所述聲音數(shù)據(jù)的導(dǎo)航；以及，根據(jù)所述聲音數(shù)據(jù)來生成觸覺命令，由所述用戶操作并與所述計算機(jī)進(jìn)行通信的觸覺反饋設(shè)備使用所述觸覺命令，以將觸覺輸出給所述用戶，所述觸覺對應(yīng)于所述聲音數(shù)據(jù)的一個或多個特征，以協(xié)助所述用戶在所述聲音數(shù)據(jù)的所述瀏覽和編輯期間辨別所述聲音數(shù)據(jù)的特點(diǎn)。
24.如權(quán)利要求23所述的方法，其特征在于，所述用戶可以控制所述聲音數(shù)據(jù)的所述播放速度。
25.如權(quán)利要求23所述的方法，其特征在于，所述用戶可以控制所述聲音數(shù)據(jù)的所述播放方向，所述方向包括前向和反向。
26.如權(quán)利要求23所述的方法，其特征在于，在所述聲音數(shù)據(jù)的所述播放期間連續(xù)不斷地輸出所述觸覺；并且，其中，輸出觸覺的程度基于當(dāng)前正在播放的所述聲音數(shù)據(jù)的振幅。
27.如權(quán)利要求23所述的方法，其特征在于，只有當(dāng)播放具有預(yù)定特征的所述聲音數(shù)據(jù)的特點(diǎn)時，才輸出所述觸覺。
28.如權(quán)利要求23所述的方法，其特征在于，如果在所述聲音的所述播放期間達(dá)到以前為所述聲音數(shù)據(jù)中的特定位置而存儲的標(biāo)記符，則生成所述觸覺命令之一，并輸出觸覺。
29.如權(quán)利要求23所述的方法，其特征在于，進(jìn)一步包括，將所述聲音數(shù)據(jù)的一部分存儲在二級緩沖器中，并處理所述聲音數(shù)據(jù)的所述部分，以便在所述聲音數(shù)據(jù)的所述播放期間在所述聲音數(shù)據(jù)中實時發(fā)現(xiàn)所述一個或多個特征。
全文摘要
利用觸覺反饋進(jìn)行聲音數(shù)據(jù)的輸出和處理。觸覺與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯該聲音數(shù)據(jù)。該聲音數(shù)據(jù)被載入計算機(jī)存儲器并被加以播放，以便從音頻設(shè)備輸出聲音。該聲音播放由用戶輸入來控制，用于瀏覽該聲音數(shù)據(jù)。根據(jù)該聲音數(shù)據(jù)來生成觸覺命令，并且，由用戶操作的觸覺反饋設(shè)備使用這些觸覺命令，以便將觸覺輸出給用戶。這些觸覺對應(yīng)于該聲音數(shù)據(jù)的一個或多個特征，以協(xié)助用戶在瀏覽和編輯該聲音數(shù)據(jù)期間辨別該聲音數(shù)據(jù)的特點(diǎn)。
文檔編號G10H1/00GK1620327SQ02824370
公開日2005年5月25日 申請日期2002年10月8日 優(yōu)先權(quán)日2001年10月10日
發(fā)明者L·L·褚 申請人:伊默遜股份有限公司