本公開涉及觸覺的領(lǐng)域。還應(yīng)在生成將在觸摸/摩擦材料時產(chǎn)生的聲音的背景下理解本公開。

背景技術(shù)：

隨著消費(fèi)者采用平板和智能電話，現(xiàn)在能夠在與諸如視頻和圖片這樣的內(nèi)容項進(jìn)行交互時利用觸覺。例如，現(xiàn)在能夠允許某人“感受”圖像中所呈現(xiàn)的材料的紋理或粗糙度。這種“感受”可以在他/她觸摸圖像時，通過諸如終端用戶設(shè)備中所嵌入的激勵器所生成的振動這樣的觸覺效果或者使用如Peter Sergeant、Frédéric Giraud和Betty Lemaire-Semail在2010年的“Geometrical optimization of an ultrasonic tactile plate for surface texture rendering”中所公開的專用“智能表面”的粗糙度變化來產(chǎn)生。

當(dāng)用戶經(jīng)由諸如鼠標(biāo)這樣的設(shè)備進(jìn)行交互時，偽觸覺技術(shù)可以間接地允許用戶感受在圖像中所呈現(xiàn)的材料的紋理或起伏。如Anatole Lécuyer在2009年的“Simulating haptic feedback using vision:A survey of research and applications of pseudo-haptic feedback”中所述，這引入在手持設(shè)備的運(yùn)動與所顯示的圖像上的光標(biāo)的位置之間的差異性。

為了增強(qiáng)感覺質(zhì)量，當(dāng)用戶觸摸屏幕或者控制鼠標(biāo)時，可以在觸摸屏幕或者控制鼠標(biāo)的同時生成聲音。聲音可以對應(yīng)于將在觸摸或摩擦材料自身時生成的聲音。為了達(dá)到該目的，可以記錄在觸摸材料時所生成的聲音，并且當(dāng)在平板/智能電話屏幕上觸摸材料的表示時重放。這樣的方法引入一些限制。例如，所播放的聲音可能具有有限的持續(xù)時間。在長交互期間循環(huán)該短持續(xù)時間聲音可能引入假聲(artifacts)(拼接問題)。

技術(shù)實現(xiàn)要素：

說明書中對“一個實施例”、“實施例”、“示例實施例”的引用指示所描述的實施例可以包括特定特征、結(jié)構(gòu)或特性，但是每個實施例可以未必包括所述特定特征、結(jié)構(gòu)或特性。而且，這樣的短語未必指相同的實施例。此外，當(dāng)結(jié)合實施例描述特定特征、結(jié)構(gòu)或特性時，認(rèn)為其在本領(lǐng)域技術(shù)人員的認(rèn)知內(nèi)，以結(jié)合其他實施例作用于這樣的特征、結(jié)構(gòu)或特征，而無論是否明確地描述。

本公開涉及一種獲得聲音的方法，所述方法包括：獲得表示在第一表面上移動的第一對象的速度的信息。所述方法還包括：根據(jù)表示至少一個基準(zhǔn)聲音的信息并且根據(jù)表示速度的信息來獲得聲音，所述至少一個基準(zhǔn)聲音與在第二表面上移動的第二對象的位移的所確定的速度相關(guān)聯(lián)，所述第一表面與所述第二表面不同。

本公開還涉及一種用于獲得聲音的裝置，所述裝置包括至少一個處理器，所述至少一個處理器被配置為獲得表示在第一表面上移動的第一對象的速度的信息。所述至少一個處理器還被配置為根據(jù)表示至少一個基準(zhǔn)聲音的信息并且根據(jù)表示速度的信息來獲得所述聲音，所述至少一個基準(zhǔn)聲音與在第二表面上移動的第二對象的位移的所確定的速度相關(guān)聯(lián)，所述第一表面與所述第二表面不同。

根據(jù)具體特征，使用所述至少一個基準(zhǔn)聲音的頻率信息和能量信息來獲得所述聲音。

有利地，通過在頻率中并且在能量中內(nèi)插至少兩個基準(zhǔn)聲音來獲得所述聲音。

根據(jù)特定特征，基于與自回歸模型所生成的所述至少一個基準(zhǔn)聲音的至少一個所建模的樣本相關(guān)聯(lián)的頻率信息來獲得與所述聲音相關(guān)聯(lián)的頻率信息。

有利地，通過所述自回歸模型對所述至少一個基準(zhǔn)聲音進(jìn)行建模。

根據(jù)特定特征，根據(jù)表示與所述聲音的樣本相對應(yīng)的速度的信息的值，通過所建模的樣本的線性組合，來獲得與所述樣本相關(guān)聯(lián)的頻率信息，并且通過與所述至少一個基準(zhǔn)聲音相關(guān)聯(lián)的能量值的線性組合來獲得與所述聲音的樣本相關(guān)聯(lián)的能量信息。

本公開還涉及一種攜帶至少包括表示所獲得的聲音的數(shù)據(jù)的包的信號。

本公開還涉及一種計算機(jī)程序產(chǎn)品，其包括程序代碼指令，以當(dāng)該程序在計算機(jī)上執(zhí)行時執(zhí)行獲得聲音的方法的步驟。

本公開還涉及一種(非臨時性)處理器可讀介質(zhì)，其中存儲用于使得處理器至少執(zhí)行上述獲得聲音的方法的指令。

附圖說明

通過閱讀以下描述，將更好地理解所述原理，并且將呈現(xiàn)其他具體特征和優(yōu)點(diǎn)，描述參照附圖，附圖中：

圖1示出根據(jù)所述原理的具體實施例的表示與材料相關(guān)聯(lián)的紋理的圖像的示例；

圖2示出根據(jù)所述原理的具體實施例的、其紋理在圖1的圖像中呈現(xiàn)的材料的示例；

圖3示出根據(jù)所述原理的具體實施例的、用以在觸摸或摩擦圖2的材料時獲得基準(zhǔn)聲音的處理的框圖；

圖4示出根據(jù)所述原理的具體實施例的、表示通過圖3的處理所獲得的基準(zhǔn)聲音的信號；

圖5圖示性地示出根據(jù)所述原理的具體實施例的、用以在觸摸或摩擦圖1的圖像時生成聲音的處理的框圖；

圖6示出根據(jù)所述原理示例的、攜帶表示通過圖5的處理所生成的聲音的參數(shù)的信號；

圖7示出根據(jù)所述原理示例的、被配置為生成在觸摸或摩擦圖1的圖像時所獲得的聲音的設(shè)備；

圖8示出根據(jù)所述原理示例的、用于在觸摸或摩擦圖1的圖像時獲得聲音的方法。

具體實施方式

現(xiàn)在參照附圖來描述主題，其中相同的標(biāo)號通篇用于指代相同的元件。在以下描述中，為了解釋的目的，將闡述大量細(xì)節(jié)以提供主題的透徹理解。然而，可以顯而易見的是，可以在不使用這些具體細(xì)節(jié)的情況下實踐主題實施例。

將參照當(dāng)在第一表面(例如觸摸屏或鼠標(biāo)墊)上移動第一對象(例如手指或指示筆或鼠標(biāo))時獲得(例如，生成或合成)聲音的方法的具體示例來描述所述原理。為此目的，所述方法使用表示在第一表面上移動的第一對象的速度的信息以及表示至少兩個基準(zhǔn)聲音的信息(例如至少兩個信息聲音的頻率和能量信息)。所述至少兩個基準(zhǔn)聲音例如對應(yīng)于當(dāng)在與第一表面不同的第二表面上以一速度(對于每個基準(zhǔn)聲音不同的速度)移動第二對象(例如手指或指示筆)時所生成的聲音。第二表面例如對應(yīng)于材料的表面，其圖像可以在第一表面上移動第一對象的同時呈現(xiàn)。

通過與材料的一個或多個圖像的呈現(xiàn)一起生成聲音，就仿佛材料被觸摸或摩擦一樣，可以增強(qiáng)用戶體驗。當(dāng)考慮在第一表面上移動的第一對象的位移的速度時，可以生成更逼真的聲音，并且基準(zhǔn)聲音使得能夠生成更逼真的聲音。

圖1示出根據(jù)所述原理的具體但非限制性的實施例的、在設(shè)備(諸如平板或智能電話)的第一表面10(例如觸摸表面)上移動的第一對象13(例如手指)。例如，當(dāng)?shù)谝槐砻鎸嵤槠聊粫r，材料的紋理的圖像11可以顯示在第一表面上。如在本文中所使用的那樣，“紋理”是表示材料的真實表面(被稱為第二表面)的方面的圖像。圖2示出這樣的第二表面的示例。當(dāng)通過第二對象觸摸或摩擦第二表面時，生成特定于第二表面的材料的聲音。第二對象可以與第一對象相同，但是第二對象也可以與第一對象不同(例如，第一對象是手指，而第二對象是指示筆)。設(shè)備可以有利地包括一個或多個揚(yáng)聲器12以當(dāng)?shù)谝粚ο?3在第一表面10上移動時呈現(xiàn)聲音，所呈現(xiàn)的聲音是與將在摩擦材料的第二表面(在如圖1所示，其紋理可以顯示第一表面上)時生成的聲音相對應(yīng)的所合成的聲音。

第一對象不限于手指，而是擴(kuò)展為任何對象(例如鼠標(biāo)或指示筆)。第一表面也不限于觸摸表面，而是擴(kuò)展為任何表面(例如鼠標(biāo)墊、桌面、屏幕)。根據(jù)另一示例，第一對象與在桌面或鼠標(biāo)墊上移動的鼠標(biāo)相對應(yīng)，并且材料的表面的圖像顯示在控制鼠標(biāo)的膝上型電腦或計算機(jī)的屏幕上。根據(jù)該另一示例，在移動鼠標(biāo)的同時生成聲音，鼠標(biāo)的指針在屏幕上所顯示的材料的表面的圖像上移動。

一個或多個揚(yáng)聲器所呈現(xiàn)的聲音模擬將通過在第二表面(即所顯示的材料的真實表面)上摩擦而生成的聲音。

圖2示出根據(jù)所述原理的具體但非限制性的實施例的材料的第二表面的示例。根據(jù)第一示例，第二表面20與海綿的表面相對應(yīng)。根據(jù)第二示例，第二表面21與紙張薄片的表面相對應(yīng)。第二表面20和21的材料具有可以由3D模型表示的3D形狀(例如平坦的或具有凸起和/或孔洞)。在摩擦或觸摸第二表面時所生成的聲音特定于材料的類型，而且還特定于在第二表面上移動的第二對象的位移的速度。

材料不限于海綿或紙張薄片，而是擴(kuò)展為諸如例如木首部、塑料、棉花、石首部、沙礫、草這樣的任何材料。

圖3示出根據(jù)所述原理的具體但非限制性的實施例的、用于在觸摸或摩擦一個或多個第二表面時獲得基準(zhǔn)聲音的處理的框圖。

在第一步驟中，通過任何手段(例如，通過麥克風(fēng))獲取音頻信號S_i 300。信號S_i300表示第二對象以所確定的速度在第二表面上移動所生成的聲音。根據(jù)變型，信號S_i 300表示第二對象以隨時間增加的速度在第二表面上移動所生成的聲音。獲取的持續(xù)時間例如是幾毫秒、一秒或甚至更多。根據(jù)另一變型，獲取多個音頻信號S_i 300，每個信號在第二表面上的第二對象的運(yùn)動的不同速度(例如，以低速、中速和高速)的情況下獲取。被用于獲得信號的速度的數(shù)量不限于3種，而是擴(kuò)展為任何數(shù)量，例如2種、5種、10種、20種或者更多。

可以針對不同的第二表面(即針對不同的材料)獲取若干音頻信號S_i300，其中針對每個第二表面以一個或多個不同的運(yùn)動速度。

第一步驟是可選的，因為根據(jù)變型，信號S_i 300不是被獲取的，而是從包括表示由以不同的速度在第二表面上的第二對象的運(yùn)動所生成的聲音的一個或多個信號的數(shù)據(jù)庫獲得的。該數(shù)據(jù)庫還可以包括表示由在不同的第二表面上(即不同的材料上)的第二對象的運(yùn)動所生成的聲音的信號。該數(shù)據(jù)庫例如存儲在諸如例如本地服務(wù)器或遠(yuǎn)程服務(wù)器這樣的存儲單元、存儲器中。

在可選第二步驟中，通過高通濾波單元30對信號S_i 300進(jìn)行高通濾波。信號S_i 300的高通濾波可以移除未嵌入有用的音頻性質(zhì)的信號S_i 300的基線，僅感興趣于獲得音頻信號的高頻率譜。高通濾波單元30的輸出是有中心的音頻信號。有中心的音頻信號的頻率譜和能量(或者等效地，強(qiáng)度或幅度)可以確定，并且可以取決于運(yùn)動速度。

在第三步驟中，從高通濾波單元30輸出的有中心的音頻信號被輸入到諸如例如自回歸模型單元這樣的譜模型化單元31中。有中心的音頻信號還被輸入到諸如例如均值功率計算單元這樣的能量確定單元32中。譜模型化單元31和均值功率計算單元32可以是分離的單元，或者可以組合在單個單元中。譜模型化單元31用于隨著時間對音頻信號S_i 300的譜性質(zhì)進(jìn)行建模。均值功率計算單元32用于對音頻信號S_i 300的能量(或強(qiáng)度)性質(zhì)進(jìn)行建模。譜模型化單元31的輸出是與譜模型化單元31的模型相關(guān)聯(lián)的一組系數(shù)F_i 301。該組系數(shù)F_i 301在由單元31的模型(例如自回歸模型)使用時使得能夠從輸入給模型的白噪聲獲得具有與信號S_i 300的頻率性質(zhì)相似的頻率性質(zhì)的信號。這樣的模型例如由全極點(diǎn)無限脈沖響應(yīng)濾波器(IIR)表示，其系數(shù)被優(yōu)化使得由該濾波器所濾波的白噪聲將具有與信號S_i300的譜性質(zhì)相似的譜性質(zhì)?？梢詮淖V模型化單元31輸出任何數(shù)量的系數(shù)F_i 301(例如64個、128個、256個或者更多的系數(shù))。使用自回歸模型對音頻信號進(jìn)行建模例如在Shlomo Dubnov的“YASAS-YET ANOTHER SOUND ANALYSIS-SYNTHESIS METHOD”中描述。諸如例如在F.S.Schlindwein和D.H.Evans的“AUTOREGRESSIVE SPECTRAL ANALYSIS AS AN ALTERNATIVE TO FAST FOURIER TRANSFORM ANALYSIS OF DOPPLER ULTRASOUND SIGNALS”(第74-84頁)中所描述的那樣，可以通過實現(xiàn)Yule-Walker方程、Levinson-Durbin遞歸算法或任何其他已知的處理來進(jìn)行確定自回歸系數(shù)。如在“YASAS–YET ANOTHER SOUND ANALYSIS-SYNTHESIS METHOD”中所描述的那樣，在譜模型化單元31中所實現(xiàn)的模型不限于自回歸模型，而是擴(kuò)展為其他類型的模型，例如使用小波變換的模型或者使用最小方差無失真響應(yīng)(MVDR)的模型。

能量確定單元32的輸出是表示信號S_i 300的能量(或幅度)的一個或多個參數(shù)A_i302的集合。例如，對于信號S_i 300的每個樣本，有一個能量參數(shù)，或者對于例如與信號S_i300的樣本的幅度的平均值相對應(yīng)的信號，有一個能量參數(shù)。如果在獲取信號Si 300的同時，第二表面上的第二對象的速度隨著時間而增加，則可以針對每個速度值或針對表示不同速度的速度值的集合來確定能量參數(shù)。如果在獲取信號Si 300的同時，第二表面上的第二對象的速度隨著時間是恒定的，則可以針對信號確定例如與信號的幅度的均值相對應(yīng)的能量參數(shù)。

在處理的結(jié)束時，針對(所確定的材料的)所確定的第二表面，獲得N個三元組(v_i，F(xiàn)_i，A_i)，N與通過單元31和32對基準(zhǔn)聲音進(jìn)行建模的速度“v”的數(shù)量相對應(yīng)，N大于或等于2，i包含在1至N之間?？梢葬槍Χ鄠€第二表面(即，針對多個不同的材料)執(zhí)行相同處理。

可以通過這樣的處理獲得基準(zhǔn)聲音的庫，即，多個基準(zhǔn)聲音與多個第二表面中的每個第二表面相關(guān)聯(lián)，所確定的速度與每個基準(zhǔn)聲音相關(guān)聯(lián)?；鶞?zhǔn)聲音均通過描述基準(zhǔn)聲音的譜性質(zhì)的系數(shù)“F”的集合以及通過描述基準(zhǔn)聲音的幅度/能量的一個或多個能量參數(shù)“A”的集合來描述。

可以不同地(即，在不實現(xiàn)圖3的處理的情況下)獲得包括基準(zhǔn)聲音的描述的庫?？梢越?jīng)由通信網(wǎng)絡(luò)(例如，經(jīng)由互聯(lián)網(wǎng))從遠(yuǎn)程服務(wù)器上所存儲的庫獲得基準(zhǔn)聲音的描述。

圖4示出根據(jù)所述原理的具體但非限制性的實施例的相同的第二表面的頻率譜圖表表41、42和43，其每個表示基準(zhǔn)聲音的信號。

圖表41示出由高通濾波單元30產(chǎn)生的基準(zhǔn)聲音的頻率譜(暗灰色部分)以及通過使用單元31的模型(例如自回歸模型)并用模型系數(shù)所建模的頻率譜(亮灰色部分)，其中模型系數(shù)與在獲取高通濾波單元30中所輸入的音頻信號S時所使用的第二表面和速度值(例如，以低速)相關(guān)聯(lián)。根據(jù)圖表41可見，經(jīng)濾波的信號S的頻率譜離通過自回歸模型所獲得的頻率譜非常接近，這意味著所建模的信號離“真實”信號是近的。

圖表42還針對與圖表41相同的第二表面但針對與圖表41的速度不同的速度(例如針對中速)示出表示基準(zhǔn)聲音的信號的經(jīng)濾波的“真實”頻率譜與所建模的頻率譜之間的比較。

圖表43還針對與圖表41和42相同的第二表面但針對與圖表41和42的速度不同的速度(例如高速)示出表示基準(zhǔn)聲音的信號的經(jīng)濾波的“真實”頻率譜與所建模的頻率譜之間的比較。

根據(jù)圖表41、42、43可見，無論在第二表面上的第二對象的運(yùn)動的速度值如何，所建模的頻率譜離“真實”頻率譜均非常接近。

圖5圖示性地示出根據(jù)所述原理的具體但非限制性的實施例的、當(dāng)通過第一對象觸摸或摩擦第一表面時生成聲音的處理的框圖。參照所確定的速度v[n]來描述圖5的處理，并且該處理針對根據(jù)速度信息v[n]并且根據(jù)例如從庫中檢索到的三元組(v_i，F(xiàn)_i，A_i)來獲得第n個音頻樣本u[n]。

在第一步驟中，從庫或數(shù)據(jù)庫檢索三元組(v_i，F(xiàn)_i，A_i)。根據(jù)第一示例，從庫檢索具有指數(shù)a和b的兩個三元組(v_a，F(xiàn)_a，A_a)和(v_b，F(xiàn)_b，A_b)，使得v_a≤v[n]≤v_b并且v_a和v_b是庫中在v[n]的值周圍的v的最接近的值。因為v_a、F_a、A_a在庫中彼此關(guān)聯(lián)，并且v_b、F_b、A_b在庫中也彼此關(guān)聯(lián)，所以確定v_a和v_b使得能夠還檢索相關(guān)聯(lián)的F_a、A_a以及F_b、A_b。

從庫檢索的三元組的數(shù)量不限于2，而是擴(kuò)展為大于或等于2的任何數(shù)量。例如，可以檢索具有指數(shù)a、b和c的3個三元組，使得v_a≤v_b≤v[n]≤v_c，或者可以檢索具有指數(shù)a、b、c和d的4個三元組，使得v_a≤v_b≤v[n]≤v_c≤v_d。

在第二步驟中，使用在第一步驟中所確定的模型系數(shù)F_a和F_b來計算通過模型50(諸如自回歸模型)所建模的兩個樣本y_a[n]和y_b[n]的譜性質(zhì)。使用系數(shù)F_a的集合、通過將先前所建模的樣本y_a[n-2]、y_a[n-1]以及白噪聲的白噪聲樣本w_a[n-1]、w_a[n]輸入到自回歸模型中，來獲得所建模的樣本y_a[n]。以相同方式，使用系數(shù)F_b的集合、通過將先前所建模的樣本y_b[n-2]、y_b[n-1]和白噪聲的白噪聲樣本w_b[n-1]、w_b[n]輸入到自回歸模型中，來獲得所建模的樣本y_b[n]。

根據(jù)變型，使用系數(shù)F₁、F₂、F_a、F_b、F_N的相關(guān)聯(lián)的集合來計算N個樣本y₁[n]、y₂[n]、y_a[n]、y_b[n]、y_N[n]的譜性質(zhì)，N與庫中對給定的第二表面可用的三元組(v_i，F(xiàn)_i，A_i)的數(shù)量相對應(yīng)。選擇與速度v_a和v_b相關(guān)聯(lián)的所建模的樣本，v_a和v_b使得v_a≤v[n]≤v_b。

在第三步驟中，使用先前所計算/選擇的所建模的樣本y_a[n]、y_b[n]來確定當(dāng)以速度v[n]在時刻t摩擦第一表面時生成的聲音信號的樣本的譜信息u₀[n]。u₀[n]例如通過內(nèi)插y_a[n]和y_b[n]，例如通過y_a[n]和y_b[n]的線性組合51，通過考慮與y_a[n]和y_b[n]的值相關(guān)聯(lián)的速度，例如通過應(yīng)用以下等式來獲得：

在可以與第三步驟并行執(zhí)行的第四步驟中，計算縮放因子β[n]，縮放因子與當(dāng)以速度v[n]在時刻t摩擦第一表面時生成的聲音信號的樣本的能量信息相對應(yīng)。β[n]通過內(nèi)插在第一步驟中從庫檢索到的能量信息，例如通過A_a和A_b的線性組合53，通過考慮與A_a和A_b的值相關(guān)聯(lián)的速度，例如通過應(yīng)用以下等式來獲得：

通過用能量信息β[n]對頻率信息u₀[n]進(jìn)行縮放53，來獲得在時間t生成以模擬將在觸摸/摩擦與第二表面不同的第一表面的同時觸摸/摩擦第二表面時生成的聲音的聲音的最終樣本u[n]。例如，通過以下等式來獲得表示在時間t合成的聲音的最終樣本：

u[n]＝u₀[n].β[n] 等式3

例如，可以通過應(yīng)用以下等式，在一輪計算中獲得最終樣本，這意味著單元51、52和53形成一個單一合成單元：

根據(jù)變型，僅從一個基準(zhǔn)聲音，即具有離v[n]最近的速度值(例如為v_a)的關(guān)聯(lián)速度(例如v_a或v_b)的基準(zhǔn)聲音，獲得樣本u[n]。根據(jù)變型，在v_a是離v[n]的最近的速度值的速度的情況下，u[n]與在v_b＝0并且y[n]＝0的情況下的等式4的結(jié)果的絕對值相對應(yīng)。

可以通過由一個或多個處理器所實現(xiàn)的計算機(jī)軟件或者通過硬件或者通過硬件和軟件的組合來執(zhí)行根據(jù)圖5的示例性實施例。單元50至53可以是軟件單元和/或硬件單元。作為非限制性示例，可以通過一個或多個集成電路來實現(xiàn)根據(jù)圖5的示例性實施例。作為非限制性示例，可以使用任何適當(dāng)?shù)臄?shù)據(jù)存儲技術(shù)(作為諸如光存儲設(shè)備、磁存儲設(shè)備、基于半導(dǎo)體的存儲設(shè)備、固定存儲器和可拆卸存儲器)來實現(xiàn)適合于技術(shù)環(huán)境的任何類型的一個或多個存儲器。作為非限制性示例，一個或多個處理器可以是適合于技術(shù)環(huán)境的任何類型，并且可以涵蓋基于多核架構(gòu)的微處理器、通用計算機(jī)、專用計算機(jī)和處理器中的一個或多個。將參照圖7更詳細(xì)地描述這樣的技術(shù)環(huán)境的非限制性示例。

圖6示出例如在通過基于包的傳輸協(xié)議發(fā)送數(shù)據(jù)時的表示與當(dāng)通過第一對象摩擦/觸摸第一表面時所生成的聲音相對應(yīng)的數(shù)據(jù)流的信號的語法的實施例的示例。每個所發(fā)送的包6包括首部H 60和有效載荷61。有利地，在有效載荷61中包括一個或多個樣本u[n]的頻率信息和能量信息。

圖7示出可以被配置為實現(xiàn)參照圖3、圖5和/或圖8所描述的方法的裝置7的示例性架構(gòu)。

設(shè)備7例如與機(jī)頂盒、個人計算機(jī)(PC)、膝上型電腦、平板、智能電話、游戲控制臺或多媒體終端相對應(yīng)。

設(shè)備7包括通過地址和數(shù)據(jù)的總線70(其還傳送時鐘信號)彼此連接的以下元件：

-一個或多個處理器71，例如CPU(“中央處理單元”)、DSP(“數(shù)字信號處理器”)和/或GPU；

-存儲器73，例如易失性存儲設(shè)備或非易失性存儲設(shè)備，用于存儲例如：

■表示與基準(zhǔn)速度信息相關(guān)聯(lián)的基準(zhǔn)聲音的信息，即，例如從遠(yuǎn)程數(shù)據(jù)庫檢索的頻率信息和能量信息，

■在第一表面上的第一對象的運(yùn)動的速度值，

■當(dāng)通過第一對象摩擦/觸摸第一表面時所生成的聲音的一個或多個樣本的頻率信息和能量信息，

■用于執(zhí)行根據(jù)所述原理的方法的、由處理器71所執(zhí)行并且在接通設(shè)備7之后上傳的程序、輸入數(shù)據(jù)、所述方法的不同狀態(tài)下的中間數(shù)據(jù)以及其他變量。

-一個或若干個I/O(輸入/輸出)設(shè)備74，諸如例如鍵盤、鼠標(biāo)、觸摸表面；

-通信接口72，例如有線接口(例如總線接口(例如USB(或通用串行總線))、廣域網(wǎng)接口、局域網(wǎng)接口、HDMI(高清晰度多媒體接口)接口)或無線接口(例如IEEE 802.11接口、或接口)，被配置為接收表示基準(zhǔn)聲音的信息(例如三元組(v_i，F(xiàn)_i，A_i))和/或(例如以比特流的形式)將包括所生成的聲音的樣本的信號發(fā)送給例如一個或多個揚(yáng)聲器；以及

-顯示設(shè)備75，被配置為顯示第一表面的一個或多個圖像。

根據(jù)變型，裝置7還可以包括存儲設(shè)備，其可以包括非易失性存儲器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、閃存、磁盤驅(qū)動器和/或光盤驅(qū)動器。作為非限制性示例，存儲設(shè)備可以包括內(nèi)部存儲設(shè)備、附接存儲設(shè)備和/或網(wǎng)絡(luò)可訪問的存儲設(shè)備。

裝置7還被配置用于生成表示所生成的聲音的信號(比特流)并且對其進(jìn)行編碼。根據(jù)編碼或編碼器的示例，比特流發(fā)送到目的地。作為示例，比特流存儲在本地或遠(yuǎn)程存儲器(例如視頻存儲器或RAM、硬盤)中。在變型中，比特流發(fā)送給存儲接口(例如與海量儲存器、閃速存儲器、ROM、光盤或磁支撐的接口)和/或通過通信接口(例如到點(diǎn)對點(diǎn)鏈路、通信總線、點(diǎn)對多點(diǎn)鏈路或廣播網(wǎng)絡(luò)的接口)發(fā)送。

根據(jù)另一變型，顯示器75在裝置的外部，并且經(jīng)由有線連接(例如USB、HDMI)或無線連接(例如IEEE 802.11接口、或)鏈接到裝置。

圖8示出根據(jù)所述原理非限制性實施例的在裝置7中所實現(xiàn)的用于獲得聲音的方法。

在初始化步驟80期間，更新裝置7的不同參數(shù)。具體地，以任何方式來初始化表示要合成的聲音的信息(即頻率性質(zhì)和能量性質(zhì))。

然后，在步驟81期間，通過任何方式來獲得在第一表面上移動的第一對象的速度。例如，如果第一表面是觸摸表面，則測量在第一表面之上的第一對象的位移，并且通過控制觸摸表面的控制器和/或處理器來計算速度。如果第一對象是在鼠標(biāo)墊上或在桌面上移動的鼠標(biāo)，則通過控制鼠標(biāo)的控制器和/或處理器來測量位移的速度。如果第一對象是在顯示屏幕上或桌面上移動的手指或指示筆，則例如可以通過處理并分析在第一表面上移動的第一對象或指示筆的視頻來確定位移的速度，該處理稱為實時視頻跟蹤。根據(jù)另一示例，可以通過包括例如部署在第一對象上的標(biāo)記器(例如光學(xué)標(biāo)記器)以及測量并檢測標(biāo)記器的位移以獲得標(biāo)記器的速度的布置在第一表面的環(huán)境中的檢測器(例如具有紅外檢測器的紅外照明)的跟蹤系統(tǒng)，來獲得位移的速度。所獲得的速度信息例如對應(yīng)于以m.s^-1為單位表示并且與時間相關(guān)聯(lián)的值?？梢园磿r間間隔獲得若干值，例如可以按1ms、10ms、100ms、1秒或10秒的時間間隔來確定速度值。

在步驟82期間，基于在步驟81期間所獲得的兩個或更多的基準(zhǔn)聲音和速度信息來獲得聲音。所獲得的聲音與將在摩擦或觸摸所確定的材料(可選地，其圖像在第一表面上移動第一對象的同時呈現(xiàn)/顯示)時生成的聲音相對應(yīng)。獲得(例如，生成)與真實材料的摩擦相對應(yīng)的聲音增加所確定的真實材料的表面(被稱為第二表面，同時第一表面與第二表面不同)的第一對象移動的感覺。被用于獲得(即生成或合成)所獲得的聲音的基準(zhǔn)聲音與當(dāng)以不同速度值來觸摸或摩擦第二表面時所生成的聲音相對應(yīng)。例如，每個基準(zhǔn)聲音通過參數(shù)的集合來描述，例如所確定的速度值以及該所確定的速度值的聲音的對應(yīng)的頻率性質(zhì)和能量性質(zhì)。例如通過當(dāng)應(yīng)用于濾波器(諸如自回歸模型)時使得能夠從白噪聲獲得基準(zhǔn)聲音的頻率信息的系數(shù)的集合來描述頻率性質(zhì)。通過這樣的濾波器，基準(zhǔn)聲音的持續(xù)時間僅受限于白噪聲的持續(xù)時間。例如，通過基準(zhǔn)聲音的一個幅度值或當(dāng)基準(zhǔn)聲音的幅度隨著時間變化時通過取決于時間的幅度值的集合來描述基準(zhǔn)聲音的能量性質(zhì)。例如，通過預(yù)處理(例如參照圖3所描述的預(yù)處理)來獲得描述每個基準(zhǔn)聲音的參數(shù)的集合。根據(jù)變型，從本地或遠(yuǎn)程地存儲在存儲設(shè)備上的庫獲得描述每個基準(zhǔn)聲音的參數(shù)的集合?；鶞?zhǔn)聲音可以與要模擬的第二表面(即材料)相關(guān)聯(lián)。每個基準(zhǔn)聲音可以與所確定的材料相關(guān)聯(lián)，針對在第二表面的表面上的第二對象的位移的不同速度來獲取。

所獲得的聲音基于具有接近在第一表面上的第一對象的位移的速度(被稱為第一速度)的相關(guān)聯(lián)的速度值(被稱為第二速度)的基準(zhǔn)聲音。例如，被用于獲得聲音的基準(zhǔn)聲音是具有在第一速度周圍的相關(guān)聯(lián)的第二速度值(即，具有小于第一速度值的最接近的值的第二速度以及具有大于第一速度值的最接近的值的第二速度)的基準(zhǔn)聲音。根據(jù)變型，使用多于兩個基準(zhǔn)聲音來獲得聲音，例如具有小于第一速度值的相關(guān)聯(lián)的第二速度的兩個或更多的基準(zhǔn)聲音以及具有大于第一速度值的相關(guān)聯(lián)的第二速度值的一個、兩個或更多的基準(zhǔn)聲音。根據(jù)另一示例，使用具有小于第一速度值的相關(guān)聯(lián)的第二速度的一個、兩個或更多的基準(zhǔn)聲音以及具有大于第一速度值的相關(guān)聯(lián)的第二速度值的一個、兩個或更多的基準(zhǔn)聲音。

例如，通過內(nèi)插基準(zhǔn)聲音，即通過內(nèi)插與基準(zhǔn)聲音相關(guān)聯(lián)的頻率信息(頻率中的內(nèi)插)以獲得聲音的頻率信息并且通過內(nèi)插與基準(zhǔn)聲音相關(guān)聯(lián)的能量信息(能量中的內(nèi)插)以獲得聲音的能量信息，來獲得與在第一表面上的第一對象的位移相關(guān)聯(lián)的聲音。

根據(jù)變型，僅使用一個基準(zhǔn)聲音來獲得聲音。例如，使用具有最接近于第一速度值的相關(guān)聯(lián)的第二速度值的基準(zhǔn)聲音來生成聲音，要生成的聲音是這個所選擇的基準(zhǔn)聲音。根據(jù)該變型，要獲得的聲音的頻率信息與基準(zhǔn)聲音的頻率信息相同，并且要獲得的聲音的能量信息與基準(zhǔn)聲音的能量信息相同。

例如，隨著時間逐個樣本地獲得聲音。對于給定的樣本，獲得第一速度值，并且基準(zhǔn)聲音的對應(yīng)的樣本根據(jù)其相關(guān)聯(lián)的第二速度值來選擇。

在可選的步驟中，將與所獲得的聲音相關(guān)聯(lián)的頻率信息和能量信息發(fā)送給例如一個或多個揚(yáng)聲器。

根據(jù)另一可選的步驟，由一個或多個揚(yáng)聲器呈現(xiàn)所獲得的聲音。

本公開不限于先前所描述的實施例。

具體地，本公開不限于用于獲得聲音的方法，而是還擴(kuò)展為實現(xiàn)該方法的任何裝置。

本公開還涉及一種生成包括聲音的頻率信息和能量信息的信號的方法以及被配置為生成所述信號的裝置。

本公開還涉及一種呈現(xiàn)所獲得的聲音的方法以及被配置為呈現(xiàn)所獲得的聲音的裝置。

可以例如以方法或處理、裝置、計算機(jī)程序產(chǎn)品、數(shù)據(jù)流或信號來實現(xiàn)在本文所描述的實現(xiàn)方式。盡管僅在以實現(xiàn)方式的單一形式的背景下進(jìn)行了討論(例如僅作為方法或設(shè)備進(jìn)行了討論)，但是所討論的特征的實現(xiàn)方式也可以以其他形式(例如程序)來實現(xiàn)。裝置可以實現(xiàn)為例如適當(dāng)?shù)挠布④浖凸碳?。方法例如可以實現(xiàn)在裝置中，諸如例如通常指代處理設(shè)備的處理器，包括例如計算機(jī)、微處理器、集成電路或可編程邏輯設(shè)備。處理器還包括諸如例如智能電話、平板、計算機(jī)、移動電話、便攜式/個人數(shù)字助理(“PDA”)這樣的通信設(shè)備以及其他便于終端用戶之間的信息通信的設(shè)備。

在本文中所描述的各種處理和特征的實現(xiàn)方式可以實施在各種不同的裝備或應(yīng)用中，具體地，例如與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、紋理處理以及圖像和有關(guān)紋理信息和/或深度信息的其他處理相關(guān)聯(lián)的裝備或應(yīng)用中。這樣的裝備的示例包括編碼器、解碼器、處理來自解碼器的輸出的后處理器、將輸入提供給編碼器的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、膝上型電腦、個人計算機(jī)、蜂窩電話、PDA和其他通信設(shè)備。應(yīng)當(dāng)理解，裝備可以是移動的并且甚至安裝在移動車輛中。

此外，可以通過處理器所執(zhí)行的指令來實現(xiàn)方法，并且這樣的指令(和/或?qū)崿F(xiàn)方式所產(chǎn)生的數(shù)據(jù)值)可以存儲在處理器可讀介質(zhì)上，諸如例如集成電路、軟件載體或其他存儲設(shè)備，諸如例如硬盤、壓縮盤(“CD”)、光盤(諸如例如DVD，一般被稱為數(shù)字多功能盤或數(shù)字視頻盤)、隨機(jī)存取存儲器(“RAM”)或只讀存儲器(“ROM”)。指令可以形成在處理器可讀介質(zhì)上有形地實施的應(yīng)用程序。指令可以在例如硬件、固件、軟件或組合中。指令可以存在于例如操作系統(tǒng)、單獨(dú)的應(yīng)用或二者的組合中。因此，處理器可以被表征為例如被配置為執(zhí)行處理的設(shè)備以及包括具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)的設(shè)備(例如存儲設(shè)備)二者。此外，除了指令之外，或者代替指令地，處理器可讀介質(zhì)還可以存儲實現(xiàn)方式所產(chǎn)生的數(shù)據(jù)值。

對于本領(lǐng)域技術(shù)人員將顯而易見的是，實現(xiàn)方式可以產(chǎn)生被格式化以攜帶例如可以被存儲或發(fā)送的信息的各種信號。信息包括例如用于執(zhí)行方法的指令或所描述的實現(xiàn)方式之一所產(chǎn)生的數(shù)據(jù)。例如，信號可以格式化為攜帶用于寫入或讀取所描述的實施例的語法的規(guī)則作為數(shù)據(jù)，或者攜帶所描述的實施例所寫入的實際語法值作為數(shù)據(jù)。這樣的信號可以被格式化為例如電磁波(例如使用譜的射頻部分)或者基帶信號。格式化可以包括例如對數(shù)據(jù)流進(jìn)行編碼以及以已編碼的數(shù)據(jù)流來調(diào)制載波。信號攜帶的信息可以例如是模擬或數(shù)字信息。如所知的那樣，可以通過各種不同的有線或無線鏈路來發(fā)送信號。信號可以存儲在處理器可讀介質(zhì)上。

已經(jīng)描述了許多實現(xiàn)方式。然而，應(yīng)當(dāng)理解，可以進(jìn)行各種修改。例如，不同實現(xiàn)方式的要素可以組合、補(bǔ)充、修改或移除，以產(chǎn)生其他實現(xiàn)方式。此外，本領(lǐng)域技術(shù)人員將理解到，其他結(jié)構(gòu)和處理可以代替所公開的那些結(jié)構(gòu)和處理，所得實現(xiàn)方式將以與所公開的實現(xiàn)方式至少基本上相同的方式來執(zhí)行與所公開的實現(xiàn)方式至少基本上相同的功能，以實現(xiàn)與所公開的實現(xiàn)方式至少基本上相同的結(jié)果。相應(yīng)地，本申請想到了這些以及其他實現(xiàn)方式。