觸覺感知記錄和回放的制作方法
【專利摘要】本公開涉及觸覺感知記錄和回放。一種系統(tǒng)包括：視頻記錄器，被構(gòu)造為記錄視頻數(shù)據(jù)；傳感器，被構(gòu)造為感測對象的移動，并輸出表示該對象的移動的傳感器數(shù)據(jù)；變換器，被構(gòu)造為將傳感器數(shù)據(jù)變換為觸覺輸出信號；觸覺輸出裝置，被構(gòu)造為基于觸覺輸出信號來向用戶產(chǎn)生觸覺效果；顯示器，被構(gòu)造為顯示視頻；以及處理器，被構(gòu)造為使視頻數(shù)據(jù)和觸覺輸出信號同步，并且將視頻數(shù)據(jù)輸出到顯示器并將觸覺輸出信號輸出到觸覺輸出裝置，以使得觸覺效果與顯示在顯示器上的視頻同步。
【專利說明】觸覺感知記錄和回放
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于提供觸覺感知記錄和回放的系統(tǒng)和方法。
【背景技術(shù)】
[0002]電子裝置允許用戶記錄可以捕捉事件的視覺方面和音頻方面這兩個方面的視頻。電子裝置還可以被編程為在用戶正在觀看電子裝置上播放的視頻時(shí)提供觸覺感知。觸覺感知預(yù)先被編程為使得當(dāng)視頻被播放時(shí)，用戶可以結(jié)合視頻體驗(yàn)觸覺效果，以為該用戶提供更加身臨其境的體驗(yàn)?，F(xiàn)有裝置僅允許觸覺效果在視頻被記錄之后才被確定。目前，創(chuàng)建觸覺效果和感知是非實(shí)時(shí)進(jìn)行的勞動密集型處理。

【發(fā)明內(nèi)容】

[0003]期望能夠在記錄事件的實(shí)時(shí)方面的同時(shí)記錄該事件的視頻，以使得該事件的實(shí)時(shí)方面可以作為觸覺感知與視頻一起回放，以為觀看該視頻并感覺觸覺感知回放的用戶提供更加真實(shí)的、更加身臨其境的體驗(yàn)。與離線地用編程工具進(jìn)行藝術(shù)編輯并編寫試圖使觸覺效果與視頻同步的同步代碼相比，記錄場景中的對象的實(shí)時(shí)數(shù)據(jù)并通過觸覺再現(xiàn)其體驗(yàn)是“捕捉”體驗(yàn)的一種更加直觀的方式。期望簡化這樣的內(nèi)容的創(chuàng)建。
[0004]根據(jù)本發(fā)明的一方面，提供一種系統(tǒng)，該系統(tǒng)包括:視頻記錄器，被構(gòu)造為記錄視頻數(shù)據(jù)；傳感器，被構(gòu)造為感測對象的移動，并輸出表示該對象的移動的傳感器數(shù)據(jù)；變換器，被構(gòu)造為將傳感器數(shù)據(jù)變換為觸覺輸出信號；觸覺輸出裝置，被構(gòu)造為基于觸覺輸出信號向用戶產(chǎn)生觸覺效果；顯示器，被構(gòu)造為顯示視頻；以及處理器，被構(gòu)造為使視頻數(shù)據(jù)和觸覺輸出信號同步，并且將視頻數(shù)據(jù)輸出到顯示器并將觸覺輸出信號輸出到觸覺輸出裝置，以使得觸覺效果與顯示器上顯示的視頻同步。
[0005]在實(shí)施例中，所述系統(tǒng)還包括被構(gòu)造為記錄音頻數(shù)據(jù)的音頻記錄器和被構(gòu)造為放映(project)聲音的揚(yáng)聲器。處理器可以被進(jìn)一步構(gòu)造為:接收音頻數(shù)據(jù)，使音頻數(shù)據(jù)與視頻數(shù)據(jù)和觸覺輸出信號同步，并將音頻數(shù)據(jù)輸出到揚(yáng)聲器，以使得聲音與顯示器上顯示的視頻和觸覺輸出裝置產(chǎn)生的觸覺效果同步。
[0006]在實(shí)施例中，視頻記錄器、音頻記錄器和傳感器是同一電子裝置的部分。在實(shí)施例中，觸覺輸出裝置、顯示器和揚(yáng)聲器是同一電子裝置的部分。在實(shí)施例中，視頻記錄器、音頻記錄器、傳感器、觸覺輸出裝置、顯示器、揚(yáng)聲器和處理器是同一電子裝置的部分。在實(shí)施例中，觸覺輸出裝置和顯示器是同一電子裝置的部分。
[0007]在實(shí)施例中，處理器包括變換器，并且還包括被構(gòu)造為使視頻數(shù)據(jù)和觸覺輸出信號同步的解碼器。
[0008]在實(shí)施例中，傳感器選自由以下構(gòu)成的組:加速度計(jì)、陀螺儀和接觸壓力傳感器。
[0009]在實(shí)施例中，所述系統(tǒng)包括多個傳感器，并且所述多個傳感器選自由以下構(gòu)成的組:加速度計(jì)、陀螺儀和接觸壓力傳感器。
[0010]根據(jù)本發(fā)明的一方面，提供一種系統(tǒng)，該系統(tǒng)包括:顯示器，被構(gòu)造為顯示視頻；視頻記錄器，被構(gòu)造為記錄視頻數(shù)據(jù)；傳感器，被構(gòu)造為感測對象的移動，并輸出代表該對象的移動的傳感器數(shù)據(jù)；變化器，被構(gòu)造為將傳感器數(shù)據(jù)變換為觸覺輸出信號；以及電子手持裝置。電子手持裝置包括:觸覺輸出裝置，被構(gòu)造為基于觸覺輸出信號向手持裝置的用戶產(chǎn)生觸覺效果；以及處理器，被構(gòu)造為使視頻數(shù)據(jù)和觸覺輸出信號同步，并且將視頻數(shù)據(jù)輸出到顯示器并將觸覺輸出信號輸出到觸覺輸出裝置，以使得觸覺效果與顯示在顯示器上的視頻同步。
[0011]根據(jù)本發(fā)明的一方面，提供一種方法，該方法包括:用視頻記錄器記錄視頻；用傳感器感測視頻中正在記錄的對象的移動；將所感測的移動變換為觸覺輸出信號；并使視頻和觸覺速出信號同步。
[0012]在實(shí)施例中，所述方法包括:基于觸覺輸出信號產(chǎn)生至少一種觸覺效果，并與觸覺效果同步地在顯示器上顯示視頻。
[0013]在實(shí)施例中，所述方法包括用音頻記錄器記錄音頻并使音頻與視頻和觸覺輸出信號同步。
[0014]在實(shí)施例中，所述方法包括:基于觸覺輸出信號產(chǎn)生觸覺效果；在顯示器上顯示視頻；用揚(yáng)聲器放映音頻，以使得觸覺效果與顯示在顯示器上的視頻和揚(yáng)聲器放映的音頻同步。
【專利附圖】

【附圖說明】
[0015]以下圖的組件被示出是為了強(qiáng)調(diào)本公開的總原理，不一定是按比例繪制的。為了一致和清晰，必要時(shí)在所有圖中重復(fù)指定相應(yīng)組件的參考字符。
[0016]圖1示出用于記錄并提供觸覺效果的系統(tǒng)的實(shí)施例；
[0017]圖2示出可以用作圖1的系統(tǒng)的部分的可佩戴傳感器的實(shí)施例；
[0018]圖3示出表示可以被圖2的傳感器測量的、作為時(shí)間的函數(shù)的垂直加速度的信號;
[0019]圖4示出表示可以被圖2的傳感器測量的、作為時(shí)間的函數(shù)的加速度的信號；和
[0020]圖5是根據(jù)本發(fā)明的實(shí)施例的方法的流程圖。
【具體實(shí)施方式】
[0021]圖1示出根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)100。如所示，系統(tǒng)100包括一個或多個傳感器102、視頻記錄器104和音頻記錄器106，傳感器102被構(gòu)造為感測對象的移動，并將所感測的移動轉(zhuǎn)換為傳感器數(shù)據(jù)，視頻記錄器104被構(gòu)造為捕捉并記錄圖像，音頻記錄器106被構(gòu)造為捕捉并記錄聲音。在實(shí)施例中，傳感器102 (—個或多個)、視頻記錄器104和音頻記錄器106可以是同一電子裝置的部分。在實(shí)施例中，視頻記錄器104和音頻記錄器106可以是同一電子裝置的部分，傳感器102 (—個或多個)可以與包括視頻記錄器104和音頻記錄器106的電子裝置分離。在實(shí)施例中，傳感器102 (—個或多個)、視頻記錄器104和音頻記錄器106可以是單獨(dú)的獨(dú)立裝置或單獨(dú)的獨(dú)立裝置的部分。
[0022]如以下更詳細(xì)地討論的，處理器110被構(gòu)造為對傳感器102 (—個或多個)、視頻記錄器104和音頻記錄器輸出的信號和數(shù)據(jù)進(jìn)行處理。系統(tǒng)100還包括輸入變換器112、輸出變換器114和解碼器116，輸入變換器112、輸出變換器114可以是處理器110的部分，解碼器116也可以是處理器110的部分。以下更詳細(xì)地討論輸入變換器112、輸出變換器114和解碼器116的各方面。
[0023]如圖1所示，系統(tǒng)100還包括觸覺輸出裝置118、顯示器120和揚(yáng)聲器122，觸覺輸出裝置118被構(gòu)造為向系統(tǒng)的用戶輸出觸覺效果，顯示器120被構(gòu)造為顯示圖像，諸如視頻記錄器104捕捉的圖像，揚(yáng)聲器122被構(gòu)造為輸出聲音，該聲音可以是音頻記錄器106捕捉的聲音。如以下更詳細(xì)地討論的，觸覺輸出裝置118、顯示器120和揚(yáng)聲器122可以是電子回放裝置130的部分。在實(shí)施例中，觸覺輸出裝置118、顯示器120和揚(yáng)聲器122可以是被構(gòu)造為彼此通過例如無線連接進(jìn)行通信的單獨(dú)的裝置。在實(shí)施例中，觸覺輸出裝置118可以是可佩戴裝置的部分，顯示器120可以是電視的部分，以及揚(yáng)聲器122可以是與顯示器120分離的無線揚(yáng)聲器。
[0024]觸覺輸出裝置118可以包括致動器，例如，電磁致動器(諸如其中通過電機(jī)使偏心質(zhì)量移動的偏心旋轉(zhuǎn)質(zhì)量(“ERM”)、其中附連到彈簧的質(zhì)量被來回驅(qū)動的線性諧振致動器(“LRA”))、或“智能材料”(諸如壓電、電活性聚合物或形狀記憶合金、微復(fù)合纖維致動器、靜電致動器、電觸感致動器)、和/或提供物理反饋(諸如觸覺(例如，振動觸感)反饋)的任何類型的致動器。觸覺輸出裝置118可以包括非機(jī)械或非振動裝置，諸如使用靜電摩擦(ESF)、超聲表面摩擦(USF)的那些裝置、或用超聲觸覺換能器引起聲輻射壓力的那些裝置、或使用觸覺基板和柔性的或可變形的表面的那些裝置、或使用空氣噴射提供投射觸覺輸出(諸如一陣空氣)的那些裝置、等等。
[0025]電子存儲器124可以用于存儲感測器102 (—個或多個)所感測的數(shù)據(jù)，電子存儲器126可以用于存儲視頻記錄器104所記錄的數(shù)據(jù)，電子存儲器128可以用于存儲音頻記錄器106所記錄的數(shù)據(jù)。存儲器124、126、128可以包括一個或多個內(nèi)部固定存儲單元、可移動存儲單元、和/或可遠(yuǎn)程訪問存儲單元。各種存儲單元可以包括易失性存儲器和/或非易失性存儲的任何組合。存儲單元可以被構(gòu)造為存儲信息、數(shù)據(jù)、指令、軟件代碼等的任何組合。在傳感器102 (—個或多個)、視頻記錄器104和音頻記錄器106是同一電子裝置的部分的實(shí)施例中，存儲器124、126、128可以位于同一位置上。在視頻記錄器104和音頻記錄器106是同一電子裝置的部分的實(shí)施例中，存儲器126、128可以位于同一位置上。
[0026]在實(shí)施例中，用戶可以使用視頻記錄器104和/或音頻記錄器106來記錄場景或事件的視頻和/或音頻。在實(shí)施例中，視頻記錄器104和音頻記錄器106可以是同一電子裝置(諸如便攜式攝像機(jī)、智能電話等)的部分。如以上所討論的，被記錄的視頻和音頻可以被存儲在電子存儲器126中。在實(shí)施例中，傳感器102 (—個或多個)可以被放置在感興趣對象(諸如視頻中正在記錄的對象)上。
[0027]如以上所討論的，傳感器102 (—個或多個)所產(chǎn)生的數(shù)據(jù)可以被存儲在電子存儲器124中。另外，如圖1所示，傳感器102 (—個或多個)所產(chǎn)生的數(shù)據(jù)可以在被存儲在電子存儲器124中之前被輸入變換器112變換。傳感器數(shù)據(jù)的變換被認(rèn)為是可選步驟，是否需要變換可以取決于所使用的傳感器的性質(zhì)。以下更詳細(xì)地討論傳感器102的實(shí)施例的細(xì)節(jié)。
[0028]解碼器116 (可以是被構(gòu)造為回放視頻(即，媒體文件)的媒體播放器的部分)被構(gòu)造為:從電子存儲器124讀取傳感器102 (—個或多個)所產(chǎn)生的數(shù)據(jù)，并在時(shí)間上將該數(shù)據(jù)與被記錄并且被存儲在電子存儲器126中的音頻數(shù)據(jù)和視頻數(shù)據(jù)相關(guān)聯(lián)。在媒體回放期間，解碼器116可以使傳感器數(shù)據(jù)通過輸出變換器114，輸出變換器114被構(gòu)造為將傳感器數(shù)據(jù)變換為觸覺輸出信號或觸覺感覺命令，包括，但不限于，振動、表面摩擦調(diào)制、皮膚擰捏、皮膚擠壓等。解碼器116可以被構(gòu)造為使從傳感器數(shù)據(jù)變換的觸覺輸出信號與視頻數(shù)據(jù)和音頻數(shù)據(jù)同步，以使得在回放期間觸覺效果與視頻和音頻同步。在實(shí)施例中，可以通過在回放期間確保時(shí)間在視頻數(shù)據(jù)、音頻數(shù)據(jù)和觸覺效果中相同來完成同步。
[0029]處理器110可以是用于管理或控制系統(tǒng)100的操作和功能的通用或?qū)Ｓ锰幚砥骰蛭⒖刂破鳌＠?，處理?10可以被專門設(shè)計(jì)為控制將提供觸覺效果的信號輸出到觸覺輸出裝置118的專用集成電路(“ASIC”)。處理器110可以被構(gòu)造為基于預(yù)定義因素來決定要產(chǎn)生什么觸覺效果、產(chǎn)生觸覺效果的次序、以及觸覺效果的幅度、頻率、持續(xù)時(shí)間和/或其他參數(shù)。處理器110還可以被構(gòu)造為提供可以用于驅(qū)動用于提供特定觸覺效果的觸覺輸出裝置118的流傳輸命令。在一些實(shí)施例中，處理器110實(shí)際上可以包括多個處理器，每個處理器被構(gòu)造為執(zhí)行系統(tǒng)100內(nèi)的某些功能。處理器110還可以包括包括一個或多個存儲器件的存儲器，這些存儲器件可以包括觸覺效果配置文件、關(guān)于要如何驅(qū)動觸覺輸出裝置118的指令、和/或用于產(chǎn)生觸覺效果的其他信息。在圖1中所示的整個系統(tǒng)100是單個電子裝置的部分的實(shí)施例中，存儲器124、126可以是處理器110的部分。
[0030]然后可以將觸覺輸出信號從處理器110 (例如，從處理器110的解碼器116)發(fā)送到觸覺輸出裝置118，以使得通過包括觸覺輸出裝置118的電子回放裝置130體驗(yàn)媒體的人(一個或多個)可以更充分地體驗(yàn)正在回放的事件。電子回放裝置130可以是任何裝置，諸如電子手持裝置(諸如移動電話)、游戲裝置、個人數(shù)字助理(“PDA”)、便攜式電子郵件裝置、便攜式互聯(lián)網(wǎng)接入裝置、計(jì)算器、平板等。電子回放裝置130可以包括，但不限于，具有顯示媒體的顯示器120 (可以是高清晰顯示器)的手持裝置、能夠生成觸覺感知或效果的手持對象、或附連到用戶的身體、搭靠在用戶的身體上、或以其他方式將觸感感知和觸覺效果發(fā)送到用戶的對象。
[0031 ] 在實(shí)施例中，處理器110和觸覺輸出裝置118可以是電子手持裝置(可以是電話或平板)的部分，并且電子手持裝置被構(gòu)造為將視頻數(shù)據(jù)輸出到單獨(dú)的顯示器120 (可以是電視)。
[0032]在實(shí)施例中，系統(tǒng)100可以包括具有陀螺儀、指南針和用于傳感器102的三軸加速度計(jì)傳感器、以及用于視頻記錄器104的內(nèi)置照相機(jī)的移動電話。在這種情況下，圖1中所示的所有組件(包括數(shù)據(jù)記錄傳感器102、視頻記錄器104、音頻記錄器106、包括解碼器116和輸出變換器114的處理器110、觸覺輸出裝置118、顯示器120、揚(yáng)聲器122、輸入變換器112以及電子存儲器124、126)可以是自備的，并且整個系統(tǒng)100可以被貼附到進(jìn)行感興趣的活動的人或一件裝備。
[0033]在實(shí)施例中，第一人稱視角攝像機(jī)可以被安裝到進(jìn)行感興趣的活動的頭盔或一件裝備，并且攝像機(jī)可以合并若干個數(shù)據(jù)傳感器102 (諸如加速度計(jì)、全球定位系統(tǒng)(“GPS”)和陀螺儀)、輸入變換器112 (如果需要的話)、電子存儲器124、視頻記錄器104、音頻記錄器106和電子存儲器126。如以上所討論的，系統(tǒng)100的其余部分(諸如包括解碼器116和輸出變換器114的處理器110、觸覺輸出裝置118、顯示器120和揚(yáng)聲器122)可以被安置在單獨(dú)的回放裝置(諸如電子回放裝置130)中。
[0034]在實(shí)施例中，傳感器102 (—個或多個)(可以包括諸如加速度計(jì)、GPS等的一個或多個數(shù)據(jù)傳感器)可以被貼附到進(jìn)行感興趣的活動的人或裝備。傳感器102 (—個或多個)可以容納在傳感器盒或被構(gòu)造為保護(hù)傳感器102 (—個或多個)的某一其他容器中。傳感器盒可以具有內(nèi)置的數(shù)據(jù)記錄裝置(諸如輸入變換器112和電子存儲器124)，或者可以依賴于與在活動期間記錄數(shù)據(jù)的輔助裝置(諸如移動裝置)的數(shù)據(jù)連接。
[0035]在實(shí)施例中，傳感器102 (—個或多個)可以被安裝在作為視頻的對象的人上，視頻記錄器104 (可選地，還有音頻記錄器106)可以由另一個人操作。例如，作為視頻的對象的人可以是滑雪者，至少一個傳感器102可以被附連到該滑雪者的靴子上和/或其他件衣服或裝備(諸如該滑雪者的滑雪板)上。傳感器102 (—個或多個)可以包括被構(gòu)造為提供滑雪板所體驗(yàn)的重力加速度的加速度計(jì)、被構(gòu)造為提供滑雪板的方位的陀螺儀傳感器、以及被構(gòu)造為提供由滑雪者的靴子施加于滑雪板的負(fù)載的接觸壓力傳感器。在實(shí)施例中，音頻記錄器106可以被附連到一件衣服或裝備(諸如滑雪者的頭盔)，以使得滑雪板越過雪的聲音可以被捕捉。
[0036]在實(shí)施例中，可以發(fā)起記錄會話，在記錄會話中，與視頻和音頻數(shù)據(jù)一起記錄加速度數(shù)據(jù)、陀螺儀數(shù)據(jù)和接觸壓力數(shù)據(jù)的流。視頻記錄器104和/或音頻記錄器106可以被安裝到滑雪者的頭盔。在實(shí)施例中，視頻記錄器104和/或音頻記錄器106可以是安裝在冰雪公園的在其要進(jìn)行滑雪活動的半管滑雪道中的各個地方的攝像機(jī)的陣列。在實(shí)施例中，如上所述，視頻記錄器104可以是被安置在冰雪公園的半管滑雪道中的各個地方的攝像機(jī)的陣列，并且音頻記錄器106可以被安裝到滑雪者的一件衣服或裝備?？梢允褂脗鞲衅?02(一個或多個)、視頻記錄器104和音頻記錄器106的位置的其他組合，這些其他組合可以取決于被記錄的活動，以使得電子回放裝置130的用戶在回放期間可以實(shí)現(xiàn)最佳觸覺/音頻/視覺體驗(yàn)?？梢酝ㄟ^可以駐存在圖1中所示的系統(tǒng)100的處理器110中的記錄軟件來管理所有這些數(shù)據(jù)流的同步。
[0037]在實(shí)施例中，可以使用允許將除了視頻和音頻之外的數(shù)據(jù)存儲在單個文件容器中的靈活容器格式，諸如MPEG-4。在這樣的實(shí)施例中，在記錄期間可能需要一組特定的編碼器來將傳感器數(shù)據(jù)放置到MPEG-4文件中。在實(shí)施例中，可以編寫將非音頻和視頻(A/V)傳感器數(shù)據(jù)存儲在單獨(dú)的文件中的特殊軟件，但是該傳感器數(shù)據(jù)中具有使得可以在回放時(shí)適當(dāng)同步的特殊標(biāo)記。在本實(shí)施例中，除了將傳感器數(shù)據(jù)成形為符合所設(shè)計(jì)的記錄格式之外，可能需要應(yīng)用極少的輸入變換。確切格式可以由實(shí)現(xiàn)者確定。一旦滑雪者已經(jīng)完成他或她的活動，就可以停止記錄。可以關(guān)閉MPEG-4文件，并且所有的傳感器數(shù)據(jù)都可以駐存在MPEG-4文件中。
[0038]在實(shí)施例中，回放裝置可以是圖1的電子回放裝置130，并且可以是具有顯示器120、揚(yáng)聲器122和作為提供觸覺效果的觸覺輸出裝置118的振動裝置的移動電話或平板的形式。在實(shí)施例中，回放裝置可以是游戲機(jī)，該游戲機(jī)與具有顯示器120和揚(yáng)聲器122的電視連接，并且還與包括提供觸覺效果的觸覺輸出裝置118的游戲外設(shè)(諸如游戲手柄)連接。
[0039]在以后的時(shí)間或與進(jìn)行活動同時(shí)地，一個或多個觀看者可能對體驗(yàn)該活動感興趣。為了回放活動，觀看者可以啟動他們的回放裝置上的以體驗(yàn)執(zhí)行者的活動為目的的合適的回放軟件。在實(shí)施例中，回放軟件可以包括合并解碼器116所執(zhí)行的傳感器解碼方案的播放器軟件應(yīng)用程序、以及可以由輸出變換器114運(yùn)行以便將傳感器數(shù)據(jù)變換為適合于回放裝置中的觸覺輸出裝置118的觸覺輸出信號的輸出變換軟件。在實(shí)施例中，播放器軟件應(yīng)用程序可以合并傳感器解碼方案。播放器軟件可以依賴于駐存在回放裝置上或以其他方式預(yù)裝在回放裝置上的輸出變換軟件，并且這樣的輸出變換軟件可以將傳感器數(shù)據(jù)變換為適合于回放裝置中的觸覺輸出裝置118的觸覺輸出信號。換句話講，輸出變換器114和/或解碼器116可以被安置在回放裝置中。
[0040]在實(shí)施例中，播放器軟件應(yīng)用程序可以依賴于回放裝置的、執(zhí)行媒體回放的、合并傳感器解碼方案的操作系統(tǒng)軟件。該操作系統(tǒng)軟件可以依賴于駐存在回放裝置上或以其他方式預(yù)裝在回放裝置上的輸出變換軟件，這樣的輸出變換軟件將傳感器數(shù)據(jù)變換為適合于回放裝置中的觸覺輸出裝置118的觸覺輸出信號。觀看者于是可以體驗(yàn)與表演的觀看相關(guān)聯(lián)的觸覺感知，這樣的觸覺感知由輸出變換軟件生成。
[0041]在實(shí)施例中，輸出變換軟件可以包括傳感器數(shù)據(jù)中的一些，而其他傳感器數(shù)據(jù)則可以被忽略。例如，可以包括陀螺儀數(shù)據(jù)，而接觸壓力傳感器數(shù)據(jù)則可以被忽略?？梢酝ㄟ^計(jì)算X-Y-Z加速度分量的矢量幅度來計(jì)算加速度數(shù)據(jù)的幅度。然后可以對該加速度幅度信號進(jìn)行帶通濾波，以使得僅輸出20-200HZ范圍內(nèi)的加速度幅度信號，其他頻率內(nèi)容被濾除。然后可以對濾波的加速度信號進(jìn)行軟拐點(diǎn)壓縮算法以緩和地將輸出幅度裁剪在+6與-6geeS之間，然后使所有負(fù)信號歸零/被忽略，所得的壓縮的單邊的輸出信號可以用于將觸覺輸出裝置所提供的振動的幅度控制在O - 100%振動之間。這樣，觀看者可以感覺到執(zhí)行者的滑雪板感覺到的加速度變量的表示。
[0042]在實(shí)施例中，可以以以下方式將加速度數(shù)據(jù)、陀螺儀數(shù)據(jù)和接觸壓力傳感器數(shù)據(jù)組合為觸覺輸出信號。每當(dāng)接觸壓力低時(shí)，滑雪者可以被假定為正在跳躍，因此，所有的觸覺輸出都?xì)w零。當(dāng)接觸壓力非常大時(shí)，可以將接觸壓力與加速度幅度相乘。然后可以將該輸出與方位信號的變化(從陀螺儀信號推導(dǎo)的方位前進(jìn)方向的一階時(shí)間導(dǎo)數(shù))相乘以獲得“活動強(qiáng)度”信號。然后可以以獲得執(zhí)行者在滑雪活動期間所體驗(yàn)的感知范圍的合理表示的這樣的方式對該信號進(jìn)行濾波和壓縮，并且可以將該信號應(yīng)用于回放裝置的觸覺輸出裝置118。
[0043]在實(shí)施例中，每當(dāng)接觸壓力低時(shí)，滑雪者可以被假設(shè)為正在跳躍，因此，所有的觸覺輸出都?xì)w零。當(dāng)接觸壓力非常大時(shí)，可以將加速度幅度帶通濾波在例如100-200HZ范圍內(nèi)，并且可以使用硬拐點(diǎn)壓縮器對其輸出范圍進(jìn)行高度壓縮。該信號可以應(yīng)用于回放裝置的觸覺輸出裝置118。
[0044]握住觸覺輸出裝置118或以其他方式與觸覺輸出裝置118接觸的觀看者于是可以感覺到由輸出變換器114生成并且由觸覺輸出裝置118輸出的感知。
[0045]例子
[0046]通過使用視頻和同時(shí)獲取的傳感器讀數(shù)來產(chǎn)生足夠的觸覺效果/感知。如圖2所示，三軸加速度計(jì)被用于傳感器102，并且通過使用皮帶而被固定到第一滑雪者的靴子。如圖2所示，三軸加速度計(jì)被定向?yàn)槭沟孟鄬τ诨┱叩难プ拥姆轿?，X軸從上到下大致對齊，Y軸從后到前大致對齊，Z軸從右到左大致對齊。便攜式攝像機(jī)被用于視頻記錄器104和音頻記錄器106，并且由第二滑雪者操作，第二滑雪者跟隨第一滑雪者，以便當(dāng)?shù)谝换┱弋a(chǎn)生傳感器數(shù)據(jù)時(shí)產(chǎn)生視頻和音頻數(shù)據(jù)。
[0047]在所有數(shù)據(jù)都被記錄之后，使來自傳感器102 (加速度計(jì))的寄存數(shù)據(jù)與視頻記錄器104和音頻記錄器106所記錄的視頻圖像和音頻數(shù)據(jù)同步。要求第一滑雪者在開始下降之前實(shí)現(xiàn)四次跳躍。通過逐個圖像地對來自視頻記錄器104的視頻饋送進(jìn)行分析來檢測這四次跳躍的時(shí)序。另外，如圖3所示，當(dāng)這些跳躍轉(zhuǎn)變?yōu)樗膫€連續(xù)峰值時(shí)，通過對來自傳感器102的垂直加速度信號Ax進(jìn)行分析來檢測跳躍的時(shí)序。因?yàn)榧铀俣扔?jì)讀數(shù)帶有時(shí)間戳，所以可以提取加速度并使這些加速度與整個視頻同步。
[0048]在使數(shù)據(jù)同步之后，自動地檢測與在空中跳躍之后或在任何對象(例如，軌道)上彈跳時(shí)的降落的時(shí)刻相關(guān)的、被稱為“撞擊”的特定事件。可以通過在與降落方向相關(guān)的加速度信號中創(chuàng)建一個突然的峰值來表征這些撞擊。在滑雪時(shí)，降落可以是垂直的或“傾斜的”，所以計(jì)算用于每個加速度采樣的矢量Ax+Ay的幅度。每當(dāng)幅值高于某一閾值時(shí)，就認(rèn)為該采樣表示撞擊。對于每個檢測到的撞擊，在觸覺蹤跡中在該撞擊發(fā)生時(shí)將撞擊效果作為觸覺效果引入。效果強(qiáng)度與撞擊幅度相關(guān)。
[0049]捕捉滑雪板在其上滑動的表面的紋理，并使用以下方法在觸覺蹤跡中表示該紋理。使用快速傅里葉變換(“FFT”)將分別由圖4中的401、402、403表示的三個加速度信號Ax、Ay和Az中的每個從時(shí)域變換到頻域。然后將這三個頻域信號作為矢量相加以形成單個信號AtMnsf。如圖4中404所表示的，這后一個信號最后被轉(zhuǎn)變回頻域中變?yōu)锳tans信號。將三個信號變換為一個信號的這種技術(shù)在本領(lǐng)域中是已知的，因此，本文中不提供該變換的具體細(xì)節(jié)。
[0050]然后通過線性插值將單個Atans信號404從其原始采樣速率(即，400Hz)上采樣到8000Hz。在這個插值信號中，所有對應(yīng)于撞擊的值都被擬合為O。然后將所得的信號與具有120Hz與270Hz之間的隨機(jī)頻率的正弦波相乘，然后對該信號進(jìn)行規(guī)范化并直接復(fù)制在觸覺蹤跡中，觸覺蹤跡從而將包含紋理效果和撞擊效果。觸覺輸出裝置118然后在回放裝置中回放觸覺蹤跡。在實(shí)施例中，當(dāng)加速度信號被欠采樣(例如，以采樣速率〈100Hz)時(shí)，可以通過在捕捉的數(shù)據(jù)采樣之間添加貝葉斯白噪聲，而不是進(jìn)行插值來將變換的信號上采樣到 8000Hz ο
[0051]在實(shí)施例中，可以檢測滑雪板的“擺動”(即，左到右方向的變化或“s曲線”)，并且可以創(chuàng)建相關(guān)的觸覺效果并將該觸覺效果與紋理和撞擊相加。在實(shí)施例中，可以使用滑雪板本身、而不是滑雪者的加速度。在實(shí)施例中，可以在將加速度信號與Atransf信號相加之前使這些加速度信號在頻域中偏移150Hz。
[0052]圖5示出根據(jù)本文中所描述的本發(fā)明的實(shí)施例的方法500。方法500從502開始。在504，用視頻記錄器(諸如上述視頻記錄器104)記錄視頻，并用傳感器(諸如上述傳感器102)感測視頻記錄器正在記錄的對象的移動。在506，將傳感器所感測的移動變換為觸覺輸出信號，并且在508，使視頻和觸覺輸出信號同步。該方法可以在512結(jié)束。在實(shí)施例中，該方法還可以包括:用例如上述觸覺輸出裝置118來基于觸覺輸出信號產(chǎn)生觸覺效果，并在顯示器(諸如上述顯示器120)上顯示視頻，以使得在回放裝置(諸如上述電子回放裝置130)上回放期間觸覺效果與顯示在顯示器上的視頻同步。在實(shí)施例中，在回放裝置上回放期間，還可以記錄音頻、使音頻同步并放映音頻。
[0053]本文中所描述的實(shí)施例允許內(nèi)容創(chuàng)建者記錄媒體(諸如視頻和/或音頻)和其他數(shù)據(jù)，可能對它進(jìn)行變換，并發(fā)送與內(nèi)容創(chuàng)建者所體驗(yàn)和記錄的媒體相關(guān)聯(lián)的觸覺感知。記錄和變換真實(shí)世界的傳感器數(shù)據(jù)以生成觸覺輸出是產(chǎn)生觸覺內(nèi)容的一種成本更加有效的方式(當(dāng)手工創(chuàng)作觸覺信號的合成時(shí)相比)，并且可以通過適當(dāng)?shù)妮敵鲎儞Q生成上下文合適的“現(xiàn)實(shí)的”感知。
[0054]本文中所描述的實(shí)施例表示若干種可能的實(shí)現(xiàn)和例子，而非意圖一定使本公開限于任何特定實(shí)施例。例如，在上述實(shí)施例中，共同的能力是除了典型的視頻和音頻饋送之外還收集和記錄傳感器數(shù)據(jù)中的一個。如本領(lǐng)域的普通技術(shù)人員將理解的，可以對這些實(shí)施例進(jìn)行各種修改。任何這樣的修改意在于包括在本公開的精神和范圍內(nèi)并且受到權(quán)利要求書的保護(hù)。
【權(quán)利要求】
1.一種系統(tǒng)，包括: 視頻記錄器，所述視頻記錄器被構(gòu)造為記錄視頻數(shù)據(jù)； 傳感器，所述傳感器被構(gòu)造為感測對象的移動，并輸出表示所述對象的移動的傳感器數(shù)據(jù)； 變換器，所述變換器被構(gòu)造為將所述傳感器數(shù)據(jù)變換為觸覺輸出信號； 觸覺輸出裝置，所述觸覺輸出裝置被構(gòu)造為基于所述觸覺輸出信號來向用戶產(chǎn)生觸覺效果； 顯示器，所述顯示器被構(gòu)造為顯示視頻；和 處理器，所述處理器被構(gòu)造為使所述視頻數(shù)據(jù)和所述觸覺輸出信號同步，并且將所述視頻數(shù)據(jù)輸出到所述顯示器并將所述觸覺輸出信號輸出到所述觸覺輸出裝置，以使得所述觸覺效果與顯示在所述顯示器上的所述視頻同步。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括被構(gòu)造為記錄音頻數(shù)據(jù)的音頻記錄器和被構(gòu)造為放映聲音的揚(yáng)聲器，其中，所述處理器被進(jìn)一步構(gòu)造為:接收所述音頻數(shù)據(jù)，使所述音頻數(shù)據(jù)與所述視 頻數(shù)據(jù)和所述觸覺輸出信號同步，并將所述音頻數(shù)據(jù)輸出到所述揚(yáng)聲器，以使得所述聲音與顯示在所述顯示器上的所述視頻和所述觸覺輸出裝置產(chǎn)生的所述觸覺效果冋步。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述視頻記錄器、音頻記錄器和傳感器是同一電子裝置的部分。
4.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述觸覺輸出裝置、顯示器和揚(yáng)聲器是同一電子裝置的部分。
5.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述視頻記錄器、音頻記錄器、傳感器、觸覺輸出裝置、顯示器、揚(yáng)聲器和處理器是同一電子裝置的部分。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述觸覺輸出裝置和顯示器是同一電子裝置的部分。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理器包括所述變換器，并且還包括被構(gòu)造為使所述視頻數(shù)據(jù)和所述觸覺輸出信號同步的解碼器。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述傳感器選自由以下構(gòu)成的組:加速度計(jì)、陀螺儀和接觸壓力傳感器。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)包括多個傳感器，并且其中，所述多個傳感器選自由以下構(gòu)成的組:加速度計(jì)、陀螺儀和接觸壓力傳感器。
10.一種系統(tǒng),包括: 顯示器，所述顯示器被構(gòu)造為顯示視頻； 視頻記錄器，所述視頻記錄器被構(gòu)造為記錄視頻數(shù)據(jù)； 傳感器，所述傳感器被構(gòu)造為感測對象的移動，并輸出代表所述對象的移動的傳感器數(shù)據(jù)； 變換器，所述變換器被構(gòu)造為將所述傳感器數(shù)據(jù)變換為觸覺輸出信號；和 電子手持裝置，所述電子手持裝置包括: 觸覺輸出裝置，所述觸覺輸出裝置被構(gòu)造為基于所述觸覺輸出信號向所述手持裝置的用戶產(chǎn)生觸覺效果；和處理器，所述處理器被構(gòu)造為:使所述視頻數(shù)據(jù)和所述觸覺輸出信號同步，并且將所述視頻數(shù)據(jù)輸出到所述顯示器并將所述觸覺輸出信號輸出到所述觸覺輸出裝置，以使得所述觸覺效果與顯示在所述顯示器上的所述視頻同步。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，還包括被構(gòu)造為記錄音頻數(shù)據(jù)的音頻記錄器和被構(gòu)造為放映聲音的揚(yáng)聲器，其中，所述處理器被進(jìn)一步構(gòu)造為:接收所述音頻數(shù)據(jù)，使所述音頻數(shù)據(jù)與所述視頻數(shù)據(jù)和所述觸覺輸出信號同步，并將所述音頻數(shù)據(jù)輸出到所述揚(yáng)聲器，以使得所述聲音與顯示在所述顯示器上的所述視頻和所述觸覺輸出裝置產(chǎn)生的所述觸覺效果同步。
12.—種方法,包括: 用視頻記錄器記錄視頻； 用傳感器感測所述視頻中正在記錄的對象的移動； 將所感測的移動變換為觸覺輸出信號；和 使所述視頻和所述觸覺輸出信號同步。
13.根據(jù)權(quán)利要求 12所述的方法，還包括: 基于所述觸覺輸出信號產(chǎn)生至少一種觸覺效果；和 在顯示器上與所述觸覺效果同步地顯示所述視頻。
14.根據(jù)權(quán)利要求12所述的方法，還包括用音頻記錄器記錄音頻并使所述音頻與所述視頻和所述觸覺輸出信號同步。
15.根據(jù)權(quán)利要求14所述的方法，還包括:基于所述觸覺輸出信號產(chǎn)生觸覺效果；在顯示器上顯示所述視頻；和用揚(yáng)聲器放映所述音頻，以使得所述觸覺效果與顯示在所述顯示器上的所述視頻和所述揚(yáng)聲器放映的所述音頻同步。
16.根據(jù)權(quán)利要求12所述的方法，其中，所述傳感器選自由以下構(gòu)成的組:加速度計(jì)、陀螺儀和接觸壓力傳感器。
【文檔編號】G06F3/01GK103970266SQ201410032645
【公開日】2014年8月6日 申請日期:2014年1月24日 優(yōu)先權(quán)日:2013年1月24日
【發(fā)明者】R·拉克羅伊克斯, J·M·克魯茲-埃爾南德斯, J·薩布恩 申請人:英默森公司