下視頻均呈現(xiàn)給 一個(gè)或多個(gè)接收者。視頻可以在若干設(shè)備上被回放，這些設(shè)備包括但不限于智能電話或平 板計(jì)算機(jī)、計(jì)算機(jī)、家庭影院系統(tǒng)等?？梢酝ㄟ^使用不同的觸覺輸出設(shè)備132類似地產(chǎn)生觸 覺效果，觸覺輸出設(shè)備132位于智能電話或平板計(jì)算機(jī)，諸如頭戴式顯示設(shè)備、腕帶、戒指或 手套之類的可穿戴設(shè)備，或諸如椅子或桌子之類的一件家具上。
[0041] 圖2A示意性地說明了作為上面參考圖1A和1B所描述的系統(tǒng)100的實(shí)施例的系統(tǒng) 200。在圖2A所說明的實(shí)施例中，傳感器102可以包括移動(dòng)/振動(dòng)獲取設(shè)備210，其可以包括被 構(gòu)造和布置為測(cè)量關(guān)注主體的移動(dòng)和/或振動(dòng)的非接觸測(cè)量設(shè)備212,和/或被構(gòu)造和布置 為測(cè)量關(guān)注主體的移動(dòng)和/或振動(dòng)的跟蹤設(shè)備214。雖然非接觸測(cè)量設(shè)備212和跟蹤設(shè)備214 均被說明為移動(dòng)/振動(dòng)設(shè)備210的一部分，但在一些實(shí)施例中，移動(dòng)/振動(dòng)設(shè)備210可以包括 非接觸測(cè)量設(shè)備212或跟蹤設(shè)備214中的僅僅一個(gè)設(shè)備。系統(tǒng)200還包括視頻/音頻記錄器 220、變換器230和電子回放設(shè)備240,電子回放設(shè)備240包括被配置為產(chǎn)生代表由移動(dòng)/振動(dòng) 獲取設(shè)備210獲取的移動(dòng)和/或振動(dòng)的觸覺效果HE的至少一個(gè)觸覺輸出設(shè)備242,以及被配 置為顯示由視頻/音頻記錄器220獲取的圖像的顯示器244。
[0042]在實(shí)施例中，非接觸測(cè)量設(shè)備212可以是被配置為測(cè)量關(guān)注主體的振動(dòng)的激光測(cè) 振儀。如本領(lǐng)域所知，使用中的激光測(cè)振儀以第一頻率發(fā)射指向關(guān)注主體的激光束，并且測(cè) 量由關(guān)注主體反射并且被光電探測(cè)器檢測(cè)到的激光束的第二頻率。如果主體的表面在移 動(dòng)，例如振動(dòng)，則將存在使得第二頻率不同于第一頻率的頻率的偏移。頻率的偏移然后可以 與關(guān)注主體的振動(dòng)相關(guān)。跟蹤設(shè)備214可以被配置為在多達(dá)三個(gè)維度中跟蹤關(guān)注主體的移 動(dòng)，因此關(guān)注主體的振動(dòng)可以通過用已知方法進(jìn)行的圖像分析而確定。在實(shí)施例中，可以通 過使用圖像分析軟件從兩維或三維視頻流中導(dǎo)出移動(dòng)和/或振動(dòng)。
[0043] 在實(shí)施例中，諸如加速度計(jì)之類的、被配置為感測(cè)移動(dòng)和/或振動(dòng)的一個(gè)或多個(gè)附 加傳感器216可以置于關(guān)注主體上。這樣的傳感器216不同于本文中所描述的非接觸傳感 器，因?yàn)閭鞲衅?16與主體相接觸，而不是與關(guān)注主體不接觸。
[0044] 在實(shí)施例中，一個(gè)或多個(gè)附加傳感器(未示出）可以包括被配置為跟蹤關(guān)注主體周 圍特定范圍內(nèi)的光場(chǎng)的變化的光學(xué)傳感器，而光場(chǎng)的變化可以作為表示移動(dòng)/振動(dòng)的傳感 器數(shù)據(jù)被使用。
[0045] 同樣如圖2A所說明，可以是攝像機(jī)的視頻/音頻記錄器220可以被實(shí)施為上面參考 圖1A所描述的視頻記錄器106和音頻記錄器108,并且被配置為從關(guān)注主體獲取圖像和聲 音。雖然視頻/音頻記錄器220被說明為一個(gè)整體設(shè)備，但本發(fā)明的實(shí)施例涵蓋在其中視頻 記錄器與音頻記錄器分開的布置，如上所述。在實(shí)施例中，移動(dòng)/振動(dòng)獲取設(shè)備210和視頻/ 音頻記錄器220可以位于相同的電子設(shè)備上相同的位置。
[0046] 由移動(dòng)/振動(dòng)獲取設(shè)備210和接觸傳感器216獲取的數(shù)據(jù)可以被變換器230處理，并 且作為用于傳輸?shù)诫娮踊胤旁O(shè)備240的觸感效果數(shù)據(jù)被輸出。在實(shí)施例中，觸感效果數(shù)據(jù)可 以與音頻-視覺數(shù)據(jù)一起或交錯(cuò)地被存儲(chǔ)以用于隨后的呈現(xiàn)或用于針對(duì)現(xiàn)場(chǎng)賽事觀眾消費(fèi) 而進(jìn)行的即時(shí)播送。
[0047] 在實(shí)施例中，例如，如果不同的傳感器212、214、216使用不同的采樣率和/或具有 不同的靈敏度，貝諸如卡爾曼濾波(Kalman filtering)之類的傳感器數(shù)據(jù)融合技術(shù)可以被 變換器230使用。由變換器230輸出的觸感效果數(shù)據(jù)可以在被傳輸?shù)诫娮踊胤旁O(shè)備240之前 被編碼，并且當(dāng)在電子回放設(shè)備240上回放時(shí)被解碼。由視頻/音頻記錄器220獲取的媒體數(shù) 據(jù)還可以作為視頻/音頻數(shù)據(jù)被傳送到電子回放設(shè)備240,并且可以在被傳輸之前如上所討 論地被編碼，并且當(dāng)在電子回放設(shè)備上回放時(shí)被解碼。
[0048] 在圖2A所說明的實(shí)施例中，被系統(tǒng)記錄的事件是曲棍球比賽，而此時(shí)的關(guān)注主體 是被曲棍球棍HS擊打的曲棍球HP。當(dāng)曲棍球HP被曲棍球棍HS擊打時(shí)，非接觸移動(dòng)/振動(dòng)獲取 設(shè)備210記錄曲棍球HP的移動(dòng)/振動(dòng)。同時(shí)，與曲棍球HP相接觸的接觸傳感器216測(cè)量由用曲 棍球棍HS擊打曲棍球HP所產(chǎn)生的振動(dòng)。由移動(dòng)/振動(dòng)獲取設(shè)備210和接觸傳感器216記錄的 數(shù)據(jù)被變換器230處理和變換為觸感效果數(shù)據(jù)，并且與視頻/音頻數(shù)據(jù)一起或交錯(cuò)地被傳送 到電子回放設(shè)備240。在接收到傳輸?shù)臄?shù)據(jù)時(shí)，電子回放設(shè)備240可以將數(shù)據(jù)存儲(chǔ)到電子存 儲(chǔ)器，以用于在隨后的時(shí)間進(jìn)行回放，或電子回放設(shè)備240可以轉(zhuǎn)到在顯示器244上顯示視 頻圖像，并且用觸覺輸出設(shè)備242顯示與所感測(cè)到的振動(dòng)相對(duì)應(yīng)的觸覺效果HE，因此持有電 子回放設(shè)備240的用戶可以感受到與曲棍球棍HS打擊曲棍球HP相關(guān)聯(lián)的振動(dòng)。
[0049] 在實(shí)施例中，電子回放設(shè)備240可以是圖1中的電子回放設(shè)備130,并且可以采用具 有顯示器134、揚(yáng)聲器136以及作為提供觸覺效果的觸覺輸出設(shè)備132的振動(dòng)設(shè)備的移動(dòng)電 話或平板計(jì)算機(jī)的形式。在實(shí)施例中，觸覺輸出設(shè)備242可以是被構(gòu)造和布置為由設(shè)備的用 戶持有或與設(shè)備的用戶相附接的電子設(shè)備的一部分。例如，觸覺顯示設(shè)備242可以是移動(dòng)電 話的一部分，諸如智能電話、平板計(jì)算機(jī)、手柄、諸如智能手表、腕帶、臂帶、頭帶、頭戴式顯 示器之類的可穿戴設(shè)備等。
[0050] 為了維持自我為中心的視頻/音頻記錄器（即，攝像機(jī)104)的視角，傳感器102應(yīng)當(dāng) 以感知上有意義的方式跟蹤攝像機(jī)104的觀看角度。例如，如果在足球比賽期間攝像機(jī)104 跟隨足球，則傳感器102應(yīng)當(dāng)被移動(dòng)以維持與攝像機(jī)104同步的視角。這種在攝像機(jī)104和傳 感器102之間的同步可以以不同的方式被實(shí)現(xiàn)。在實(shí)施例中，使用標(biāo)記或基于視頻的跟蹤技 術(shù)進(jìn)行的對(duì)象跟蹤可以被使用。在實(shí)施例中，攝像機(jī)104和傳感器102的位置和取向可以由 攝像機(jī)104和傳感器102的操作者手動(dòng)地控制。
[0051] 在圖2B所說明的實(shí)施例中，對(duì)視頻/音頻記錄器220(即，攝像機(jī)）的位置和取向與 移動(dòng)/振動(dòng)獲取設(shè)備210(即，非接觸傳感器）的伺服匹配可以被使用。如圖所說明，系統(tǒng)還包 括控制器250,被控制器250控制的并且被構(gòu)造和布置為控制非接觸測(cè)量設(shè)備212的位置和/ 或取向的第一伺服機(jī)構(gòu)（"伺服"）252,被控制器250控制的并且被構(gòu)造和布置為控制跟蹤設(shè) 備214的位置和/或取向的第二伺服機(jī)構(gòu)（"伺服"）254,以及被控制器250控制的并且被構(gòu)造 和布置為控制視頻/音頻記錄器220的位置和/或取向的第三伺服機(jī)構(gòu)（"伺服"）256?？刂破?250可以包括被配置為執(zhí)行三維圖像分析軟件的處理器，三維圖像分析軟件向控制器250提 供可以被轉(zhuǎn)變?yōu)獒槍?duì)伺服252、254、256的伺服位置命令的主體標(biāo)記。在實(shí)施例中，三維圖像 分析軟件可以包括確定主體的移動(dòng)/振動(dòng)并且輸出信號(hào)的算法，其中此信號(hào)可以被變換為 要顯示給電子回放設(shè)備用戶的觸覺效果。在實(shí)施例中，控制器250可以由位置跟蹤系統(tǒng)260 命令，位置跟蹤系統(tǒng)260通過使用類似于已有的信標(biāo)和三角(beacon&triangulation)系統(tǒng) 的技術(shù)在三維空間中跟蹤關(guān)注主體。位置跟蹤系統(tǒng)260提供可以被轉(zhuǎn)變?yōu)獒槍?duì)控制器250的 伺服位置命令的主體標(biāo)記。
[0052]圖3說明從非接觸傳感器310和視頻/音頻記錄器320到電子回放設(shè)備330的數(shù)據(jù)流 300的實(shí)施例。如圖所說明，由傳感器310輸出的數(shù)據(jù)在312處經(jīng)歷校準(zhǔn)映射，在314處被重新 采樣，并且在316處通過使用諸如上面討論的格式之類的本領(lǐng)域技術(shù)人員已知的格式由編 碼器進(jìn)行編碼。在數(shù)據(jù)被編碼之后，編碼器輸出要被包含到媒體340的信號(hào)318,媒體340可 以經(jīng)由因特網(wǎng)被流式傳輸，例如，用于作為在電子回放設(shè)備330上的回放媒體350進(jìn)行的消 費(fèi)。同時(shí)或基本上同時(shí)，在322處由編碼器使用諸如上面討論的格式之類的本領(lǐng)域技術(shù)人員 已知的格式對(duì)來自視頻/音頻記錄器320的數(shù)據(jù)進(jìn)行編碼，以準(zhǔn)備要被包含到媒體320的編 碼信號(hào)324,媒體320被流式傳輸?shù)交胤旁O(shè)備330。編碼信號(hào)318、324可以在被流式傳輸(或以 其他方式被傳遞)到回放設(shè)備330之前被同步，或編碼信號(hào)318、324可以在被傳遞到回放設(shè) 備330之后在回放設(shè)備330本地被同步，如上所討論的那樣。編碼信號(hào)318、324可以一起被流 式傳輸或可以被交錯(cuò)成單個(gè)信號(hào)。
[0053]圖4說明從多于一個(gè)的傳感器和記錄關(guān)注主體的視頻/音頻記錄器430到電子回放 設(shè)備440的數(shù)據(jù)流400的實(shí)施例，其中多于一個(gè)的傳感器諸如測(cè)量關(guān)注主體的振動(dòng)的非接觸 傳感器410,和與關(guān)注主體相接觸的接觸傳感器420。在實(shí)施例中，傳感器數(shù)據(jù)可以被處理以 確保校準(zhǔn)和采樣率的一致性。然后通過使用諸如狀態(tài)估計(jì)、混合、平均等之類的各種技術(shù)， 多個(gè)傳感器數(shù)據(jù)信道可以被組合，以便生成單個(gè)觸覺信號(hào)。在圖4所說明的實(shí)施例中，由非 接觸傳感器410輸出的數(shù)據(jù)在412處經(jīng)歷校準(zhǔn)映射，并且在414處被重新采樣。由接觸傳感器 420輸出的數(shù)據(jù)在422處經(jīng)歷校準(zhǔn)映射并且在424處被重新采樣。在414和424