用于記錄與多媒體數據一起使用的觸覺數據的系統(tǒng)和方法
【技術領域】
[0001] 本發(fā)明涉及用于記錄與多媒體數據一起使用的觸覺數據的系統(tǒng)和方法。
【背景技術】
[0002] 在現場和前期制作內容的生成中，均存在用于建立和獲取動作的完善的技術。在 基于位置的現場體育賽事的情況下，例如，現場制作人通常在賽事之前提前一周到兩周到 達，設置各個攝像機的位置以便生成引人注目的、對來自拍攝現場的多媒體數據流的現場 制作(播送）。對于現場制作團隊來說正常的是，對一組現場麥克風進行預混，以針對每個攝 像機位置生成"以自我為中心"的聲場，用于豐富播送內容的接收者的體驗。
[0003] 例如，在體育場上，被架置在看臺以上的攝像機可以包括均勻混合的觀眾聲音效 果與賽場聲音效果。賽場側的攝像機可以具有拋物線麥克風或聚焦式麥克風以生成更強的 賽場存在感。在運動員處架置的攝像機可以具有在運動員處架置的麥克風，并且可以與賽 場側攝像機混合以提供以運動員為中心的體育場體驗。雖然類似的策略被用于針對電影和 電視的前期制作的內容，但要進行顯著更多的音頻后期制作編輯以生成最終的產品。

【發(fā)明內容】

[0004] 理想的是，通過將觸覺內容添加到可以被流式傳輸并且被回放給電子設備用戶的 播送內容，生成針對觀眾在電子設備上觀看現場體育賽事和其他娛樂活動的更沉浸式的體 驗。同樣理想的是，通過使得真實世界的觸覺數據更容易獲得、并且在盡可能少的人為介入 的情況下變換真實世界的觸覺數據，使得觸覺內容更普遍，以便促進體驗的傳播和用戶對 體驗的接受。
[0005] 根據本發(fā)明的方面，提供了一種系統(tǒng)，所述系統(tǒng)包括被配置為對關注主體的音頻 和/或視頻進行記錄并且輸出對關注主體的記錄的記錄器，所述系統(tǒng)還包括與記錄器相關 聯的非接觸傳感器。非接觸傳感器被構造和布置為從與記錄器基本上相同的視角并且與記 錄器同時地測量關注主體的移動和/或振動。所述系統(tǒng)包括控制器，控制器被配置為將由非 接觸傳感器進行測量所測得的關注主體的移動和/或振動變換為用于發(fā)送到觸覺顯示設備 的觸感數據流，以用于與記錄器對關注主體的記錄一起回放，并且將與測得的移動和/或振 動相對應的觸覺效果與記錄同步地提供給觸覺顯示設備的用戶。
[0006] 在實施例中，非接觸傳感器包括激光測振儀。在實施例中，非接觸傳感器包括跟蹤 設備。
[0007] 在實施例中，非接觸傳感器包括視頻流分析算法。
[0008] 在實施例中，記錄器和非接觸傳感器位于相同的位置。
[0009] 在實施例中，系統(tǒng)包括第一伺服機構，其被控制器控制并且被構造和布置為將非 接觸傳感器移動到具有與記錄器基本上相同的視角的位置和/或取向。在實施例中，系統(tǒng)具 有第二伺服機構，其被控制器控制并且被構造和布置為移動記錄器。第一伺服機構與第二 伺服機構同步，以使得非接觸傳感器的移動同步于記錄器的移動。
[0010] 在實施例中，系統(tǒng)包括第二傳感器，其被構造和布置為與被記錄器記錄的主體相 接觸并且感測主體的移動和/或振動。控制器還被配置為將從非接觸傳感器和第二傳感器 接收到的數據進行組合，并且將組合得到的數據變換為觸感數據流。在實施例中，控制器包 括變換器，其被構造和布置為對具有不同的采樣率和/或靈敏度的傳感器信號進行混合，并 且輸出經變換的組合數據。
[0011] 根據本發(fā)明的方面，提供了一種包括以下步驟的方法：用記錄器對關注主體的音 頻和/或視頻進行記錄，以及用非接觸傳感器測量關注主體的移動和/或振動，此非接觸傳 感器與記錄器相關聯并且具有與記錄器基本上相同的視角。所述方法包括，用控制器將測 量得到的移動和/或振動變換為用于發(fā)送到觸覺顯示設備的觸感數據流，以用于與關注主 體的音頻和/或視頻的記錄一起回放，并且將與測得的移動和/或振動相對應的觸覺效果與 記錄同步地提供給觸覺顯示設備的用戶。
[0012] 在實施例中，方法包括隨著記錄器移動和改變視角，用由控制器控制的第一伺服 機構將非接觸傳感器移動到具有與記錄器基本上相同的視角的位置。在實施例中，方法包 括用由控制器控制的第二伺服機構移動記錄器。第一伺服機構與第二伺服機構同步，以使 得非接觸傳感器的移動同步于記錄器的移動。
[0013] 在實施例中，方法包括用與關注主體接觸的第二傳感器感測關注主體的移動和/ 或振動，對從非接觸傳感器和第二傳感器接收到的數據進行組合，并且將組合得到的數據 變換為觸感數據流。
[0014] 在實施例中，方法包括對具有不同的采樣率和/或靈敏度的傳感器信號進行變換， 并且輸出經變換的組合數據。
[0015] 本發(fā)明的這些和其他方面、特征和特性，以及操作方法和結構的相關元件的功能 和部分的組合和制造的經濟性，在參考附圖考慮以下的描述和附加的權利要求后將變得更 加清晰，以下的描述、權利要求和附圖都構成說明書的一部分。但是要明確理解的是，附圖 僅僅出于說明和描述的目的，并且不旨在作為對本發(fā)明的限制的定義。當在說明書和權利 要求中被使用時，除非上下文清楚地陳述，"一個"、"一"、和"該"的單數形式包括復數的指 代物。
【附圖說明】
[0016] 以下附圖中的組件被說明為強調本公開的通用原理，并且不一定按比例繪制。為 了一致和清晰的目的，必要時貫穿附圖重復使用指定對應組件的引用字符。
[0017] 圖1A示意性地說明根據本發(fā)明的實施例的系統(tǒng)；
[0018] 圖1B示意性地說明圖1A的系統(tǒng)中的控制器的進一步細節(jié)；
[0019] 圖2A示意性地說明根據本發(fā)明的實施例、圖1中的系統(tǒng)的實施方式；
[0020] 圖2B示意性地說明圖2A所說明的本發(fā)明的實施例的進一步細節(jié)；
[0021] 圖3示意性地說明根據本發(fā)明的實施例從非接觸傳感器和視頻/音頻記錄器到回 放設備的數據流；
[0022] 圖4示意性地說明根據本發(fā)明的實施例從非接觸傳感器、接觸傳感器和視頻/音頻 記錄器到回放設備的數據流；以及
[0023] 圖5示意性地說明根據本發(fā)明的實施例的方法。
【具體實施方式】
[0024] 圖1A示意性地說明了根據本發(fā)明的實施例的系統(tǒng)100。如圖所說明，系統(tǒng)100包括 一個或多個傳感器102,傳感器102被配置為感測在一定距離處的事件中的關注主體所體驗 的移動和/或振動，并且將感測到的移動和/或振動轉換為觸感效果數據，而觸感效果數據 用于作為觸覺效果回放給電子回放設備130的用戶，如下進一步詳細所述。在實施例中，傳 感器102是非接觸傳感器，如下進一步詳細所述。
[0025] 在實施例中，傳感器102被構造和布置為感測選手和/或裝置或其他作為體育賽事 一部分的關注主體等的運動和/或振動。在實施例中，在運動場/溜冰場/球場上以及運動 場/溜冰場/球場的邊界等上的周圍運動和振動可以被傳感器102感測到。下面進一步詳細 地描述傳感器102的實施例。由傳感器102感測到的振動可以處于任何頻率范圍中，即使該 振動頻率范圍可以通常不被人體的機械感受器感受到。在這樣的實施例中，然后在傳感器 數據的轉換期間，振動可以被轉換或轉變到機械感受的范圍。下面進一步詳細地描述從傳 感器數據到觸感效果數據的變換。
[0026] 系統(tǒng)100還包括一個或多個攝像機104,其被構造和布置為獲取關注主體的圖像和 聲音。攝像機104可以包括作為整體的視頻/音頻記錄器，或可以包括在圖1A中分別以106和 108表示的分開的視頻和音頻記錄器。音頻記錄器108可以包括被構造和布置為獲取與事件 相關聯的聲音的一個或多個麥克風。例如，如果事件是足球比賽，則一個或多個麥克風可以 被放置在現場級的比賽場地的邊線上，一個或多個麥克風可以被放置在比賽場地以上的位 置處，如目前在足球比賽的播送期間所做的那樣。本文中所使用的"攝像機"指的是視頻記 錄器106和音頻記錄器108的組合，即使這兩個記錄器不位于同一位置并且物理上是分開 的。在實施例中，傳感器102、視頻記錄器106以及音頻記錄器108可以是相同的電子設備的 一部分。在實施例中，傳感器102、視頻記錄器106以及音頻記錄器108可以是分開的、獨立的 設備或分開的、獨立的設備的一部分。
[0027] 如圖1A所說明，系統(tǒng)100還包括控制器110,控制器110被構造和布置為將控制信號 輸出給傳感器102、視頻記錄器106以及音頻記錄器108,并且控制器110被構造和布置為還 從傳感器102、視頻記錄器106以及音頻記錄器108接收數據信號，以用于進一步的處理和最 終向電子回放設備130的傳輸?？刂破?10包括一個或多個被構造和布置為處理從傳感器 102、視頻記錄器106以及音頻記錄器108輸出的信號和數據的處理器112。處理器112可以被 編程以執(zhí)行計算機程序模塊，計算機程序模塊包括用于實施控制器110的各種功能的可執(zhí) 行指令，如下進一步詳細所述。在實施例中，傳感器102可以包括與處理器112分開的處理 器，或處理器112可以是傳感器的一部分。
[0028]電子回放設備130包括觸覺輸出設備132、顯