本發(fā)明涉及微機械(MEMS)以及虛擬現(xiàn)實領(lǐng)域，特別是一種基于動作捕捉技術(shù)的虛擬現(xiàn)實綜合系統(tǒng)。

背景技術(shù)：

運動物體的姿態(tài)追蹤還原技術(shù)，已經(jīng)廣泛應用于各領(lǐng)域，尤其在航天航海、人體運動姿態(tài)建模等領(lǐng)域。當前常用的動作捕捉技術(shù)主要有光學動作捕捉技術(shù)和基于慣性傳感器的動作捕捉，分別介紹如下：

光學式動作捕捉技術(shù)：通常在運動目標體附著多個參考球/點，采多臺高速相機，環(huán)繞待測物體排列，讓待測物體的運動范圍處于相機的重疊區(qū)域，通過視頻識別技術(shù)獲取目標體參考球/點的軌跡，通過3維模型計算恢復出目標的運動姿態(tài)和軌跡。光學動作捕捉技術(shù)的優(yōu)點在于識別精度高、采樣頻率高。但也存在如下問題：整套系統(tǒng)復雜，需要多臺高速攝像機以及運算平臺，系統(tǒng)價格昂貴；系統(tǒng)鎖定比較繁瑣，只能捕捉攝像機重疊的物體運動，而且當運動比較復雜的時候，標識容易混淆和遮擋，從而產(chǎn)生錯誤結(jié)果；同時光學對環(huán)境要求比較高，光照強度對精度影響較大。

慣性動作捕捉技術(shù)：隨著MEMS傳感器的高速發(fā)展，微型慣性傳感器的技術(shù)越發(fā)成熟，已經(jīng)開始有將微型慣性傳感器用于動作捕捉技術(shù)中。具體方法是：把慣性測量單元(IMU)連接到待測物體上，讓其隨待測物體一起運動。對多個傳感器節(jié)點數(shù)據(jù)進行采集并處理，通過無線通訊技術(shù)傳輸至上位機系統(tǒng)，經(jīng)過上位機進行姿態(tài)還原。慣性動作捕捉技術(shù)的優(yōu)點在于，系統(tǒng)相對簡潔，不怕遮擋，對光、環(huán)境要求比光學式動作捕捉低，適用范圍廣，同時慣性動作捕捉系統(tǒng)成本相對于光學普遍低。慣性測量單元包括加速度計、陀螺儀、地磁傳感器，通過對加速度信號進行二重積分以及陀螺儀信號的積分，可以測得待測物體的信息以及方位信息。

但是，上述陀螺儀測量運動物體的姿態(tài)數(shù)據(jù)有誤差，必須修正后才能真實反映出運動物體的姿態(tài)。陀螺儀測量姿態(tài)數(shù)據(jù)時，誤差產(chǎn)生的過程如下：

首先，陀螺儀測量的數(shù)據(jù)為角速度，該角速度為瞬間值，大多數(shù)情況下不能直接適用，需要對該角速度進行時間積分，得到角度變化量。然后，將得到的角度變化量加上初始角度后，計算得到的角度值才是物體運動的姿態(tài)數(shù)據(jù)。

在對上述角速度進行時間積分時，積分過程時間(dt)越小，得到的角度值也越準確。然而，由于陀螺儀的測量基準是自身而非外在的絕對參照物；加之，積分過程時間(dt)不可能無限小，因而，積分的累積誤差會隨時間推移而逐漸增加，進而導致測量的運動姿態(tài)數(shù)據(jù)與實際的數(shù)據(jù)發(fā)生偏差。

下面再對虛擬現(xiàn)實技術(shù)做一下簡單的介紹。

虛擬現(xiàn)實技術(shù)：設(shè)計計算機圖形學、人機交互技術(shù)、傳感器技術(shù)、人工智能技術(shù)等領(lǐng)域，它用計算機生成逼真的三維視、聽、觸覺、嗅覺等感覺，使人作為參與者通過適當?shù)难b置，自然地對虛擬世界進行體驗和交互作用。使用者進行位置移動時，電腦可以立即進行復雜的運算，將精確的3D時間影像回傳產(chǎn)生臨場感。該技術(shù)繼承了計算機圖形技術(shù)、計算機仿真技術(shù)、人工智能、傳感器技術(shù)、顯示技術(shù)、網(wǎng)絡(luò)并行處理等技術(shù)的最新成果，是一種由計算機技術(shù)輔助生成的高新技術(shù)模擬系統(tǒng)。

沉浸度和交互性是對上述虛擬現(xiàn)實技術(shù)進行評價的兩個重要特征。其中，沉浸度是指用戶感到作為主角兒存在于模擬環(huán)境中的真實度。理想的模擬環(huán)境能使用戶全身心的投入到計算機創(chuàng)建的三維虛擬環(huán)境中，使用戶難以分辨真假。交互性是虛擬現(xiàn)實則是指用戶對模擬環(huán)境內(nèi)物體的可操作程度和從模擬環(huán)境中得到反饋的自然程度。

然而，現(xiàn)有的虛擬現(xiàn)實技術(shù)，大多數(shù)以虛擬現(xiàn)實眼鏡或視鏡形式進出體驗，因而虛擬現(xiàn)實技術(shù)的沉浸度以及交互性都不高。

本發(fā)明的虛擬現(xiàn)實綜合系統(tǒng)，采用慣性動作捕捉技術(shù)、室內(nèi)定位技術(shù)、虛擬現(xiàn)實眼鏡技術(shù)、數(shù)據(jù)手套技術(shù)、電子仿真槍技術(shù)等，應用于游戲體驗、模擬訓練、室內(nèi)戶外演戲、醫(yī)療恢復等場景。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)的不足，而提供一種基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)，該基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)能使真實世界的人與虛擬環(huán)境進行全方位互動，提高虛擬現(xiàn)實系統(tǒng)的沉浸度和交互性。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

一種基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)，包括慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置和背負式計算機裝置；慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實裝置、數(shù)據(jù)手套裝置和電子仿真槍裝置均與背負式計算機裝置無線連接；背負式計算機裝置中內(nèi)置有卡爾曼濾波器一和仿真軟件系統(tǒng)。

慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉模塊，每個動作捕捉模塊均包括動作捕捉傳感器。

室內(nèi)定位裝置為UWB室內(nèi)定位系統(tǒng)。

數(shù)據(jù)手套裝置包括手套本體和設(shè)置在手套本體中的若干個手關(guān)節(jié)姿態(tài)傳感器。

電子仿真槍裝置包括電子仿真槍和內(nèi)置在電子仿真槍中的電子仿真槍數(shù)據(jù)采集傳感器，電子仿真槍數(shù)據(jù)采集傳感器包括電子槍姿態(tài)傳感器和電子槍操作傳感器。

動作捕捉傳感器、手關(guān)節(jié)姿態(tài)傳感器和電子槍姿態(tài)傳感器均包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數(shù)據(jù)濾波傳感器和微處理器；三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計均與數(shù)據(jù)濾波傳感器相連接，數(shù)據(jù)濾波傳感器還與微處理器相連接；數(shù)據(jù)濾波傳感器能將三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計所檢測的數(shù)據(jù)進行初級濾波后傳送給微處理器，每個微處理器中均內(nèi)置有卡爾曼濾波器二。

電子槍操作傳感器與電子槍姿態(tài)傳感器中的微處理器相連接。

所述電子槍操作傳感器為射擊傳感器、彈夾傳感器、上膛傳感器和保險中的一種或多種的組合。

所述虛擬現(xiàn)實裝置包括VR佩戴裝置和環(huán)境反饋器件，環(huán)境反饋器件為音效系統(tǒng)、可控跑步機、電極刺激貼片和力反饋上衣中的一種或多種的組合。

所述VR佩戴裝置為VR頭盔或VR眼鏡。

所述動作捕捉傳感器、手關(guān)節(jié)姿態(tài)傳感器和電子槍姿態(tài)傳感器中微處理器的型號均為NXP-LPC13xx。

動作捕捉傳感器能采集人體接觸部位的骨骼姿態(tài)數(shù)據(jù)，并對采集的骨骼姿態(tài)數(shù)據(jù)進行位移糾偏；動作捕捉傳感器的工作過程如下：

動作捕捉傳感器中的三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別對人體接觸部位的加速度、角速度和地磁場強度進行采集，動作捕捉傳感器中的數(shù)據(jù)濾波傳感器將采集的加速度、角速度和地磁場強度數(shù)據(jù)進行初級濾波處理；微處理器中的卡爾曼濾波器采用卡爾曼濾波算法將初級濾波后處于正常范圍值內(nèi)的加速度、角速度和地磁場強度數(shù)據(jù)進行深層次濾波與融合，通過最小二乘估計法擬合得到橢球模型系數(shù)，利用橢球模型系數(shù)推導出地磁傳感器誤差矩陣和偏移矢量，最后對地磁環(huán)境下輸出的骨骼姿態(tài)數(shù)據(jù)進行位移糾偏與校正。

UWB室內(nèi)定位系統(tǒng)包括若干個定位錨節(jié)點、若干個移動標簽、同步器和服務器；定位錨節(jié)點布固定設(shè)置在室內(nèi)，移動標簽佩戴在每個目標用戶上，移動標簽與定位錨節(jié)點之間通過UWB進行數(shù)據(jù)傳輸；同步器與各定位錨點之間進行校時通信，實現(xiàn)各定位錨點之間的時間同步；服務器設(shè)置有無限訪問節(jié)點，各定位錨節(jié)點通過無線訪問節(jié)點與服務器間進行數(shù)據(jù)傳輸。

本發(fā)明采用上述結(jié)構(gòu)后，具有如下有益效果：

1.動作捕捉模塊體積小、重量輕、續(xù)航能力強，綁定在人身上的時候不影響人體運動，采樣頻率高，對復雜、高速運動的進行采集；動作捕捉模塊配置靈活，可以對局部動作，全身的運動進行捕捉；動作捕捉不受場地限制，捕捉效果不受真實環(huán)境中的物體遮擋影響；運動捕捉系統(tǒng)的成本相對較低。

2.采用室內(nèi)定位裝置，能夠結(jié)合融合算法，將絕對坐標位置與動捕中的坐標融合，糾正動作捕捉裝置中陀螺儀積分的累積誤差，從而給用戶一個更加真實的位置效果。

3.采用數(shù)據(jù)手套裝置，將手指狀態(tài)數(shù)據(jù)傳輸至處理器中，人機互動更加真實，增加用戶的虛擬現(xiàn)實的體驗度。

4.采用電子仿真槍裝置，將手持裝備的電子槍的姿態(tài)、開關(guān)、保險等狀態(tài)傳至處理器，加強虛擬現(xiàn)實交互、人機互動，增加虛擬現(xiàn)實的游戲、訓練的體驗感。

綜上所述，，本發(fā)明因為能夠?qū)崟r的把現(xiàn)實世界的人體(包括軀干，四肢，手持道具等)以及動作引入到虛擬世界，并映射與相應的角色上，并通過恰當?shù)姆绞綄崟r的把虛擬環(huán)境對角色的作用反饋到現(xiàn)實世界用戶的感知上，從而大大提高了虛擬現(xiàn)實的沉浸度，同時增加了角色與虛擬環(huán)境的交互性，使人能夠得到更加真實的虛擬現(xiàn)實體驗。

附圖說明

為了更清楚的說明本發(fā)明實時案例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要的使用的附圖作簡單介紹。

圖1顯示了本發(fā)明一種基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)的示意圖。

圖2顯示了本發(fā)明一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法的示意圖。

具體實施方式

下面結(jié)合附圖和具體較佳實施方式對本發(fā)明作進一步詳細的說明。

如圖1所示，一種基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)，包括慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置和背負式計算機裝置。慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實裝置、數(shù)據(jù)手套裝置和電子仿真槍裝置均與背負式計算機裝置無線連接。無線連接通訊方式包括但不限于藍牙、Zegibee、WIFI、2.4Ghz通訊。

慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉模塊。動作捕捉模塊的個數(shù)可以根據(jù)情況，任意選擇，可以為3個、6個、9個、11個、15個、或17個等。

當動作捕捉模塊的個數(shù)為3個時，3個動作捕捉模塊分別通過綁帶或者專用動捕服裝固定在用戶的三個不同部位，三個不同部位優(yōu)選為：1.頭部、軀干以及臀部；2.頭部、雙上臂(左上臂及右上臂)之一，以及雙前臂(左前臂以及右前臂)之一。

當動作捕捉模塊的個數(shù)為6個時，6個運動捕捉模塊優(yōu)選分別通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳(左腳以及右腳)、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙上臂之一、雙前臂之一以及雙手(左手及右手)之一。

當動作捕捉模塊的個數(shù)為9個時，9個動作捕捉模塊優(yōu)選分別通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當動作捕捉模塊的個數(shù)為11個時，11個動作捕捉模塊優(yōu)選通過綁帶或者專業(yè)動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳之一、雙上臂之一及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當動作捕捉模塊的個數(shù)為15個時，優(yōu)選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂以及雙手。

當動作捕捉模塊的個數(shù)為17個時，優(yōu)選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂、雙手及雙肩。

每個上述動作捕捉模塊均包括動作捕捉傳感器。

動作捕捉傳感器包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器(又稱為陀螺儀傳感器)、三軸MEMS磁力計(又叫電子羅盤傳感器)、數(shù)據(jù)濾波傳感器和微處理器。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別用于測量加速度信號、角速度信號和地磁信號。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計均與數(shù)據(jù)濾波傳感器相連接，數(shù)據(jù)濾波傳感器還與微處理器相連接。

數(shù)據(jù)濾波傳感器能將三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計所檢測的數(shù)據(jù)進行初級濾波后傳送給微處理器，每個微處理器中均內(nèi)置有卡爾曼濾波器二。

微處理器包括但不限于MCU、DSP或者FPGA，型號優(yōu)選為NXP-LPC13xx。微處理器NXP-LPC13xx與三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別通過SPI(串行外圍設(shè)備接口)、IIC(兩線式串行總線)、USART(串口)等通訊方式相通訊。

動作捕捉傳感器能采集人體接觸部位的骨骼姿態(tài)數(shù)據(jù)，并對采集的骨骼姿態(tài)數(shù)據(jù)進行位移糾偏。

動作捕捉傳感器的工作過程如下：

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別對人體接觸部位的加速度、角速度和地磁場強度進行采集。

數(shù)據(jù)濾波傳感器將采集的加速度、角速度和地磁場強度數(shù)據(jù)進行初級濾波處理，然后將處于正常范圍內(nèi)的加速度、角速度和地磁場強度信號數(shù)據(jù)傳輸給微處理器。

微處理器NXP-LPC13xx接收到加速度信號、角速度信號以及地磁強度信號，生成四元數(shù)或者歐拉角，微處理器中內(nèi)置的卡爾曼濾波器采用卡爾曼濾波算法將接收到的加速度、角速度和地磁場強度數(shù)據(jù)進行深層次濾波與融合，并處理成用戶身體姿態(tài)信息。

深層次濾波與融合的同時，微處理器還分析地磁傳感器的各種誤差來源，并建立完整形式的地磁傳感器橢球誤差模型，通過最小二乘估計法擬合得到橢球模型系數(shù)，利用橢球模型系數(shù)推導出地磁傳感器誤差矩陣和偏移矢量，最后對地磁傳感器磁環(huán)境下輸出的骨骼姿態(tài)數(shù)據(jù)進行位移糾偏與校正。

最后，微處理器將骨骼姿態(tài)數(shù)據(jù)進行糾偏與校正后的用戶身體姿態(tài)信息(包括方位信息、歐拉角、四元數(shù)信息等)通過無線或者有線的方式傳遞給背負式計算機裝置。

上述卡爾曼濾波算法是一種遞歸自回歸數(shù)據(jù)處理算法，為一種較為成熟的現(xiàn)有技術(shù)，通過5個常用公式實現(xiàn)。卡爾曼濾波算法通過反饋控制的方法估算過程狀態(tài)，對每次輸出的狀態(tài)結(jié)果進行循環(huán)修正，直至得到最優(yōu)的狀態(tài)過程數(shù)據(jù)?？柭鼮V波算法可分成兩個循環(huán)過程：時間更新和測量更新過程，前者負責及時向前推算當前狀態(tài)變量和誤差協(xié)方差的估算值以構(gòu)造下一個時間狀態(tài)的先驗估計；后者將先驗估計和測量變量結(jié)合以構(gòu)造改進的后驗估計；時間更新過程可視為預估過程，測量更新過程可視為校正過程，整個估計算法實質(zhì)上是一種數(shù)值解的預估—校正算法。

通過上述卡爾曼濾波算法和數(shù)據(jù)過程處理，可以在一定范圍的鐵質(zhì)、弱磁場環(huán)境中使用，當手機等帶弱磁場的物體靠近傳感器時，不影響地磁傳感器的信號采集，姿態(tài)數(shù)據(jù)可以正常使用。

本發(fā)明的動作捕捉模塊體積小、重量輕、續(xù)航能力強，綁定在人身上的時候不影響人體運動，采樣頻率高，對復雜、高速運動的進行采集；動作捕捉模塊配置靈活，可以對局部動作，全身的運動進行捕捉；動作捕捉不受場地限制，捕捉效果不受真實環(huán)境中的物體遮擋影響；運動捕捉系統(tǒng)的成本相對較低。

數(shù)據(jù)手套裝置包括手套本體和設(shè)置在手套本體中的若干個手關(guān)節(jié)姿態(tài)傳感器。

手關(guān)節(jié)姿態(tài)傳感器的個數(shù)，能根據(jù)情況任意選擇，可以為6個，10個或15個等。

在一實施例中，關(guān)節(jié)傳感器的個數(shù)為6個，分別通過手套固定在手背上1個，5個手指各一個。

在一實施例中，關(guān)節(jié)傳感器的個數(shù)為10個，分別通過手套固定在手背上1個，大拇指1個，其余四個手指分別固定2個傳感器。

在一實施例中，關(guān)節(jié)傳感器的個數(shù)為15個，分別通過手套固定在手背上1個，大拇指2個，其余四個手指分別固定3個傳感器。

手關(guān)節(jié)姿態(tài)傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數(shù)據(jù)濾波傳感器和微處理器。手關(guān)節(jié)姿態(tài)傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關(guān)系和工作過程也基本相似，這里將不再詳細闡述。

電子仿真槍裝置均包括電子仿真槍、均內(nèi)置在電子仿真槍中的電子仿真槍數(shù)據(jù)采集傳感器、無線通訊模塊和電源等。

電子仿真槍的個數(shù)根據(jù)用戶數(shù)量，可以設(shè)置為1個，2個或3個等，一個用戶佩戴一個電子仿真槍，在空曠空間內(nèi)模擬槍的換彈、上膛、射擊等動作。

電子仿真槍優(yōu)選按照真實槍械1:1比例制作，外形、重量、操作方式完全按照實裝設(shè)計，體驗度高。

電子仿真槍數(shù)據(jù)采集傳感器包括電子槍姿態(tài)傳感器和電子槍操作傳感器。

上述電子槍操作傳感器為射擊傳感器、彈夾傳感器、上膛傳感器和保險等中的一種或多種的組合。

電子槍姿態(tài)傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數(shù)據(jù)濾波傳感器和微處理器。電子槍姿態(tài)傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關(guān)系和工作過程也基本相似，這里將不再詳細闡述。

但是，電子槍姿態(tài)傳感器中的微處理器還與電子槍操作傳感器相連接。

通過電子槍姿態(tài)傳感器測量加速度、角速度、地磁場強度，通過電子槍操作傳感器采集槍的狀態(tài)，將數(shù)據(jù)輸入到微處理器中進行處理，輸出各節(jié)點的四元數(shù)或者歐拉角，通過數(shù)據(jù)解析還原算法，信號數(shù)據(jù)通過有線或者無線的方式傳送至背負式計算機，計算機通過數(shù)據(jù)接口連接至虛擬現(xiàn)實裝置中，實時還原狀態(tài)。

用戶手持、背帶持電子仿真槍，通過操作扳機、上膛或彈夾等模擬實裝槍的上膛、換彈、射擊等操作。射擊傳感器、彈夾傳感器、上膛傳感器和保險等能實時檢測射擊、換彈、上膛、保險等操作狀態(tài)，并將操作狀態(tài)數(shù)據(jù)傳輸給微處理器，微處理器通過無線發(fā)送至背負式計算機裝置中，進行數(shù)據(jù)處理，在虛擬現(xiàn)實裝置中映射出虛擬世界中的槍的狀態(tài)。

上述虛擬現(xiàn)實裝置包括VR佩戴裝置和環(huán)境反饋器件。

其中，VR佩戴裝置為VR頭盔或VR眼鏡等。

環(huán)境反饋器件為音效系統(tǒng)、可控跑步機、電極刺激貼片和力反饋上衣/鞋子等中的一種或多種的組合。其中，音效系統(tǒng)為用于將音頻信號反饋到人耳的音響；力反饋上衣/鞋子通過一定的驅(qū)動器產(chǎn)生一定的作用施加到人體的某些部位，也即用于將力反饋信號反饋到人體；電極刺激貼片是電極貼片，把電極貼片貼到皮膚上，然后在電機貼片之間施加電壓，則會對兩個電極貼片之間的神經(jīng)或者肌肉產(chǎn)生刺激作用，也即用于將觸覺信號反饋到人體。

環(huán)境反饋器件佩戴于目標用戶身上，通過綁帶或者頭盔模式佩戴固定，優(yōu)選通過無線連接至背負式計算機裝置，生成一個針對用戶的3D虛擬環(huán)境以及虛擬角色，并把接收到的位置信息、身體姿態(tài)信息、手指姿態(tài)信息、電子仿真槍狀態(tài)信息映射到虛擬角色和環(huán)境中，同時根據(jù)虛擬角色與環(huán)境相互作用，把對應的視頻、音頻信號通過不同的信號接口發(fā)送給虛擬現(xiàn)實眼鏡裝置的視頻、音頻、壓力等裝置。

室內(nèi)定位裝置為UWB室內(nèi)定位系統(tǒng)。UWB室內(nèi)定位系統(tǒng)為現(xiàn)有技術(shù)，具體見申請人之前申報的申請?zhí)枮镃N201520817538.1的專利。

UWB室內(nèi)定位系統(tǒng)包括若干個定位錨節(jié)點、若干個移動標簽、同步器和服務器；定位錨節(jié)點布固定設(shè)置在室內(nèi)，移動標簽佩戴在每個目標用戶上，移動標簽與定位錨節(jié)點之間通過UWB進行數(shù)據(jù)傳輸；同步器與各定位錨點之間進行校時通信，實現(xiàn)各定位錨點之間的時間同步；服務器設(shè)置有無限訪問節(jié)點，各定位錨節(jié)點通過無線訪問節(jié)點與服務器間進行數(shù)據(jù)傳輸。

具體實施時，可以根據(jù)具體的場地面積，布置多個定位錨節(jié)點，用戶佩戴移動標簽。移動標簽的個數(shù)可以為1個，2個或3個等，優(yōu)選通過綁帶或者專業(yè)綁定服裝綁定在用戶的頭部、胸部、腕部等部位，在定位錨節(jié)點布置的場地中行走，活動。

本專利利用UWB技術(shù)時間目標用戶在室內(nèi)環(huán)境中的動態(tài)精度定位，系統(tǒng)功耗低，復雜度低的系統(tǒng)設(shè)計更易于操作，無需布線，提高應用效率，裝置輸出目標用戶的位置信息。

上述UWB室內(nèi)定位系統(tǒng)的定位特點是長時間使用不會產(chǎn)生累積誤差。但是，其本身有一定的定位誤差范圍，其誤差范圍是±20cm，在實時使用過程中屬于小范圍定位，位移不夠平滑，不能直接用于動作捕捉姿態(tài)中位移數(shù)據(jù)的替換，而且直接替換會產(chǎn)生姿態(tài)與位移不匹配的情況。

正如背景技術(shù)中所述，本發(fā)明中所涉及的三軸MEMS角速度傳感器，也即陀螺儀，在對角速度進行時間積分時，雖然采用了數(shù)據(jù)濾波傳感器進行初步濾波，以及微處理器中卡爾曼濾波器一進行了深層次濾波，然而，積分的累積誤差仍會隨時間推移而逐漸增加，測量的運動姿態(tài)數(shù)據(jù)與實際的數(shù)據(jù)仍有一定偏差。

本發(fā)明采用如下方法進一步克服了測量的運動姿態(tài)數(shù)據(jù)與實際的數(shù)據(jù)的偏差問題。

1.姿態(tài)重組：

上述UWB室內(nèi)定位系統(tǒng)以及背負式計算機裝置中卡爾曼濾波器二的使用，卡爾曼濾波器二能將UWB室內(nèi)定位系統(tǒng)中的定位數(shù)據(jù)與慣性動作捕捉傳感器(包括手關(guān)節(jié)姿態(tài)傳感器及電子槍姿態(tài)傳感器)等測量的姿態(tài)數(shù)據(jù)進行融合，也即將絕對坐標位置與動捕中的坐標相融合，糾正動作捕捉裝置中陀螺儀積分的累積誤差，從而給用戶一個更加真實的位置效果。

一種融合室內(nèi)定位數(shù)據(jù)與動作捕捉數(shù)據(jù)的方法，包括如下步驟：

步驟1，動作捕捉數(shù)據(jù)采集：通過虛擬現(xiàn)實綜合系統(tǒng)中的動作捕捉傳感器獲得人體的動作捕捉數(shù)據(jù)；虛擬現(xiàn)實綜合系統(tǒng)中設(shè)置有慣性動作捕捉裝置，慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉傳感器，動作捕捉傳感器將能自動捕捉與采集人體接觸部位的動作數(shù)據(jù)，也即骨骼姿態(tài)數(shù)據(jù)。

步驟2，室內(nèi)定位數(shù)據(jù)采集：通過UWB室內(nèi)定位系統(tǒng)獲得室內(nèi)定位數(shù)據(jù)。

步驟3，獲取融合位移：采用卡爾曼濾波算法將步驟1采集的動作捕捉數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)進行融合，獲得融合位移。

假設(shè)驟1采集的動作捕捉數(shù)據(jù)中的坐標數(shù)據(jù)與步驟2采集的室內(nèi)定位數(shù)據(jù)均是一個二維坐標點(x，y)的集合，其中，x和y分別表示該點的橫縱坐標，則融合位移的具體獲取方法包括如下步驟：

步驟31，狀態(tài)方程建立：將步驟1采集的動作捕捉數(shù)據(jù)的位移增量作為狀態(tài)量，建立如下所示的狀態(tài)方程：

上式中，向量為k時刻動作捕捉數(shù)據(jù)的先驗估計，A取單位矩陣為k-1時刻動作捕捉數(shù)據(jù)的后驗估計，為步驟1采集的動作捕捉數(shù)據(jù)的位移增量，w_k為過程噪聲的協(xié)方差矩陣，由實驗測得，為可調(diào)參數(shù)，其優(yōu)選矩陣為矩陣參數(shù)范圍0～500。

步驟32，觀測方程建立：將步驟2采集的室內(nèi)定位數(shù)據(jù)作為觀測量，建立如下所示的觀測方程：

上式中，向量為k時刻室內(nèi)定位數(shù)據(jù)的后驗估計，C為觀測矩陣，優(yōu)選取單位矩陣表示UWB室內(nèi)定位系統(tǒng)的輸入坐標數(shù)據(jù)；r_k為觀測噪聲矩陣，由實驗測得，為可調(diào)參數(shù)，優(yōu)選矩陣為矩陣參數(shù)范圍0～100。

步驟33，計算融合位移：通過步驟31建立的狀態(tài)方程與步驟32建立的觀測方程進行求解，獲得融合位移。

步驟4，位移糾偏：解析虛擬現(xiàn)實綜合系統(tǒng)中各個動作捕捉傳感器所捕捉的各個骨骼姿態(tài)數(shù)據(jù)，計算各個骨骼相對位移坐標；根據(jù)步驟3獲取的融合位移與骨骼相對位移坐標對虛擬現(xiàn)實綜合系統(tǒng)中各個動作捕捉傳感器進行位移糾偏，形成姿態(tài)重組位移。

位移糾偏時，為使步驟3中獲取的融合位移與原有骨骼姿態(tài)相匹配，以人體是否有著地點為依據(jù)進行判斷；在人體有著地的情況下，以著地點為原點計算全身各骨骼位置；如果糾偏過程中沒有新的著地點產(chǎn)生，則保持原點不變；如果糾偏過程中產(chǎn)生新的著地點，原點變?yōu)楫斍皶r刻的融合位移。

在人體有著地的情況下，以著地點為原點，采用位姿矩陣來計算全身各骨骼位置；其中，位姿矩陣T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩陣，n表示法線矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋轉(zhuǎn)矩陣，P表示位置矩陣，O表示透視矩陣，I表示比例變換；x,y,z表示三個坐標軸方向。

上述R表示的旋轉(zhuǎn)矩陣由動作捕捉傳感器的姿態(tài)數(shù)據(jù)得出。

動作捕捉傳感器姿態(tài)數(shù)據(jù)為四元數(shù)：q＝(w,x,y,z)

四元數(shù)與旋轉(zhuǎn)矩陣的轉(zhuǎn)換公式為：

P表示的位置矩陣初始為后可通過位姿矩陣T與骨骼參數(shù)矩陣(例如右大腿骨骼參數(shù)矩陣骨骼參數(shù)矩陣為固定參數(shù))相乘后得出。

O矩陣與I矩陣為固定參數(shù)矩陣。

步驟5，形成最終輸出位移：步驟3獲取的融合位移與步驟4形成的姿態(tài)重組位移構(gòu)成初步輸出位移，將該初步輸出位移進行卡爾曼濾波，去除位移糾偏過程中產(chǎn)生的閃跳點，形成平滑的各個動作捕捉傳感器的最終輸出位移。

將初步輸出位移進行卡爾曼濾波時，卡爾曼濾波狀態(tài)方程為：

上式中，為k時刻初步輸出位移的狀態(tài)量；為的一階導數(shù)；為狀態(tài)矩陣；t_s表示動作捕捉傳感器的采樣頻率，為固定參數(shù)；為k-1時刻初步輸出位移的狀態(tài)量。

卡爾曼濾波觀測方程：

上式中，為初步輸出位移的后驗估計，為的一階導數(shù)；C為觀測矩陣，取為觀測量。

本系統(tǒng)解析動作捕捉系統(tǒng)的各個骨骼姿態(tài)數(shù)據(jù)(包括動作捕捉傳感器、手關(guān)節(jié)姿態(tài)傳感器及電子槍姿態(tài)傳感器采集數(shù)據(jù))，計算各個骨骼相對位移坐標。通過融合室內(nèi)定位移與骨骼相對坐標對動捕系統(tǒng)進行位移糾偏。

2.輸出濾波：

輸出的位移由姿態(tài)重組的位移與卡爾曼融合的位移組成，由于姿態(tài)重組的位移與卡爾曼融合的位移存在偏差(兩套不相干系統(tǒng)必然存在偏差)，所以在著地點產(chǎn)生時，卡爾曼融合位移替換新原點時就會產(chǎn)生一個閃跳點。閃跳點的存在會使最終的效果出現(xiàn)人物閃跳的現(xiàn)象，要消除或者進行平滑處理。輸出的卡爾曼濾波就是對閃跳點的平滑處理。

背負式計算機裝置包括計算機裝置、綁帶、背包、加固帶、減震裝置和緩沖裝置等。

計算機裝置包括：計算機主機、標準視頻接口、標準音頻接口、標準USB3.0接口、無線通訊模塊、電池供電系統(tǒng)、電源供電系統(tǒng)、充電系統(tǒng)以及電壓轉(zhuǎn)換電路。

背負式計算機裝置中內(nèi)置有卡爾曼濾波器一和仿真軟件系統(tǒng)。背負式計算機優(yōu)選通過無線與上述所有微處理器相連接。

仿真軟件系統(tǒng)為一個成熟的軟件系統(tǒng)，能直接購買使用，本申請不再詳細闡述。

背負式計算機裝置優(yōu)選通過無線連接上述慣性動作捕捉裝置、室內(nèi)定位裝置、虛擬現(xiàn)實眼鏡裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置，將上述各裝置的信號輸入至背負式計算機裝置，卡爾曼濾波器一采用具有遞歸自回歸濾波功能的數(shù)據(jù)融合算法，將動作捕捉的姿態(tài)輸出數(shù)據(jù)與定位的輸出數(shù)據(jù)進行融合，姿態(tài)還原算法，將上述裝置中的慣性動作捕捉裝置、室內(nèi)定位裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置的各種信號在背負式計算機裝置中生成一個對于用戶的3D虛擬環(huán)境以及虛擬角色，在虛擬現(xiàn)實裝置做反饋、顯示、實現(xiàn)。3D虛擬環(huán)境包括一個虛擬場景，一個或者多用戶對應的角色以及一系列的虛擬對象。三者之間可以進行互動，會產(chǎn)生一個與現(xiàn)實世界一樣的效果，這效果符合客觀規(guī)律。

本系統(tǒng)采用慣性傳感器技術(shù)，將慣性傳感器模塊佩戴在身體上，來實時捕捉人體動作姿態(tài)數(shù)據(jù)，并通過無線通信技術(shù)將姿態(tài)數(shù)據(jù)上傳至上位機中，實時還原人體姿態(tài)，同時集合背負式計算機技術(shù)、虛擬現(xiàn)實眼鏡技術(shù)、室內(nèi)定位技術(shù)、電子仿真槍技術(shù)、數(shù)據(jù)手套技術(shù)、人體工程學技術(shù)、數(shù)據(jù)融合技術(shù)、地磁抗干擾技術(shù)融合一個虛擬現(xiàn)實系統(tǒng)，該系統(tǒng)能最大限度的實時還原人體姿態(tài)，加強虛擬現(xiàn)實效果。

下面結(jié)合具體的例子詳細說明本發(fā)明虛擬綜合系統(tǒng)。

假設(shè)本實施例中用戶在虛擬環(huán)境中進行單兵作戰(zhàn)訓練、或者單兵戰(zhàn)術(shù)協(xié)同作戰(zhàn)。用戶全身綁定17個動作捕捉模塊，綁定位置為頭部、胸部、臀部、雙肩、雙大臂、雙小臂、雙手、雙大腿、雙小腿、雙腳。UWB室內(nèi)定位系統(tǒng)的移動標簽佩戴于戰(zhàn)術(shù)頭盔上；雙手佩戴數(shù)據(jù)手套裝置；手持電子仿真槍，頭上佩戴裝有翻斗VR眼鏡的戰(zhàn)術(shù)頭盔。

每個動作捕捉模塊、手關(guān)節(jié)姿態(tài)傳感器和電子槍姿態(tài)傳感器，均通過對角速度的積分得到各個模塊節(jié)點傳感器的方位信息，同時通過地磁以及重力加速的測量，得到模塊對于重力方向以及地磁方向的方位。各個模塊傳感器把加速度、角速度、地磁信息傳至微處理器，微處理器對加速度進行二次積分得到各部位的位移信息，并根據(jù)生物力學約束以及外界的接觸結(jié)束判定，對各個模塊進行積分誤差進行修正。微處理器通過有線或者無線方式，將各個模塊傳感器的加速度、角速度、地磁信息、位移信息、方位信息等信息通過無線或者有線方式傳至背負式計算機中。

UWB室內(nèi)定位系統(tǒng)的移動標簽佩戴于用戶的戰(zhàn)術(shù)頭盔處，用戶在布設(shè)完定位錨節(jié)點、同步器的場所內(nèi)移動。佩戴于人體上的移動標簽和定位錨節(jié)點之間基于UWB進行數(shù)據(jù)傳輸，同步器與各錨點之間進行校時通信，各錨點通過無線訪問節(jié)點與服務器間進行數(shù)據(jù)傳輸。服務器通過計算標簽與各個錨節(jié)點之間的時間差，通過室內(nèi)定位算法，輸出移動標簽在該空間位置中的絕對坐標。服務器通過有線或者無線的方式，將移動標簽的位置信息發(fā)送至背負式計算機裝置。

虛擬現(xiàn)實裝置包括頭盔式翻斗VR眼鏡、音響系統(tǒng)和用戶身上的多個電極貼片。穿戴頭盔式翻斗VR眼鏡可以顯示三維虛擬空間畫面；音響系統(tǒng)反饋虛擬環(huán)境中的各種聲音，電極貼片反饋虛擬環(huán)境對用戶的各種刺激。該虛擬現(xiàn)實裝置由背負式計算機裝置對收集到的慣性動作捕捉裝置、室內(nèi)定位裝置、數(shù)據(jù)手套裝置、電子仿真槍裝置的各種信息，經(jīng)過算法融合慣性動捕與室內(nèi)定位信息、數(shù)據(jù)手套信息、電子仿真槍信息，通過仿真軟件輸出信號與虛擬現(xiàn)實裝置，驅(qū)動頭盔式翻斗VR眼鏡、音響系統(tǒng)、電極貼片作用于用戶，產(chǎn)生一個深度沉浸感、逼真的虛擬環(huán)境。

背負式計算機運行仿真軟件，虛擬現(xiàn)實裝置會產(chǎn)生一個作用于用戶的三維虛擬空間，三維虛擬空間會有一些現(xiàn)實世界中不存在物體或者小概率發(fā)生的事件。比如，單兵模擬訓練中遇到的特殊軍情，突發(fā)武裝沖突時的戰(zhàn)術(shù)配合，從而完成對平息沖突的任務。在虛擬環(huán)境中，用戶可以用手中的電子仿真槍對虛擬環(huán)境中的武裝人員進行射擊、制服等操作，虛擬中的角色也可以對用戶進行攻擊或者其他用戶對該用戶的攻擊傷害。面對虛擬環(huán)境中的武裝人員，用戶可以進行躲閃、奔跑、跳躍、匍匐、跪姿等動作，同時可以用手中的電子仿真槍對虛擬的武裝分子進行消滅、平息。多用戶之間可以數(shù)據(jù)手套將進行手語、戰(zhàn)術(shù)動作的操作、交流，也可以通過語音系統(tǒng)方式進行交流通信。若用戶被其他用戶、虛擬環(huán)境中的武裝分子集中，虛擬現(xiàn)實裝置中的電極貼片會在相對部位上產(chǎn)生于攻擊強度相對應的刺激信號，使用戶產(chǎn)生真的被擊中的感覺。

根據(jù)上述例子，結(jié)合現(xiàn)有的技術(shù)，闡述一下本法的基于動作捕捉的虛擬現(xiàn)實綜合系統(tǒng)與普通的3D扮演類游戲的相同點與不同點。

相同點：兩者都是用戶操縱虛擬角色在一個虛擬3D世界環(huán)境中進行一定的活動與體驗。不同點：本發(fā)明是操縱沉浸式的3D虛擬現(xiàn)實軟件，依靠用戶的四肢動作、手指動作、模擬仿真槍動作以及語言來對虛擬角色進行控制，就如通用現(xiàn)實世界的人對自身操作一樣，而普通的3D扮演類游戲用鼠標鍵盤對角色進行控制；同時，普通3D角色扮演類游戲智能看到顯示器上的一個平面圖像，而且只能看到自己扮演的角色與環(huán)境中的作用，卻不能用其他的感官去體驗游戲中角色與周圍環(huán)境的互動，在采用了本發(fā)明的虛擬現(xiàn)實綜合系統(tǒng)時，則可以根據(jù)虛擬環(huán)境中角色的變化，提供相應的3D虛擬環(huán)境的三維視鏡，提高真實感，讓用戶感覺身臨其境一般，同時，通過環(huán)境反饋器件，用戶能夠通過身體的其他部位體驗到虛擬環(huán)境與現(xiàn)實角色的交互。

綜上所述，本發(fā)明的動作捕捉模塊、手關(guān)節(jié)姿態(tài)傳感器、電子槍姿態(tài)傳感器體積小、重量輕、佩戴方便，綁定到人身上時不影響運動，采樣速度高，可以對復雜、高速運動新型采樣；佩戴靈活，可以根據(jù)現(xiàn)實需求選擇合適的佩戴組合方式；動作捕捉不受場地限制，動作捕捉效果不受真實物體遮擋影響；動作捕捉的成本相對較低。室內(nèi)定位裝置，能實時的捕捉定位多名用戶在部署定位裝置的空間內(nèi)的實時位置，輸出用戶的絕對坐標；室內(nèi)定位裝置，采用UWB定位技術(shù)，采樣頻率高，可以對用戶實時位置定位，快速定位用戶的快速動作；佩戴靈活，標簽可以佩戴于頭部、胸部、腕部，可根據(jù)具體需求進行佩戴；部署簡便，只需要在需要定位的空間內(nèi)，部署若干錨節(jié)點、同步器以及少量輔助電源等設(shè)備，就可以完成定位部署；定位不受環(huán)境，光纖影響，亦可以在室外空曠場地進行部署定位，不受光線影響；UWB室內(nèi)定位成本相對要低。數(shù)據(jù)手套佩戴方便，模塊小巧，只需要穿上專用的數(shù)據(jù)手套載具，連接上背負式計算機就可以工作，使用方便；配置靈活，可以根據(jù)具體的需求對不同的關(guān)節(jié)進行配置，以最適合的配置方式完成虛擬體驗；不受光線環(huán)境的影響，可以在陽光直射下進行虛擬體驗；采樣頻率高，可以對復雜、快速動進行捕捉采樣。

另外，電子仿真槍、虛擬現(xiàn)實眼鏡、背負式計算機技術(shù)，解決了佩戴式，姿態(tài)、游戲狀態(tài)實時還原問題，提高用戶體驗度。數(shù)據(jù)手套技術(shù)，虛擬現(xiàn)實眼鏡、背負式計算機技術(shù)，解決了佩戴式四肢、手指實時還原顯示問題，提供用戶體驗度。數(shù)據(jù)融合、地磁抗干擾技術(shù)，降低復雜磁場環(huán)境對于電子羅盤傳感器的干擾，提高了體統(tǒng)環(huán)境適應度和用戶體驗度。

本發(fā)明因為能夠?qū)崟r把現(xiàn)實世界的人體動作姿態(tài)以及外設(shè)的手持道具的狀態(tài)引入到虛擬現(xiàn)實，并映射與相應的角色上，并且通過恰當?shù)姆绞剑瑢崟r地把虛擬環(huán)境對角色的作用反饋到現(xiàn)實世界人的感知上，因而大大提高了虛擬現(xiàn)實的沉浸感，同時增加了角色與虛擬環(huán)境的交互性，使用戶的體驗更加真切、真實。

以上詳細描述了本發(fā)明的優(yōu)選實施方式，但是，本發(fā)明并不限于上述實施方式中的具體細節(jié)，在本發(fā)明的技術(shù)構(gòu)思范圍內(nèi)，可以對本發(fā)明的技術(shù)方案進行多種等同變換，這些等同變換均屬于本發(fā)明的保護范圍。