本發(fā)明涉及技術(shù)一種基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，是一種結(jié)合多源傳感器融合、多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)。

背景技術(shù)：

近年來，腦卒中（腦梗塞或腦溢血）、帕金森病、小兒腦癱、多發(fā)性硬化等疾病困擾著越來越多的人群。對于上述人群而言，通常存在運動功能、認(rèn)知和意識、言語等方面的障礙，術(shù)后普遍需要進(jìn)行長期的康復(fù)治療、訓(xùn)練和指導(dǎo)。

其中，手部（包括手指和手腕）功能的康復(fù)是一項非常重要的內(nèi)容，因為手部在日常生活中的參與程度要顯著高于身體的其他部位。然而，由于手部處于神經(jīng)系統(tǒng)的末端，從臨床康復(fù)理論上分析，手功能的康復(fù)更為困難，且需要的康復(fù)周期更長。

傳統(tǒng)的手功能訓(xùn)練與評估系統(tǒng)通常分為兩類：被動模式和主動模式。被動模式通常利用一些康復(fù)機器人、牽引設(shè)備、抗阻設(shè)備等完成；主動模式通常利用康復(fù)手套、功能性電刺激、生物反饋、情景交互訓(xùn)練、虛擬現(xiàn)實等技術(shù)來完成。

目前，市面上推出手功能訓(xùn)練與評估系統(tǒng)的公司包括廣州一康醫(yī)療設(shè)備實業(yè)有限公司、嘉興恒怡科技有限公司等。然而，上述公司的產(chǎn)品主要存在以下幾個不足：

第一、在同一時間內(nèi)，系統(tǒng)僅能供一名手功能異常者使用，即“一對一”訓(xùn)練模式，致使效率無法進(jìn)一步提升；

第二、多名手功能異常者只能采用分時、分設(shè)備進(jìn)行訓(xùn)練，無法在同一個訓(xùn)練場景下進(jìn)行競爭性訓(xùn)練，即無法進(jìn)一步提升手功能異常者的訓(xùn)練愿望。

此外，現(xiàn)有手功能訓(xùn)練與評估系統(tǒng)大多依賴一種類型的傳感器（如：圖像類型、運動類型、壓力類型等），在多源傳感器信息融合方面還有很多欠缺和不足。

因此，有必要設(shè)計一種新的基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，以解決上述技術(shù)問題。

技術(shù)實現(xiàn)要素：

針對背景技術(shù)中存在的問題，本發(fā)明的目的是提供一種基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，能夠?qū)崿F(xiàn)多名手功能異常者同時進(jìn)行訓(xùn)練與評估，從而大大提升臨床醫(yī)生的工作效率。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：一種基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，包括電源模塊、主控制器模塊、手部運動信息采集模塊、信號傳輸模塊、計算機、數(shù)據(jù)存儲與管理模塊、信號分析與處理模塊、多人交互虛擬現(xiàn)實場景模塊，其中，所述電源模塊與主控制器模塊和手部運動信息采集模塊連接，主控制器模塊與手部運動信息采集模塊連接，主控制器模塊通過信號傳輸模塊與計算機連接，數(shù)據(jù)存儲與管理模塊和信號分析與處理模塊分別與計算機連接，多人交互虛擬現(xiàn)實場景模塊與信號分析與處理模塊連接。

在上述技術(shù)方案中，所述手部運動信息采集模塊包含圖像信息采集、運動信息采集和壓力信息采集。

在上述技術(shù)方案中，所述圖像信息采集使用攝像頭和紅外探測器，運動信息采集使用加速度、陀螺儀、磁力計和彎曲傳感器，壓力信息采集使用薄膜壓力傳感器和壓電傳感器。

在上述技術(shù)方案中，所述信號傳輸模塊包含有線傳輸和無線傳輸。

在上述技術(shù)方案中，所述有線傳輸為串口通訊和USB通訊。

在上述技術(shù)方案中，所述無線傳輸為藍(lán)牙、ZigBee、Wifi和433。

在上述技術(shù)方案中，所述信號分析與處理模塊包括時域分析、頻域分析和非線性分析。

在上述技術(shù)方案中，所述時域分析為手指、手腕的彎曲角度、運動速度、和壓力大小，頻域分析為能量、頻率分布，非線性分析為復(fù)雜網(wǎng)絡(luò)、熵、平滑度和隨機度。

在上述技術(shù)方案中，所述數(shù)據(jù)存儲與管理模塊用于實現(xiàn)整個系統(tǒng)中的用戶信息數(shù)據(jù)、傳感器數(shù)據(jù)的存儲與管理。

在上述技術(shù)方案中，所述數(shù)據(jù)存儲包括本地存儲和云存儲，數(shù)據(jù)管理包括數(shù)據(jù)添加、刪除、修改和查詢的管理操作。

本發(fā)明基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，該系統(tǒng)通過手部運動信息采集模塊，實時記錄多名手功能異常者的手部運動信息。經(jīng)過信號分析與處理后，利用手部運動信息采集模塊與多人交互虛擬現(xiàn)實場景模塊間的交互接口控制多人交互虛擬現(xiàn)實系統(tǒng)中對應(yīng)的角色，實現(xiàn)多名手功能異常者在同一個虛擬現(xiàn)實場景中同時進(jìn)行訓(xùn)練的功能，從而大大提升臨床醫(yī)生的工作效率。同時，該系統(tǒng)可以實現(xiàn)多名手功能異常者的實時交互，通過引入社交網(wǎng)絡(luò)的功能，能夠最大程度地促進(jìn)其訓(xùn)練的愿望。

附圖說明

圖1為基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)原理框圖；

圖2為多人交互虛擬現(xiàn)實場景之一示意圖；

圖3為對指運動示意圖；

圖4為多人交互虛擬現(xiàn)實場景之二示意圖；

圖5為抓握運動示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明所述的一種基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，包括電源模塊、主控制器模塊、手部運動信息采集模塊、信號傳輸模塊、計算機、數(shù)據(jù)存儲與管理模塊、信號分析與處理模塊、多人交互虛擬現(xiàn)實場景模塊。

其中，所述電源模塊與主控制器模塊和手部運動信息采集模塊連接，主控制器模塊與手部運動信息采集模塊連接，主控制器模塊通過信號傳輸模塊與計算機連接，數(shù)據(jù)存儲與管理模塊和信號分析與處理模塊分別與計算機連接，多人交互虛擬現(xiàn)實場景模塊與信號分析與處理模塊連接。

因此，該系統(tǒng)由硬件子系統(tǒng)和軟件子系統(tǒng)兩個部分組成。其中，硬件子系統(tǒng)包括主控制器模塊、手部運動信息采集模塊、信號傳輸模塊、電源模塊，用于實現(xiàn)手部運動信息的采集與傳輸；軟件子系統(tǒng)包括信號分析與處理模塊、多人交互虛擬現(xiàn)實場景、數(shù)據(jù)存儲與管理模塊用于實現(xiàn)信號的分析與處理、多人交互虛擬現(xiàn)實場景、數(shù)據(jù)存儲與管理等。整個系統(tǒng)的工作步驟及數(shù)據(jù)流向詳細(xì)描述如下：

（1）采集手功能異常者在執(zhí)行手部運動過程中的手指和手腕運動信息；

根據(jù)手部運動信息采集模塊工作原理的不同，手功能異常者與手部運動信息采集模塊之間的交互方式也有所不同。例如：當(dāng)手部運動信息采集模塊選用圖像類型，如攝像頭或紅外探測器時，手功能異常者的手部活動范圍需要處于攝像頭或紅外探測器的有效工作范圍內(nèi)；當(dāng)手部運動信息采集模塊選用運動信息類型，如加速度、陀螺儀、磁力計、彎曲傳感器等或壓力類型如薄膜壓力傳感器、壓電傳感器等時，手功能異常者需要將手部運動信息采集模塊佩戴在手部如手指、手腕、手背等。

（2）采集到的手指和手腕運動信息通過信號傳輸模塊發(fā)送到計算機；

根據(jù)信號傳輸方式的不同，可以利用有線如串口通信、USB通信等或無線如Bluetooth、ZigBee、Wifi等傳輸協(xié)議。同時，由于需要實時、同步采集多名手功能異常者的手指和手腕運動信息，因此多個傳感器源與計算機之間需要采用多點無線組網(wǎng)方式進(jìn)行通信。

（3）在計算機端，信號分析與處理模塊對采集到的傳感器信息進(jìn)行分析與處理，從而得出量化的手指和手腕運動特征；

具體的信號分析與處理方法包括但不局限于以下形式：時域分析（手指、手腕的彎曲角度、運動速度、壓力大小等）、頻域分析（能量、頻率分布等）、非線性分析方法（復(fù)雜網(wǎng)絡(luò)、熵、平滑度、隨機度等）。

（4）利用上述步驟（3）中算出的手指和手腕運動特征來驅(qū)動、控制多人交互虛擬現(xiàn)實場景中對應(yīng)的不同虛擬角色。

（5）數(shù)據(jù)存儲與管理模塊主要實現(xiàn)整個系統(tǒng)中數(shù)據(jù)，包括但不局限于用戶信息數(shù)據(jù)、傳感器數(shù)據(jù)等的存儲與管理。數(shù)據(jù)存儲包括但不局限于本地存儲和云存儲等形式，數(shù)據(jù)管理包括但不局限于數(shù)據(jù)添加、刪除、修改、查詢等管理操作。

上述步驟（4）中的多人交互虛擬現(xiàn)實場景主要功能是構(gòu)建一個可以供多名手部功能異常者在同一場景下進(jìn)行訓(xùn)練的場景，場景設(shè)計原則主要是模擬日常生活中的手部運動模式，包括但不局限于以下形式：抓握、對指、側(cè)捏、手腕屈伸等。

以下結(jié)合附圖2、圖3、圖4和圖5對本發(fā)明進(jìn)行具體實施方式進(jìn)行分析：

實施案例一：

如圖2所示，多人交互虛擬現(xiàn)實場景模擬大魚吃小魚場景，場景中共包含兩個角色：A和B，即可供兩名手功能異常者同時進(jìn)行訓(xùn)練。手功能異常者需要完成的對指運動動作，如圖3所示，即周期性地將拇指和食指相互靠近并接觸。

手部運動信息采集模塊采用運動類型，拇指和食指的運動采用彎曲傳感器進(jìn)行信號采集，采樣頻率為50Hz。手部運動信息采集模塊與計算機之間采用ZigBee無線組網(wǎng)協(xié)議進(jìn)行通信。信號分析與處理模塊負(fù)責(zé)提取每次周期性對指運動過程中拇指和食指的彎曲角度，當(dāng)超過一定的閾值時，即可認(rèn)為完成一次有效的對指運動，從而驅(qū)動、控制虛擬現(xiàn)實場景中的大魚（角色A或B）吃掉一個小魚。兩名手功能異常者需要在規(guī)定的時間內(nèi)（例如：1分鐘）盡可能多地有效完成對指運動，即控制大魚盡可能多地吃掉小魚。在游戲過程中，雙方均可以實時地看到對方的運動情況。

實施案例二：

如圖4所示，多人交互虛擬現(xiàn)實場景模擬摘蘋果，場景中共包含四個角色：A、B、C和D，即可供四名手功能異常者同時進(jìn)行訓(xùn)練。手功能異常者需要完成的抓握運動動作，如圖5所示，即周期性地將四指并攏然后向手心聚集。

手部運動信息采集模塊采用壓力類型，抓握運動采用壓力傳感器進(jìn)行信號采集，采樣頻率為50Hz。手部運動信息采集模塊與計算機之間采用ZigBee無線組網(wǎng)協(xié)議進(jìn)行通信。信號分析與處理模塊負(fù)責(zé)提取每次周期性抓握運動過程中所產(chǎn)生的握力值，當(dāng)超過一定的閾值時，即可認(rèn)為完成一次有效的抓握運動，從而驅(qū)動、控制虛擬現(xiàn)實場景中的蘋果掉落運動。四名手功能異常者需要在規(guī)定的時間內(nèi)（例如：1分鐘）盡可能多地有效完成抓握運動，即摘取盡可能多的蘋果。在游戲過程中，每名手功能異常者均可以實時地看到其他人的實時運動情況。

本發(fā)明基于多人交互虛擬現(xiàn)實的手功能訓(xùn)練與評估系統(tǒng)，該系統(tǒng)通過手部運動信息采集模塊，實時記錄多名手功能異常者的手部運動信息。經(jīng)過信號分析與處理后，利用手部運動信息采集模塊與多人交互虛擬現(xiàn)實場景模塊間的交互接口控制多人交互虛擬現(xiàn)實系統(tǒng)中對應(yīng)的角色，實現(xiàn)多名手功能異常者在同一個虛擬現(xiàn)實場景中同時進(jìn)行訓(xùn)練的功能，從而大大提升臨床醫(yī)生的工作效率。同時，該系統(tǒng)可以實現(xiàn)多名手功能異常者的實時交互，通過引入社交網(wǎng)絡(luò)的功能，能夠最大程度地促進(jìn)其訓(xùn)練的愿望。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。