本發(fā)明涉及到一種基于實物交互的認知和運動功能對人體神經(jīng)系統(tǒng)健康狀況進行檢測的系統(tǒng)及其數(shù)據(jù)處理方法。

背景技術(shù)：

神經(jīng)系統(tǒng)疾病(Nervous System Diseases,NSD)是一種嚴重影響人類生命和生活質(zhì)量的疾病。例如神經(jīng)系統(tǒng)引起的腦卒中(Stroke)并發(fā)癥是世界范圍內(nèi)人口死亡的第三位病因和成人殘疾的首要原因。在我國，中國每年新發(fā)腦卒中患者約200萬人，其中70％～80％的腦卒中患者因為殘疾不能獨立生活。腦血管疾病的高發(fā)病率、高死亡率和高致殘率，給患者的家庭和社會都帶來了沉重的負擔。

近年來，人們對日常健康狀態(tài)的檢測主要依賴于去醫(yī)院進行體檢，但是，一次完整的體檢需要耗費較多的時間和金錢，不可能做到日常檢測，也沒有個人實際情況的針對性。

另外，也有一些醫(yī)學量表用于神經(jīng)系統(tǒng)疾病的評估，比如Action ResearchArm Test(ARAT)量表、WolfMotor Function Test(WMFT)量表以及Fugl-MeyerAssessment(FMA)量表等。這些量表被用來檢查被試的運動功能，比如抓、握、捏和大的運動動作等，可以突出體現(xiàn)用戶的神經(jīng)系統(tǒng)疾病狀況。在這些量表的檢查項目中，有一部分是日?？山佑|的物品，如杯子、石塊等，用戶需要按照量表和醫(yī)生的要求，進行一系列的操作，醫(yī)生通過觀察病人的動作，對其進行打分，并根據(jù)分數(shù)進行后續(xù)分析檢查。但是這些檢測方法非常的耗費時間，而且此方法并未解決不能實時和早期預警的問題。

技術(shù)實現(xiàn)要素：

針對上述問題，本發(fā)明的目的在于提供一種能夠?qū)崟r檢測的基于實物交互的認知和運動功能檢測系統(tǒng)及其數(shù)據(jù)處理方法。通過定量化的數(shù)據(jù)，避免人為檢查的不確定性；并且此系統(tǒng)方便攜帶，可以隨時進行檢測，解決不能實時監(jiān)測和早期預警的問題。

一種基于實物交互的認知和運動功能檢測系統(tǒng)，它包括兩個部分：一個是硬件系統(tǒng)，除了立方塊外殼以外，還包括置入立方塊中的控制模塊、數(shù)據(jù)采集模塊和傳輸模塊等部件；另一個是軟件系統(tǒng)，用于處理和分析傳感器采集的不同數(shù)據(jù)，檢測用戶神經(jīng)系統(tǒng)健康狀況。

其中，硬件系統(tǒng)包括數(shù)據(jù)采集模塊，由慣性傳感器和壓力傳感器組成，用于采集抓握立方塊的壓力信息、抖動信息、完成時間以及任務(wù)完成情況；包括控制模塊，用于負責控制各 傳感器件數(shù)據(jù)采集和傳輸；包括傳輸模塊，用于將采集的數(shù)據(jù)傳輸?shù)接嬎銠C系統(tǒng)中。

一種基于實物交互的認知和運動功能檢測方法，其步驟包括：

1)采集用戶在完成任務(wù)過程中的各傳感器的數(shù)據(jù)。

2)根據(jù)壓力傳感器數(shù)據(jù)的變化，可以標定一個動作序列的起始/終止點。在此動作序列中又可以根據(jù)慣性傳感器數(shù)據(jù)進行子動作切分，被切分的子動作包括拿起/放下、握住不動以及移動。根據(jù)慣性傳感器中加速度計和陀螺儀在豎直方向上的數(shù)值的變化，可以切分出動作序列中的拿起/放下子動作；根據(jù)慣性傳感器中加速度計、陀螺儀和磁力計在水平方向上的數(shù)值的變化，可以切分出動作序列中的移動和握住不動子動作。

3)對已切分好的單一子動作進行識別，將其識別成建模列表中的標準子動作，對不能識別或不在模型中的單一子動作進行記錄，若多次出現(xiàn)則計算機會進行記錄，并對模型進行調(diào)整，若不常出現(xiàn)，將被丟棄。本發(fā)明通過采集正常人通過立方塊殼進行每一設(shè)定子動作時的慣性傳感器數(shù)據(jù)，將其作為該子動作的標準子動作對應(yīng)的慣性傳感器數(shù)據(jù)，得到該建模列表。

4)提取每一子動作對應(yīng)的慣性傳感器數(shù)據(jù)和壓力傳感器數(shù)據(jù)的特征，將連續(xù)的時序數(shù)值變化轉(zhuǎn)換成一系列時域和頻域的特征。

5)對于已知神經(jīng)系統(tǒng)疾病類別的用戶和正常用戶，采集他們在通過立方塊殼進行子動作時所采集的慣性傳感器數(shù)據(jù)、壓力傳感器數(shù)據(jù)以及任務(wù)完成時間和完成情況等數(shù)據(jù)，利用機器學習的方法，將健康用戶和非健康用戶的部分數(shù)據(jù)用作訓練集，使用不同的分類方法進行訓練，并用剩余的用戶數(shù)據(jù)進行評估，得出神經(jīng)系統(tǒng)疾病輔助診斷及預警模型。對于步驟4)所提取的特征，將這些特征與已建立的神經(jīng)系統(tǒng)疾病輔助診斷及預警模型進行比對，分析特征所屬類別，進而判斷神經(jīng)系統(tǒng)疾病情況及類別。

進一步地，所述采集用戶在拼湊立方塊的過程中的各傳感器的數(shù)據(jù)，是指用戶在不被傳感器干擾的情況下，按照自己日常生活中抓握方塊的習慣正常使用本系統(tǒng)，在這些立方塊被使用的過程中，其中集成的傳感器對用戶的使用情況進行監(jiān)測，采集用戶動作數(shù)據(jù)以及壓力數(shù)據(jù)。

進一步地，所述根據(jù)壓力傳感器數(shù)據(jù)進行運動數(shù)據(jù)切分，其原理在于用戶使用立方塊的過程中，不同子動作之間會有比較明顯的界限，如數(shù)值突然增加并超過設(shè)定的閾值等，這些界限可以使用壓力傳感器進行標定，并進行進一步切分。

進一步地，所述對子動作進行識別，是指根據(jù)上一個子動作和壓力傳感器數(shù)據(jù)對用戶當前的動作進行進一步的分析和識別。

進一步地，所述提取子動作慣性傳感器特征，是指根據(jù)神經(jīng)系統(tǒng)疾病的特點(如震顫、動作協(xié)調(diào)性等)分析慣性傳感器數(shù)據(jù)，從原始輸入數(shù)據(jù)中提取相應(yīng)特征的過程。其特征包括 時域和頻域的相關(guān)特征。

進一步地，所述將特征與已建立的神經(jīng)系統(tǒng)疾病輔助診斷及預警模型進行對比，是指將特征向量輸入到本發(fā)明事先已建立的診斷及預警模型中，進行機器學習預測的過程。在建立模型的過程中，采集了大量病人及正常人的數(shù)據(jù)，通過機器學習的方法，對已選擇的特征進行抽取，并訓練形成診斷與預警模型。

相對于現(xiàn)有技術(shù)，本發(fā)明的積極效果為：

本發(fā)明提供的基于實物交互的認知和運動功能檢測系統(tǒng)是一種自然方便的神經(jīng)系統(tǒng)健康診斷系統(tǒng)，通過在立方塊的基礎(chǔ)上增加了多種傳感器，不僅對方塊的功能進行了豐富，而且能在日常工作和生活中方便而又自然的實現(xiàn)健康狀況監(jiān)測。并且定量化的數(shù)據(jù)分析，能夠避免人為檢查的不確定性。

附圖說明

圖1為本發(fā)明實施例基于實物交互的認知和運動功能檢測系統(tǒng)的結(jié)構(gòu)示意圖。

圖2為本發(fā)明實施例基于實物交互的認知和運動功能檢測系統(tǒng)中立方殼排列的示意圖。

圖3為本發(fā)明實施例基于實物交互的認知和運動功能檢測系統(tǒng)目標圖案的示意圖。

圖4為本發(fā)明實施例基于實物交互的認知和運動功能檢測系統(tǒng)中硬件系統(tǒng)模塊圖。

圖5為本發(fā)明方法流程圖。

其中，10-檢測系統(tǒng)，11-立方塊殼，12-壓力傳感器，13-MCU微控制單元，14-慣性傳感器，15-藍牙通信模塊。

具體實施方式

請參閱圖1，本發(fā)明實施例提供一種基于實物交互的認知和運動功能檢測系統(tǒng)，包括硬件系統(tǒng)和軟件系統(tǒng)。

所述硬件系統(tǒng)包括安裝于立方塊殼11表面用于測量抓握方塊壓力信息的壓力傳感器12；安裝于方塊內(nèi)部的慣性傳感器14用于測量抓握方塊時的抖動情況，并計算用戶的運動軌跡；安裝于方塊內(nèi)部的MCU微控制單元13及藍牙通信模塊15用于將不同傳感器收集的數(shù)據(jù)傳輸至計算機系統(tǒng)。

所述軟件系統(tǒng)包括數(shù)據(jù)接收和數(shù)據(jù)處理兩個部分。數(shù)據(jù)接收部分，計算機利用藍牙通信方式接收微控制單元13采集的各個傳感器的數(shù)據(jù)。數(shù)據(jù)處理部分，包括數(shù)據(jù)預處理、去噪、特征提取、分類、結(jié)果分析等，最終將對用戶的神經(jīng)系統(tǒng)健康狀況進行評估。

慣性傳感器14包括加速度計、陀螺儀和磁力計，以及他們進行組合而成的慣性運動捕獲 系統(tǒng)。這些運動傳感器一般有三個軸，但根據(jù)實際需要可使用單軸或雙軸的傳感器。同時，也可根據(jù)所需的精度，調(diào)整芯片的固件程序，以設(shè)置傳感器的精度和量程等參數(shù)。它們具有成本低、尺寸小、質(zhì)量輕等特點，能夠很方便的集成到方塊內(nèi)部。慣性傳感器14能夠收集運動加速度、角度以及姿態(tài)等信息，然后計算出用戶抓握方塊的運動軌跡、速度和使用過程中的抖動情況等，從而監(jiān)測發(fā)現(xiàn)運動過程中出現(xiàn)的抖動或遲緩等現(xiàn)象。

壓力傳感器12(Force Sensing Resistor，F(xiàn)SR)位于方塊表面，放置在表面可以保證用戶抓握方塊時，手指能夠完全貼合在方塊表面上，這樣就能夠貼合到壓力傳感器12上，在保證數(shù)據(jù)采集的同時，不影響方塊的正常使用。其數(shù)值變化表現(xiàn)了用戶拼湊立方塊過程中抓握壓力的變化，并且也能夠使用其數(shù)據(jù)去標定一個動作起始/終止點。此外，方塊內(nèi)部及外部表面還留有空間方便進行其他傳感器件的擴展，以測量更豐富的生理信息，如肌電信號、體溫、指紋信息等。

圖2所示為本實施例基于實物交互的認知和運動功能檢測系統(tǒng)中立方殼排列的示意圖，斜線區(qū)域代表紅色。在立方塊殼11外貼有表面顏色是紅色和白色的等腰直角三角形組成的正方形紙質(zhì)貼片。通過表面顏色是紅色和白色的等腰直角三角形貼片可以組合出三種表面顏色不同的正方形圖案，一種是正方形表面顏色全部都是白色的、一種是正方形表面顏色全是紅色的、以及一種是正方形表面顏色以對角線為界一半紅色一般白色的。每個方塊的六個立方殼11外表面貼有上述三種顏色圖案的正方形貼片各兩片，所組成的立方塊以斜對角面為界，斜對角面以上部分的立方殼11外的表面圖案顏色都是紅色，斜對角面以下部分的立方殼11外的表面圖案顏色都是白色。用戶在拼湊9個所示相同立方塊成3行3列時，每個立方塊朝上的表面圖案會拼湊出不同的圖案。

圖3所示為本實施例基于實物交互的認知和運動功能檢測系統(tǒng)的目標圖案。用戶在拼湊9個所示相同立方塊成3行3列時，每個立方塊朝上的表面圖案會拼湊出不同的圖案，根據(jù)每個如圖3所示給定的任務(wù)和實際拼湊的圖案效果，記錄包括拼湊方塊的完成時間、完成情況等信息，對這些信息進行對比分析，可以對用戶認知功能進行檢測評估。

圖4所示，基于實物交互的認知和運動功能檢測系統(tǒng)硬件系統(tǒng)主要包括：

MCU：即微控制單元，具有體積小、功耗低、成本低、性能高的優(yōu)點，執(zhí)行效率較高，可以滿足方塊大小的要求，而且能夠滿足控制傳感器采集數(shù)據(jù)及數(shù)據(jù)傳輸?shù)囊蟆?/p>

傳感器單元：包括壓力傳感器12、慣性傳感器14，可以同時對多種生理數(shù)據(jù)進行采集。同時，以后也方便擴展其他的傳感部件以增加方塊的功能。

數(shù)據(jù)傳輸模塊：使用藍牙通信模塊15進行數(shù)據(jù)無線傳輸。

圖5所述基于實物交互的認知和運動功能檢測系統(tǒng)數(shù)據(jù)處理主要包括：

數(shù)據(jù)收集：由壓力傳感器12、慣性傳感器14采集到的原始數(shù)據(jù)，通過傳輸模塊傳輸?shù)接嬎銠C端，統(tǒng)一到方便于數(shù)據(jù)處理的格式。

數(shù)據(jù)預處理：原始數(shù)據(jù)需要經(jīng)過預處理的操作轉(zhuǎn)化為能被數(shù)據(jù)分析所用的形式才能進行后續(xù)的操作。如壓力傳感器12和慣性傳感器14采集到的數(shù)據(jù)是時間序列的數(shù)據(jù)，需要進行對齊、去噪、濾波等處理以盡量消除噪聲等的影響。

特征提取：經(jīng)過數(shù)據(jù)預處理后，得到了有效數(shù)據(jù)；根據(jù)壓力傳感器12和慣性傳感器14所采集的數(shù)據(jù)需對操作過程中的動作進行切分，被切分的動作包括拿起/放下、握住不動以及移動。在這些動作中，有觸發(fā)相應(yīng)震顫類型的動作，如抓握不動可觸發(fā)靜止性震顫，移動物體可觸發(fā)運動性震顫，而這些不同的震顫類型又與不同的神經(jīng)系統(tǒng)疾病有明顯的關(guān)聯(lián)。同時對于壓力傳感器12和慣性傳感器14所采集的數(shù)據(jù)，進行特征提取，利用這些特征，為后續(xù)建立模型判斷用戶健康狀況提供支持。具體特征提取方式如下：

第一種為抓握和移動方塊：對于患有神經(jīng)系統(tǒng)疾病的用戶，會有抓握力度不集中的現(xiàn)象，那么在進行抓握方塊動作時，由于無法正確感知物體重量，在不同的動作內(nèi)，其抓握方塊的力度會區(qū)分于正常人；并且，患有特發(fā)性震顫、帕金森癥等疾病的患者，在運動過程中會有震顫、抖動、偏移等現(xiàn)象。在對動作進行切分以后，首先要進行的是對其經(jīng)行進一步的時間優(yōu)選和二次切分，以保證在獲得的數(shù)據(jù)沒有由動作切換帶來的邊界數(shù)據(jù)。其次，根據(jù)動作的種類和性質(zhì)，劃分相應(yīng)大小的時間窗口。對于壓力傳感器12和慣性傳感器14所采集的數(shù)據(jù)，可以將患病用戶與正常用戶在相同動作內(nèi)的特征進行比較，比較數(shù)據(jù)包括在時域?qū)用娣治龃皟?nèi)的統(tǒng)計數(shù)值，如最大值，最小值，平均值，峭度，偏斜度，波峰波谷信息等，形成時域特征向量；以及對時間窗做快速傅里葉變換，獲取窗內(nèi)數(shù)據(jù)的頻域分布信息，并在頻域?qū)用娣治鲱l域的一些特征，如波峰數(shù)和分布等，形成頻域特征向量。利用這些數(shù)據(jù)，作為最終獲取用戶在是否有病層面或有什么病的層面的分類結(jié)果的特征。

第二種為拼湊方塊：認知障礙會造成認知上的偏差，用戶通過對9個方塊的圖形拼湊，記錄用戶拼湊每個任務(wù)的完成時間和完成情況，作為評判認知的參考指標。

建立模型：通過壓力傳感器12和慣性傳感器14得到的壓力和運動狀態(tài)的特征，利用機器學習的方法，可以將健康用戶和非健康用戶的部分數(shù)據(jù)用作訓練集，使用不同的分類方法進行訓練，并用剩余的用戶數(shù)據(jù)進行評估，從而得出效果最為理想的預警模型。

由于不同的特征的參數(shù)變量是低維參數(shù)，根據(jù)特征提取得到的不同特征，使用多項式基函數(shù)就能達到較好的分類效果。最終，可以通過各部分特征單獨分析及加權(quán)綜合平均分析來綜合考察用戶的健康狀況。

結(jié)果評估：經(jīng)過上述模型的訓練分析，可以將處理得到的生理數(shù)據(jù)可視化顯示出來，并 根據(jù)分析的結(jié)果進行評估，得到用戶健康狀況的報告。在用戶日常使用方塊過程中，可以利用模型得到的評估結(jié)果進行健康狀況的監(jiān)控，若發(fā)現(xiàn)問題則及時通知用戶，起到預警的作用。評估得到的數(shù)據(jù)同時可用來幫助醫(yī)生進行疾病的診斷。

本發(fā)明所提供神經(jīng)系統(tǒng)健康診斷系統(tǒng)，通過在立方塊的基礎(chǔ)上增加了多種傳感器，不僅對方塊的功能進行了豐富，而且能在日常工作和生活中方便而又自然的實現(xiàn)健康狀況監(jiān)測。其二，專用醫(yī)療量表測試需要臨床經(jīng)驗豐富的醫(yī)生的監(jiān)督診斷，使用本系統(tǒng)檢測神經(jīng)系統(tǒng)認知和運動功能指標并不需要醫(yī)生的輔助即可完成全部測試，省掉了不必要的麻煩。其三，減少了門診負擔，實現(xiàn)日常的自我監(jiān)護。就醫(yī)難的問題一直是近年來政府關(guān)心的一大難題，醫(yī)生的數(shù)量有限，而患者的數(shù)量又遠遠大于醫(yī)生的數(shù)量，掛號難、住院難等問題難以解決，矛盾日益激化，甚至近兩年間“醫(yī)鬧事件”頻發(fā)。實際上，很多日常的監(jiān)護如果能在家中自行完成，那將很大減輕醫(yī)院的壓力。我們希望本發(fā)明能夠幫助實現(xiàn)對健康的日常監(jiān)測，也提高人們在生活中對于疾病預防的意識，而不再僅僅是“有病治病”。其四，為臨床研究提供數(shù)據(jù)支持。患者用戶的日常行為數(shù)據(jù)能夠為臨床研究提供極大的價值，研究者通過這些數(shù)據(jù)能夠廣泛的了解病患在日常行為表現(xiàn)中的特征，從而根據(jù)這些特征為其他患者的疾病預防監(jiān)控提供幫助。