模擬鍵盤鼠標的腦機接口控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及腦機接口領(lǐng)域，尤其是一種模擬鍵盤鼠標的腦機接口控制方法。
【背景技術(shù)】
[0002] 腦機接口（brain computer interface，BCI)采用全新的輸出方式，不依賴于人 體自有的神經(jīng)系統(tǒng)，即不通過外周神經(jīng)和肌肉組織，直接在人腦和電子硬件設(shè)備之間建立 一條應(yīng)用控制輸出通道，是近年來的熱點研宄領(lǐng)域。按采集腦電信號對被試有無創(chuàng)傷，可劃 分為侵入式與非侵入式的BCI系統(tǒng)。所謂侵入式（invasive)，就是采用微電極，植入到腦皮 層中，從大腦的多級神經(jīng)元中測量腦皮層電位，這種方法獲取的腦電信號，其信號保真度較 好；所謂非侵入式（non-invasive)，是在大腦頭皮外貼上電極，經(jīng)信號放大器采集信號。正 由于非入侵式腦電具有操作簡單與安全等優(yōu)點，加上人類對人腦的認識不斷的完善，科學 與技術(shù)水平不斷的進步，使得人類對頭皮腦電（electroencephalogram，EEG)的處理已經(jīng) 能夠達到一定的可控水平，這為非入侵式腦機接口進入實際生活應(yīng)用奠定了基礎(chǔ)。
[0003] 目前，中國專利號為：CN 101968715 B的專利公開了一種基于腦機接口鼠標控制 的因特網(wǎng)瀏覽方法。該專利是專門針對網(wǎng)頁瀏覽應(yīng)用而設(shè)計的，適用范圍很具體。
[0004] 在我們生活中存在著眾多疾病會損傷人體的反射弧，例如：肌萎縮性側(cè)索硬化、腦 干中風、脊髓損傷，這些病人可能處于嚴重或完全癱瘓狀態(tài)，無法通過正常的神經(jīng)傳導(dǎo)、肌 肉運動與外界環(huán)境進行信息交流。因此，需要發(fā)明一種模擬鍵盤鼠標的腦機接口控制方法。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是針對以上不足之處，提供了一種模擬鍵盤鼠標的腦機接口控制方 法，其功能相當于一個鍵盤和鼠標的綜合體，可為上述人群提供一個與正常途徑相似的較 通用的控制電腦或設(shè)備為其工作的手段。
[0006] 為了解決上述技術(shù)問題，本發(fā)明提出的技術(shù)方案為：一種模擬鍵盤鼠標的腦機接 口控制方法，包括以下步驟： 步驟S1 :用戶帶上腦電裝置，所述腦電裝置經(jīng)腦機接口系統(tǒng)連接至受控設(shè)備；受控設(shè) 備開啟后，所述腦機接口系統(tǒng)進入靜息狀態(tài)；在靜息狀態(tài)時，所述腦機接口系統(tǒng)的屏幕上顯 示有"鼠標"鍵和"鍵盤"鍵，所述"鼠標"鍵和"鍵盤"鍵隨機在屏幕上不同的區(qū)域進行閃 爍，不同的區(qū)域分別對應(yīng)不同的閃爍頻率；用戶注視"鼠標"鍵或"鍵盤"鍵；所述腦機接口 系統(tǒng)檢測腦電中是否存在與"鼠標"鍵和"鍵盤"鍵對應(yīng)的SSVEP ;若連續(xù)兩次檢測到"鍵盤" 鍵對應(yīng)的SSVEP，則所述腦機接口系統(tǒng)狀態(tài)切換為鍵盤狀態(tài)，進入步驟S2 ;若連續(xù)兩次檢測 到"鼠標"鍵對應(yīng)的SSVEP，則所述腦機接口系統(tǒng)狀態(tài)切換為鼠標狀態(tài)，進入步驟S3 ;否則， 所述腦機接口系統(tǒng)停留在靜息狀態(tài)； 步驟S2 :處于鍵盤狀態(tài)時，所述腦機接口系統(tǒng)的屏幕上顯示P300鍵盤界面，界面中的 字符開始隨機閃爍；用戶注視所述P300鍵盤界面上的字符；所述腦機接口系統(tǒng)檢測腦電中 P300成分，進行相應(yīng)的輸入或刪除操作；所述P300鍵盤界面中包括"鼠"和"標"字符，若依 次檢測到"鼠"和"標"字符，則所述腦機接口系統(tǒng)狀態(tài)切換為鼠標狀態(tài)； 步驟S3 :處于鼠標狀態(tài)時，所述腦機接口系統(tǒng)的屏幕上顯示有鼠標功能鍵和"鍵盤"切 換鍵，所述鼠標功能鍵包括"單左"鍵、"單右"鍵、"雙左"鍵；所述"鍵盤"切換鍵、"單左" 鍵、"單右"鍵、"雙左"鍵分別位于所述腦機接口系統(tǒng)屏幕上的不同區(qū)域且對應(yīng)不同的閃爍 頻率；用戶進行運動想象或注視所述鼠標功能鍵或注視所述"鍵盤"切換鍵；所述腦機接口 系統(tǒng)檢測腦電中運動想象對應(yīng)的事件相關(guān)去同步來移動鼠標，并且同時在腦電中檢測"單 左"鍵、"單右"鍵、"雙左"鍵和"鍵盤"切換鍵各自對應(yīng)的SSVEP ;若檢測到"單左"鍵、"單 右"鍵或"雙左"鍵對應(yīng)的SSVEP，則相應(yīng)產(chǎn)生單擊鼠標左鍵、單擊鼠標右鍵或雙擊鼠標左鍵 的控制命令；若檢測到"鍵盤"切換鍵對應(yīng)的SSVEP，則所述腦機接口系統(tǒng)狀態(tài)切換為鍵盤 狀態(tài)。
[0007] 所述腦機接口系統(tǒng)指一套能夠綜合處理運動想象、SSVEP和P300的軟硬件系統(tǒng)， 該系統(tǒng)根據(jù)用戶反饋在靜息狀態(tài)、鍵盤狀態(tài)和鼠標狀態(tài)之間切換，其輸入為腦電信號，輸出 為控制命令；所述靜息狀態(tài)指所述腦機接口系統(tǒng)認為用戶無意愿控制受控設(shè)備而沒有接收 用戶輸入的狀態(tài)；所述鍵盤狀態(tài)為所述腦機接口系統(tǒng)通過經(jīng)虛擬鍵盤的方式向受控設(shè)備傳 遞控制命令的狀態(tài)；所述鼠標狀態(tài)為所述腦機接口系統(tǒng)通過虛擬鼠標的方式向受控設(shè)備傳 遞控制命令的狀態(tài)。
[0008] 進一步的，所述受控設(shè)備為通過腦機接口技術(shù)來控制的設(shè)備，包括電腦、殘障人士 使用的輪椅、康復(fù)醫(yī)療設(shè)備或腦機游戲設(shè)備。
[0009] 進一步的，在所述步驟S1中，所述連續(xù)兩次檢測，即二次檢測確認，包括以下步 驟： 步驟S11 :所述"鼠標"鍵和"鍵盤"鍵分別設(shè)置于屏幕四角的任意兩角且沿著屏幕四角 隨機變換，所述"鼠標"鍵和"鍵盤"鍵變換位置后閃爍頻率隨之變換； 步驟S12 :若所述腦機接口系統(tǒng)第一次檢測到SSVEP，則記錄對應(yīng)的按鍵。在間隔時長 后，變換"鼠標"鍵和"鍵盤"鍵的位置，所述腦機接口系統(tǒng)再次檢測SSVEP ;若第二次檢測 的SSVEP所對應(yīng)的按鍵與第一次檢測到的一致，則進入該按鍵對應(yīng)的狀態(tài)；否則仍停留在 靜息狀態(tài)，繼續(xù)檢測SSVEP。
[0010] 進一步的，在所述步驟S2中，所述P300鍵盤界面還包括字符鍵、數(shù)字鍵、符號鍵和 選擇鍵，所述腦機接口系統(tǒng)通過檢測P300來確定用戶所選中的字符；若選擇錯誤，用戶通 過P300鍵盤界面上的Del鍵對已輸入的字符進行刪除；每個字符之間間隔時長為於；若依 次先后檢測到"鼠"和"標"字符，則離開當前鍵盤狀態(tài)，進入鼠標狀態(tài)。
[0011] 進一步的，所述鼠標功能鍵中的"單左"鍵、"單右"鍵和"雙左"鍵與"鍵盤"切換 鍵分別設(shè)置于屏幕的四角，若其中一個按鍵被選擇，則該按鍵的背景色變色。
[0012] 進一步的，所述"鼠標"鍵、"鍵盤"鍵、鼠標功能鍵和"鍵盤"切換鍵的閃爍頻率范 圍為7HZ~18HZ，并且經(jīng)所述腦機接口系統(tǒng)進行二次檢測確認。
[0013] 進一步的，若所述腦機接口系統(tǒng)處于所述鍵盤狀態(tài)或鼠標狀態(tài)，在間隔時長為5 內(nèi)仍未檢測到運動想象、SSVEP或P300腦電成分，則所述腦機接口系統(tǒng)切換至靜息狀態(tài)。
[0014]進一步的，所述a、於、5均大于1S，并且5遠大于a和彥。
[0015] 與現(xiàn)有技術(shù)相比，本發(fā)明有以下優(yōu)點： (1)本發(fā)明允許用戶僅依靠大腦中的認知活動通過類似于綜合運用鍵盤和鼠標的方式 向受控設(shè)備傳遞控制命令，這種方式通用性強。
[0016] (2)本發(fā)明綜合利用了運動想象、SSVEP和P300腦電成分，能夠解決當前殘疾人士 等無法自主操作計算機等受控設(shè)備的難題。
[0017] (3)本發(fā)明采用二次檢測確認的方式，有效地減少了用戶誤操作對檢測的干擾，提 高了控制的準確性與穩(wěn)定性。
[0018] (4)本發(fā)明提供模擬鍵盤鼠標的控制方法，是人機交互設(shè)備中的關(guān)鍵技術(shù)，在醫(yī) 療、商業(yè)和軍事等領(lǐng)域具有應(yīng)用前景。
【附圖說明】
[0019] 下面結(jié)合附圖對本發(fā)明專利進一步說明。
[0020] 圖1為本發(fā)明實施例的狀態(tài)圖。
[0021] 圖2為本發(fā)明實施例在靜息狀態(tài)下的示意圖。
[0022] 圖3為本發(fā)明實施例在鍵盤狀態(tài)下的示意圖。
[0023] 圖4為本發(fā)明實施例在鼠標狀態(tài)下的示意圖。
【具體實施方式】
[0024] 下面結(jié)合附圖和【具體實施方式】對本發(fā)明進一步說明，但本發(fā)明的實施方式不限于 此。
[0025] 如圖1所示，本發(fā)明提供了模擬鍵盤鼠標的腦機接口控制方法，該方法對應(yīng)的系 統(tǒng)有三種狀態(tài)：靜息狀態(tài)、鼠標狀態(tài)和鍵盤狀態(tài)。靜息狀態(tài)指所述系統(tǒng)認為用戶無意愿控制 受控設(shè)備而沒有接收用戶輸入的狀態(tài)。鼠標狀態(tài)指所述系統(tǒng)允許用戶通過類似于使用鼠標 的方式向受控設(shè)備傳送控制命令的狀態(tài)。鍵盤狀態(tài)指所述系統(tǒng)允許用戶通過類似于使用鍵 盤的方式向受控設(shè)備傳送控制命令的狀態(tài)。具體包括以下步驟： 步驟S1:用戶帶上腦電裝置，所述腦電裝置經(jīng)實現(xiàn)本發(fā)明所述方法的腦機接口系統(tǒng)連 接至受控設(shè)備；受控設(shè)備開啟后，所述系統(tǒng)進入靜息狀態(tài)；在此狀態(tài)時，所述系統(tǒng)屏幕上設(shè) 置有"鼠標"鍵和"鍵盤"鍵，隨機在屏幕上不同的區(qū)域進行閃爍，不同的區(qū)域分別對應(yīng)不同 的閃爍頻率；用戶注視"鼠標"鍵或"鍵盤"鍵；所述系統(tǒng)檢測腦電中是否存在與"鼠標"鍵 和"鍵盤"鍵對應(yīng)的SSVEP;若連續(xù)兩次檢測到"鍵盤"鍵對應(yīng)的SSVEP，則所述系統(tǒng)狀態(tài)切 換為鍵盤狀態(tài)，進入步驟S2 ;若連續(xù)兩次檢測到"鼠標"鍵對應(yīng)的SSVEP，則所述系統(tǒng)狀態(tài)切 換為鼠標狀態(tài)，進入步驟S3 ;否則，則停留在靜息狀態(tài)； 步驟S2 :處于鍵盤狀態(tài)時，所述系統(tǒng)的屏幕上顯示P300鍵盤界面，界面中的字符開始 隨機閃爍；用戶注視所述P300鍵盤界面上的字符；所述系統(tǒng)在腦電中檢測P300成分，進行 相應(yīng)的輸入或刪除操作；所述P300鍵盤界面中包括"鼠"和"標"字符，若依次檢測到"鼠" 和"標"字符，則所述系統(tǒng)狀態(tài)切換為鼠標狀態(tài)； 步驟S3 :處于鼠標狀態(tài)時，所述系統(tǒng)的屏幕上顯示鼠標功能鍵和"鍵盤"切換鍵，所述 鼠標功能鍵包括"單左"鍵、"單右"鍵、"雙左"鍵；所述"鍵盤"切換鍵、"單左"鍵、"單右" 鍵、"雙左"鍵分別位于所述腦機接口系統(tǒng)屏幕上的不同區(qū)域且對應(yīng)不同的閃爍頻率；用戶 進行運動想象或注視所述鼠標功能鍵或注視所述"鍵盤"切換鍵；所述系統(tǒng)在腦電中檢測運 動想象對應(yīng)的事件相關(guān)去同步來移動鼠標，并且同時也在腦電中檢測"單左"鍵、"單右"鍵、 "雙左"鍵和"鍵盤"切換鍵各自對應(yīng)的SSVEP ;若檢測到"單左"鍵、"單右"鍵或"雙左"鍵 對應(yīng)的SSVEP，則相應(yīng)產(chǎn)生單擊鼠標左鍵、單擊鼠標右鍵或雙擊鼠標左鍵的控制命令；若檢 測到"鍵盤"切換鍵對應(yīng)的SSVEP，則所述系統(tǒng)狀態(tài)切換為鍵盤狀態(tài)； 如圖2,在本實施例中，在所述步驟S1中，所述連續(xù)兩次檢測，即二次檢測確認包括以 下步驟： 步驟S11 :所述"鼠標"鍵和"鍵盤"鍵分別設(shè)置于屏幕四角的任意兩角且沿著屏幕四角 隨機變換，所述"鼠標"鍵和"鍵盤"鍵變換位置后閃爍頻率隨之變換； 步驟S12 :若所述系統(tǒng)第一次檢測到SSVEP，則記錄對應(yīng)的按鍵，在間隔時長《后，變換 "鼠標"鍵和"鍵盤"鍵的位置，所述系統(tǒng)再次檢測SSVEP ;若第二次檢測的SSVEP所對應(yīng)的 按鍵與第一次檢測到的一致，則進入該按鍵