上一個(gè)閃爍周期兩種缺失方式， 圖3B所示為閃爍消失形式，任意選擇一種作為閃爍刺激缺失形式，在一次刺激周期中，共 出現(xiàn)四次閃爍刺激缺失，每次閃爍刺激缺失距上一次的缺失間隔為四次閃爍周期，即lOhz 下缺失間隔為333ms，12hz下缺失間隔為400ms，一次刺激周期長(zhǎng)度為2. 5s,
[0040] 經(jīng)過腦電采集儀放大、濾波及模數(shù)轉(zhuǎn)換后，將數(shù)字化的腦電信號(hào)輸入計(jì)算機(jī)，其 中，腦電信號(hào)的采集采用16導(dǎo)排SBamp放大器作為采集硬件，放大器的采樣頻率為1200hz， 硬件濾波包括了 0. 05-100hz的帶通濾波及48-52hz的帶阻濾波；
[0041] 步驟3,對(duì)腦電信號(hào)處理，流程圖如圖4所示，包括W下步驟：
[0042] 步驟3-1，對(duì)腦電信號(hào)的預(yù)處理，去除時(shí)間序列中的直流成分W及l(fā)-45hz的帶通 濾波；
[0043]步驟3-2，對(duì)SSVEP特征的特征提取及分類識(shí)別，實(shí)現(xiàn)方為典型相關(guān)分析 (CanonicalCorrelationAnalysis，CCA)，如圖5所示，SSVEP特征主要分布在刺激頻率及 其二倍頻上，將經(jīng)過信號(hào)預(yù)處理后電極01、Oz、02、P化、P04、P08記錄到的數(shù)據(jù)分別與不同 刺激頻率基頻及二倍頻、四倍頻的正余弦信號(hào)求取典型相關(guān)系數(shù)，雖然CCA方法能夠產(chǎn)生 多個(gè)相關(guān)系數(shù)，對(duì)于腦電分析等實(shí)際應(yīng)用問題，一般使用最大相關(guān)系數(shù)，在k個(gè)刺激頻率對(duì) 應(yīng)的k個(gè)最大CCA系數(shù)Pk中，具有最大值的系數(shù)被識(shí)別為用戶注視的目標(biāo)頻率對(duì)應(yīng)的CCA 系數(shù)；
[0044] 步驟3-3,對(duì)0SP特征的特征提取及分類識(shí)別，在SSVEP特征識(shí)別完成之后進(jìn)行，使 用支持向量機(jī)（SVM)及樸素貝葉斯分析完成0SP特征的提取W及識(shí)別，如圖6所示，0SP特 征出現(xiàn)在刺激缺失后的125ms-375ms內(nèi)，0SP特征提取及識(shí)別包括W下幾個(gè)步驟：
[0045] 3-3-1)數(shù)據(jù)平均；根據(jù)SSVEP特征識(shí)別得到的結(jié)果，按識(shí)別頻率對(duì)應(yīng)目標(biāo)刺激缺 失時(shí)刻作為起始時(shí)標(biāo)，對(duì)刺激缺失后0~500ms內(nèi)的數(shù)據(jù)進(jìn)行疊加平均；
[0046] 3-3-2) 0SP特征提?。粚?duì)于平均后的數(shù)據(jù)，定義在C電極在時(shí)間點(diǎn)t處記錄到的頭 皮電位為Xe(t)，在給定時(shí)間點(diǎn)集T=咕，'''tT}的情況下，X(C,T) = [Xe(ti), . . .，Xe(tT)] 為在電極c處記錄的時(shí)域信息，在給定時(shí)間集T=化，...，Ti。} = {{125ms-150ms}，...， {350ms-375ms}}及記錄電極集C= (01,Oz, 02,POz,P04,P08}，的情況下，將在不同時(shí)間集 及不同記錄電極中記錄到的時(shí)空特征集{xi(C，Ti) = [x(Ci，Ti)，...，x(Cm，Ti)]，...，Xi〇(C ，Tio) =[X(c。Tio)，. ..，X(Cm,Tio) ]}作為特征向量；
[0047] 3-3-3)特征訓(xùn)練及在線識(shí)別；在進(jìn)行在線判別前，對(duì)不同頻率的數(shù)據(jù)分別訓(xùn)練 產(chǎn)生訓(xùn)練樣本，每個(gè)頻率對(duì)應(yīng)14*16組訓(xùn)練樣本，對(duì)訓(xùn)練樣本中特征矩陣進(jìn)行分類生成 分類器，分別對(duì)xi佑Ti)，. . .，Xw(C，Ti。）進(jìn)行SVM分類，得到第一層的分類結(jié)果dj (j= (1，2，...，10})，則；
[0048] Pjki=P(dj=kIC= D k, 1 = 0, 1
[0049] 其中，c為正確的OSP標(biāo)簽，根據(jù)bayes公式，得到第一層SVM分類結(jié)果為盯視目 標(biāo)的概率；
[(K)加]
[0051]其中，Pj(|l，Pjll，PjlCl，PjClCl通過bayes訓(xùn)練得到，dj通過第一層SVM分類得到，對(duì)比按 照上述步驟3-2中閃爍頻率判別結(jié)果對(duì)應(yīng)不同刺激缺失時(shí)刻平均并分類后的結(jié)果，得到P 值較大的則判斷為最終識(shí)別目標(biāo)；
[005引所述的SVM，naive bayes分類及判別函數(shù)均來(lái)自于Donders Machine Learning Too化ox工具箱，SVM采用的核函數(shù)為線性核函數(shù)；
[0化3] 步驟4,計(jì)算機(jī)通過屏幕輸出識(shí)別結(jié)果，實(shí)現(xiàn)對(duì)受試者的視覺反饋。
[0化4] 步驟5,計(jì)算機(jī)完成目標(biāo)識(shí)別反饋后，返回步驟2,重復(fù)步驟2、3、4,進(jìn)行下一步的 目標(biāo)識(shí)別。
[0化5] 下面再結(jié)合具體實(shí)施實(shí)例對(duì)本發(fā)明進(jìn)行說明。
[0056] 對(duì)九名受試者進(jìn)行了實(shí)驗(yàn)，分別在閃爍停頓及閃爍缺失的情況下實(shí)驗(yàn)。按照上述 步驟1對(duì)受試者安放電極，按照上述步驟2將四個(gè)刺激目標(biāo)呈現(xiàn)在屏幕上并進(jìn)行腦電信號(hào) 采集，按照上述步驟3至步驟5識(shí)別受試者盯視的目標(biāo)。實(shí)驗(yàn)中要求受試者盡量減少巧眼 及肢體動(dòng)作。受試者按照屏幕提示隨機(jī)盯視不同刺激目標(biāo)，每種閃爍刺激缺失方式下分別 進(jìn)行10輪實(shí)驗(yàn)，一輪實(shí)驗(yàn)中共有16次刺激，一輪實(shí)驗(yàn)中每次刺激間隔為Is。對(duì)比引入0SP 信息及單純采用SSVEP信息所能達(dá)到的信息傳輸率，結(jié)果如圖7所示，其中，空屯、圓代表的 是采用SSVEP信息與0SP信息所能達(dá)到的信息傳輸率，星形代表的是單純采用SSVEP信息 所能達(dá)到的信息傳輸率，結(jié)果顯示，引入0SP信息中，刺激目標(biāo)翻倍，大部分受試者的信息 傳輸率都得到了大幅度提升。
【主權(quán)項(xiàng)】
1. 基于SSVEP與OSP的混合腦-機(jī)接口方法，其特征在于，包括以下步驟： 步驟1，受試者穿戴好電極帽，坐在計(jì)算機(jī)正前方，受試者頭部距離計(jì)算機(jī)屏幕為 60-80厘米，所有電極按照"國(guó)際10/20標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)"放置，記錄電極位于大腦枕部區(qū)域， 包括01、Oz、02、POz、P04、P08，參考電極位于左耳耳垂，地電極為Fpz，給記錄電極及參考電 極、地電極注入導(dǎo)電膏，并確保其與頭皮接觸良好； 步驟2,將SSVEP-0SP混合范式通過計(jì)算機(jī)屏幕在受試者面前播放，受試者選擇一個(gè)刺 激目標(biāo)進(jìn)行盯視，通過電極帽采集受試者盯視刺激目標(biāo)時(shí)產(chǎn)生的頭皮腦電信號(hào)，SSVEP-0SP 混合范式在重復(fù)周期刺激中引入了刺激缺失，實(shí)現(xiàn)SSVEP和OSP特征的同時(shí)誘發(fā)，其中圓盤 1、 3以12hz的頻率閃爍，圓盤2、4以IOhz的頻率閃爍，圓盤1、2、3、4分別在467ms、450ms、 633、650ms時(shí)出現(xiàn)首次閃爍刺激缺失，閃爍刺激缺失有圓盤停頓在屏幕上一個(gè)閃爍周期以 及消失在屏幕上一個(gè)閃爍周期兩種缺失形式，任意選擇一種作為閃爍刺激缺失方式，在一 次刺激周期中，共出現(xiàn)四次閃爍刺激缺失，每次閃爍刺激缺失距上一次的缺失間隔為四次 閃爍周期，即IOhz下缺失間隔為333ms，12hz下缺失間隔為400ms，一次刺激周期長(zhǎng)度為 2. 5s，經(jīng)過腦電采集儀放大、濾波及模數(shù)轉(zhuǎn)換后，將數(shù)字化的腦電信號(hào)輸入計(jì)算機(jī)，其中，腦 電信號(hào)的采集采用16導(dǎo)gUSBamp放大器作為采集硬件，放大器的采樣頻率為1200hz，硬件 濾波包括了 〇. 05-lOOhz的帶通濾波及48-52hz的帶阻濾波； 步驟3,對(duì)腦電信號(hào)處理，包括腦電信號(hào)的預(yù)處理及對(duì)SSVEP特征及OSP特征的提取識(shí) 別； 步驟4,計(jì)算機(jī)通過屏幕輸出識(shí)別結(jié)果，實(shí)現(xiàn)對(duì)受試者的視覺反饋； 步驟5,計(jì)算機(jī)完成目標(biāo)識(shí)別反饋后，返回步驟2,重復(fù)步驟2、3、4,進(jìn)行下一步的目標(biāo) 識(shí)別。2. 根據(jù)權(quán)利要求1所述的基于SSVEP與OSP的混合腦-機(jī)接口方法，其特征在于：所 述的步驟3對(duì)腦電信號(hào)的預(yù)處理及對(duì)SSVEP特征及OSP特征的提取識(shí)別，包括以下步驟： 步驟3-1，對(duì)腦電信號(hào)的預(yù)處理，去除時(shí)間序列中的直流成分以及l(fā)-45hz的帶通濾波； 步驟3-2,對(duì)SSVEP特征的特征提取及分類識(shí)別，實(shí)現(xiàn)方法為典型相關(guān)分析（Canonical CorrelationAnalysis，CCA)，將經(jīng)過信號(hào)預(yù)處理后電極01、0z、02、P0z、P04、P08記錄到的 數(shù)據(jù)分別與不同刺激頻率基頻及二倍頻、四倍頻的正余弦信號(hào)求取典型相關(guān)系數(shù)，在k個(gè) 刺激頻率對(duì)應(yīng)的k個(gè)最大CCA系數(shù)Pk中，具有最大值的系數(shù)被識(shí)別為用戶注視的目標(biāo)頻 率對(duì)應(yīng)的CCA系數(shù)； 步驟3-3，對(duì)OSP特征的特征提取及分類識(shí)別，在SSVEP特征識(shí)別完成之后進(jìn)行，使用支 持向量機(jī)（SVM)及樸素貝葉斯分析完成OSP特征的提取以及識(shí)別，OSP特征提取及識(shí)別包 括以下幾個(gè)步驟： 3-3-1)數(shù)據(jù)平均：根據(jù)SSVEP特征識(shí)別得到的結(jié)果，按識(shí)別頻率對(duì)應(yīng)目標(biāo)刺激缺失時(shí) 刻作為起始時(shí)標(biāo)，對(duì)刺激缺失后〇~500ms內(nèi)的數(shù)據(jù)進(jìn)行疊加平均； 3-3-2)OSP特征提?。簩?duì)于平均后的數(shù)據(jù)，定義在c電極在時(shí)間點(diǎn)t處記錄到的頭皮電 位為xe(t)，在給定時(shí)間點(diǎn)集T=It1,…以的情況下，x(c,T) = [Xc^t1), ? ? ?，xe(tT)]為在 電極c處記錄的時(shí)域信息，在給定時(shí)間集T=IT1, ? ? ?，TltJ= {{125ms-150ms}，? ? ?，{350m s-375ms}}及記錄電極集C= {01，0z，02,POz，P04,P08}，的情況下，將在不同時(shí)間集及不同 記錄電極中記錄到的時(shí)空特征集（X1(CJ1) = [xh，T1),...，x(cM,T1)],...，x1Q(C,Tltl)= [X(C1,T1(l)，? ??，X(cM,T1(l) ]}作為特征向量； 3-3-3)特征訓(xùn)練及在線識(shí)別：在進(jìn)行在線判別前，對(duì)不同頻率的數(shù)據(jù)分別訓(xùn)練產(chǎn) 生訓(xùn)練樣本，每個(gè)頻率對(duì)應(yīng)14*16組訓(xùn)練樣本，對(duì)訓(xùn)練樣本中特征矩陣進(jìn)行分類生成分 類器，分別對(duì)X1 (C，T1)，...，Xltl (C，Tltl)進(jìn)行SVM分類，得到第一層的分類結(jié)果七(j= {1，2，...，10})，則： Pjkl=p(dJ=k|c=l)k, 1 = 0, 1 其中，c為正確的OSP標(biāo)簽，根據(jù)bayes公式，得到第一層SVM分類結(jié)果為盯視目標(biāo)的 概率：其中，Pjtii，Pjii，Pjici，PjCICI通過bayes訓(xùn)練得到，dj通過第一層SVM分類得到，對(duì)比按照上 述步驟3-2中閃爍頻率判別結(jié)果對(duì)應(yīng)不同刺激缺失時(shí)刻平均并分類后的結(jié)果，得到P值較 大的則判斷為最終識(shí)別目標(biāo)； 所述的SVM，naivebayes分類及判別函數(shù)均來(lái)自于DondersMachineLearning Toolbox工具箱，SVM采用的核函數(shù)為線性核函數(shù)。
【專利摘要】基于SSVEP與OSP的混合腦-機(jī)接口方法，受試者穿戴好電極帽，將SSVEP-OSP混合范式通過計(jì)算機(jī)屏幕在受試者面前播放，受試者注視刺激單元中的任意一個(gè)，通過采集系統(tǒng)將受試者盯視刺激目標(biāo)時(shí)產(chǎn)生的腦電信號(hào)，經(jīng)腦電采集儀放大、濾波及模數(shù)轉(zhuǎn)換后，將數(shù)字化的腦電數(shù)據(jù)輸入計(jì)算機(jī)，然后采用基于典型相關(guān)分析的腦電信號(hào)特征提取方法對(duì)SSVEP特征實(shí)現(xiàn)提取及分類識(shí)別，采用支持向量機(jī)及樸素貝葉斯分析對(duì)OSP特征實(shí)現(xiàn)提取及識(shí)別，將識(shí)別結(jié)果顯示在屏幕上以反饋給受試者，再進(jìn)行下一次識(shí)別，本發(fā)明能夠顯著提高基于SSVEP的腦-機(jī)接口方法的信息傳輸率，具有操作簡(jiǎn)單、電極數(shù)少和目標(biāo)數(shù)多的優(yōu)點(diǎn)。
【IPC分類】G06F3/01
【公開號(hào)】CN104965584
【申請(qǐng)?zhí)枴緾N201510256999
【發(fā)明人】王晶, 武穎瑩, 郭曉輝, 徐光華
【申請(qǐng)人】西安交通大學(xué)
【公開日】2015年10月7日
【申請(qǐng)日】2015年5月19日