一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】一個(gè)基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法及系統(tǒng)，將可輸入的字符分為N1個(gè)字符組和一個(gè)字符與功能混合組，N1個(gè)字符組中排列順序相同的字符使用同一個(gè)按鍵進(jìn)行選擇；系統(tǒng)包括LED視覺(jué)刺激器、腦電采集平臺(tái)、PC實(shí)時(shí)處理系統(tǒng)和字符輸入接口；視覺(jué)刺激器用于產(chǎn)生不同頻率的視覺(jué)刺激；腦電采集平臺(tái)用于實(shí)時(shí)采集腦電信號(hào)，經(jīng)放大、濾波與模數(shù)轉(zhuǎn)換后輸入PC計(jì)算機(jī)；PC實(shí)時(shí)處理系統(tǒng)用于對(duì)接收的腦電信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)頻率，識(shí)別該頻率對(duì)應(yīng)LED，并將其代表的命令傳送到字符輸入接口；字符輸入接口根據(jù)命令的類(lèi)型做相應(yīng)的處理，并將欲輸入的字符在計(jì)算機(jī)屏幕顯示區(qū)域顯示。本發(fā)明輸入速度快，準(zhǔn)確率高，穩(wěn)健性好，不需要用戶(hù)訓(xùn)練。
【專(zhuān)利說(shuō)明】一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及腦科學(xué)技術(shù)和計(jì)算機(jī)技術(shù)，更具體地說(shuō)，本發(fā)明涉及腦機(jī)接口技術(shù)與字符輸入技術(shù)。
【背景技術(shù)】
[0002]人腦通過(guò)神經(jīng)肌肉通道與外界通信或控制外部環(huán)境，而許多疾病可能破壞這些神經(jīng)肌肉通道。例如，肌肉萎縮性側(cè)索硬化、腦干中風(fēng)、脊髓損傷、腦癱、帕金森氏、多種硬化病以及其他許多疾病會(huì)損害控制肌肉的神經(jīng)通道或損害肌肉本身。那些受到這些疾病嚴(yán)重影響的人可能會(huì)失去自主的肌肉控制，因而產(chǎn)生運(yùn)動(dòng)功能障礙，以至于不能與外界進(jìn)行通信或控制外部設(shè)備。
[0003]腦機(jī)接口(Brain-Computer Interface, BCI)監(jiān)測(cè)用戶(hù)的腦活動(dòng)，解讀用戶(hù)的意圖，并將用戶(hù)的意圖轉(zhuǎn)換為外部命令。作為一種新的、非肌肉的通信通道，BCI能夠使人直接通過(guò)大腦來(lái)表達(dá)思想或操縱設(shè)備，而不需要借助語(yǔ)言或肢體動(dòng)作。對(duì)于嚴(yán)重的運(yùn)動(dòng)殘疾患者，BCI能夠?qū)⑺麄兊囊鈭D傳送到外部裝置，比如計(jì)算機(jī)、家用電器、護(hù)理設(shè)備以及神經(jīng)假體等，從而改進(jìn)他們的生活質(zhì)量。
[0004]傳統(tǒng)的字符輸入方法，無(wú)論是基于鍵盤(pán)或鼠標(biāo)，還是基于手寫(xiě)或手勢(shì)，都需要健全的手指才能實(shí)現(xiàn)。對(duì)于那些遭受運(yùn)動(dòng)功能障礙以至于雙上肢殘疾的患者，這些方法都無(wú)能為力。為了解放雙手，實(shí)現(xiàn)不依賴(lài)于人手的字符輸入，人們發(fā)明了基于語(yǔ)音技術(shù)、視線跟蹤技術(shù)以及腦機(jī)接口技術(shù)的字符輸入方法。語(yǔ)音技術(shù)的局限是易受環(huán)境噪聲的影響，而視線跟蹤技術(shù)的缺點(diǎn)是視線點(diǎn)定位精度低。另外，視線跟蹤系統(tǒng)無(wú)法對(duì)用戶(hù)操作時(shí)有意和無(wú)意的目標(biāo)選擇活動(dòng)進(jìn)行有效的區(qū)分，限制了這類(lèi)系統(tǒng)的實(shí)際應(yīng)用。
[0005]不同的腦電(Electroencephalography, EEG)信號(hào)分量，例如慢皮層電位、運(yùn)動(dòng)想象產(chǎn)生的mu/beta節(jié)律、事件相關(guān)P300電位、以及視覺(jué)誘發(fā)電位(Visual EvokedPotential, VEP)，都可以用作BCI的特征信號(hào)。其中，基于P300電位的BCI能夠提供足夠多的控制命令，實(shí)現(xiàn)一個(gè)控制命令輸入一個(gè)字符，因而大多數(shù)現(xiàn)有的腦拼寫(xiě)器(MentalSpeller)使用P300電位作為BCI的特征信號(hào)。然而，基于P300電位的BCI存在兩個(gè)固有的缺點(diǎn):一是當(dāng)需輸入的字符數(shù)較多時(shí)，輸入一個(gè)字符所需要的時(shí)間較長(zhǎng)，導(dǎo)致低的字符輸入速度；二是缺乏時(shí)間上和用戶(hù)之間的穩(wěn)健性，導(dǎo)致低的字符輸入正確率。其中第一個(gè)缺點(diǎn)可通過(guò)其他技術(shù)進(jìn)行彌補(bǔ)，而第二個(gè)缺點(diǎn)是難以克服的，使基于P300的BCI在實(shí)際應(yīng)用中受到限制。在這些BCI實(shí)現(xiàn)方法中，基于VEP的BCI由于具有如下四個(gè)優(yōu)點(diǎn)，因而獲得了越來(lái)越多的注意和重視:1)高的信息傳輸率；2)幾乎不需要用戶(hù)訓(xùn)練；3)低的用戶(hù)變化率；
4)易于使用。
[0006]VEP反映了大腦的視覺(jué)信息處理機(jī)制，是人眼對(duì)閃光刺激的一種響應(yīng)。按照重復(fù)刺激的頻率不同，VEP可分為暫態(tài)VEP與穩(wěn)態(tài)VEP。當(dāng)視覺(jué)刺激的重復(fù)頻率較低時(shí)，兩次連續(xù)刺激引起的響應(yīng)不會(huì)產(chǎn)生交迭，每次刺激產(chǎn)生的響應(yīng)獨(dú)立于以前的刺激，這種響應(yīng)稱(chēng)為暫態(tài)VEP (Transient VEP, TVEP);當(dāng)視覺(jué)刺激的重復(fù)頻率高于6Hz時(shí)，連續(xù)幾次刺激誘發(fā)的響應(yīng)會(huì)迭加在一起，使大腦皮層神經(jīng)元發(fā)放與刺激頻率同步，在枕區(qū)和頂區(qū)腦電活動(dòng)的節(jié)律明顯增強(qiáng)，形成一種穩(wěn)定的響應(yīng)，稱(chēng)為穩(wěn)態(tài)VEP (Steady-State VEP, SSVEP)。SSVEP具有與視覺(jué)刺激頻率相同的基波頻率及其諧波，其基波頻率可用特定的信號(hào)處理算法進(jìn)行檢測(cè)。
[0007]SSVEP響應(yīng)的幅度和相位重復(fù)視覺(jué)模式的頻率、強(qiáng)度和結(jié)構(gòu)，這種視覺(jué)模式的重復(fù)既可以由計(jì)算機(jī)LCD顯示器產(chǎn)生，也可以由獨(dú)立于計(jì)算機(jī)的LED顯示器產(chǎn)生。由于受到屏幕刷新率和諧波頻率的制約，計(jì)算機(jī)LCD顯示器最多只能產(chǎn)生5個(gè)基于頻率編碼的刺激頻率(即控制命令)。為了增加可輸入字符的數(shù)目，基于IXD的字符輸入裝置要求一個(gè)自適應(yīng)的策略創(chuàng)建一個(gè)圖形用戶(hù)接口(Graphic User Interface,⑶I),按照這個(gè)接口結(jié)合幾個(gè)命令輸入一個(gè)字符，導(dǎo)致低的字符輸入速度。
[0008]相比而言，一個(gè)獨(dú)立的LED視覺(jué)刺激器在結(jié)構(gòu)上沒(méi)有限制，并能提供比IXD顯示器更強(qiáng)的視覺(jué)刺激。理論上，LED視覺(jué)刺激器能夠提供足夠的刺激目標(biāo)，實(shí)現(xiàn)一個(gè)命令輸入一個(gè)字符；實(shí)際上，在一個(gè)面積受限的LED面板上，太多的刺激目標(biāo)(即LED顯示器)導(dǎo)致相鄰刺激目標(biāo)之間的間隔變小，引起刺激光源之間的相互干擾，嚴(yán)重影響刺激頻率的識(shí)別，從而降低字符輸入的正確率。因此，LED面板上刺激目標(biāo)的多少應(yīng)仔細(xì)考慮，刺激目標(biāo)的數(shù)目應(yīng)在輸入速度與精度上取得平衡。
[0009]目前存在的利用BCI實(shí)現(xiàn)字符輸入的主要技術(shù)是基于P300的BCI技術(shù)、基于視線跟蹤和P300的技術(shù)，以及基于SSVEP和P300的混合BCI技術(shù)。例如，中國(guó)專(zhuān)利“基于P300腦電電位的中文輸入BCI系統(tǒng)(200710164418.6) ”，將漢字按五筆字型拆分為5個(gè)基本筆劃，通過(guò)檢測(cè)P300電位輸入每個(gè)漢字所需筆劃，實(shí)現(xiàn)中文文字輸入；中國(guó)專(zhuān)利“一種基于視線跟蹤和P300腦電電位的字符輸入裝置(200910080852.5) ”，以視線點(diǎn)為中心限定需輸入字符所在的區(qū)域，在限定區(qū)域通過(guò)檢測(cè)P300電位實(shí)現(xiàn)字符的輸入；中國(guó)專(zhuān)利“采用腦電時(shí)頻成分雙重定位范式的快速字符輸入方法(201210013087.7) ”，將可輸入的字符按功能分為4個(gè)區(qū)域，通過(guò)檢測(cè)SSVEP電位選擇字符所在的分區(qū)，在選定的區(qū)域內(nèi)通過(guò)檢測(cè)P300電位進(jìn)行字符輸入。這些技術(shù)克服了基于P300的BCI的第一個(gè)缺點(diǎn)，即字符輸入速度的問(wèn)題，而沒(méi)有克服其第二個(gè)缺點(diǎn)，即在時(shí)間上和用戶(hù)之間的穩(wěn)健性問(wèn)題。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是提供一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法及系統(tǒng)，其特點(diǎn)是輸入速度快、輸入正確率高、系統(tǒng)穩(wěn)健性好、不需要用戶(hù)訓(xùn)練。
[0011]本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。
[0012]本發(fā)明所述的基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法，其特征在于，采用一個(gè)兩步的判決樹(shù)字符輸入規(guī)則，以便使用少量的LED按鍵實(shí)現(xiàn)較多字符的輸入，并且輸入一個(gè)字符或功能命令最多需要兩個(gè)選擇。
[0013]所述的兩步判決樹(shù)輸入規(guī)則是指，將可輸入的K個(gè)字符和功能命令分成Kl個(gè)字符組和一個(gè)字符與功能混合組；每一個(gè)字符組包括K2個(gè)字符命令，而混合組包括K3個(gè)字符與功能命令；K1個(gè)字符組構(gòu)成一個(gè)主菜單，其中每個(gè)字符組可用一個(gè)主菜單按鍵進(jìn)行選擇；每個(gè)字符組中的K2字符構(gòu)成一個(gè)子菜單，Kl個(gè)子菜單中排列順序相同的字符，可用同一個(gè)順序號(hào)按鍵進(jìn)行選擇；字符與功能混合組構(gòu)成一個(gè)獨(dú)立菜單，獨(dú)立菜單中的每個(gè)字符或功能命令可用一個(gè)按鍵進(jìn)行選擇。這樣，K = K1XK2+K3個(gè)字符和功能可用K1+K2+K3個(gè)按鍵進(jìn)行選擇，實(shí)現(xiàn)了用較少的按鍵輸入較多字符的目的。
[0014]所述的字符輸入方法是:
[0015]若要輸入的字符與前一個(gè)已輸入的字符不在同一個(gè)子菜單，則用戶(hù)首先要選擇該字符所在字符組的主菜單按鍵，再按照該字符所在字符組的順序選擇順序號(hào)按鍵；
[0016]若要輸入的字符與前一個(gè)已輸入的字符在同一個(gè)子菜單，則用戶(hù)無(wú)需選擇該字符所在字符組的主菜單按鍵，直接按照該字符所在字符組的順序選擇順序號(hào)按鍵；
[0017]若要輸入獨(dú)立菜單中的字符和功能命令，分別用一個(gè)按鍵直接輸入。
[0018]本發(fā)明所述的基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，包括一個(gè)LED視覺(jué)刺激器，一個(gè)腦電采集平臺(tái)，一個(gè)PC實(shí)時(shí)處理系統(tǒng)和一個(gè)字符輸入接口。其中，視覺(jué)刺激器用于產(chǎn)生不同頻率的視覺(jué)刺激；腦電采集平臺(tái)用于實(shí)時(shí)采集EEG信號(hào)，經(jīng)過(guò)放大、濾波與模數(shù)轉(zhuǎn)換后，通過(guò)數(shù)據(jù)線輸入PC計(jì)算機(jī)；PC實(shí)時(shí)處理系統(tǒng)用于對(duì)接收的EEG信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的LED，并將其代表的命令傳送到字符輸入接口 ；字符輸入接口用于根據(jù)命令的類(lèi)型做相應(yīng)的處理，并將欲輸入的字符在計(jì)算機(jī)屏幕顯示區(qū)域顯示。
[0019]1、所述的LED視覺(jué)刺激器由刺激器面板與刺激器控制電路組成，用于產(chǎn)生不同頻率的視覺(jué)刺激。
[0020]其中，所述的刺激器面板，用于模擬一個(gè)由N個(gè)按鍵組成的字符輸入鍵盤(pán)。刺激器面板由N個(gè)發(fā)白色光的LED顯示器組成，排列成NI XN2的刺激矩陣。每個(gè)LED為2cmX 2cm的矩形方塊。為了避免光源產(chǎn)生相互干擾，相鄰LED之間應(yīng)有足夠的距離。本發(fā)明兩個(gè)相鄰LED的水平和垂直距離均為2.5cm。每個(gè)LED顯示器內(nèi)部包含6個(gè)發(fā)光二極管，組成由3個(gè)發(fā)光二極管串連的雙列結(jié)構(gòu)。
[0021]其中，所述的刺激器控制電路，包括刺激信號(hào)產(chǎn)生電路和LED電流驅(qū)動(dòng)電路；刺激信號(hào)產(chǎn)生電路用于產(chǎn)生N路不同頻率的方波信號(hào)，LED電流驅(qū)動(dòng)電路用于給每個(gè)LED顯示器施加足夠的驅(qū)動(dòng)電流，以保證LED具有足夠的發(fā)光強(qiáng)度。
[0022]刺激信號(hào)產(chǎn)生電路由CPLD芯片及其外圍電路構(gòu)成，N路方波信號(hào)由CPLD芯片I/O端口輸出。它們的工作模式由CPLD外圍的4個(gè)撥碼開(kāi)關(guān)來(lái)設(shè)定。每個(gè)LED的閃光頻率可以通過(guò)程序設(shè)定和改變，頻率范圍為6Hz?20Hz，頻率之間的最小間隔為0.2Hz。
[0023]由CPLD芯片I/O端口輸出的N路方波信號(hào)，輸送至N路LED電流驅(qū)動(dòng)電路，施加電流驅(qū)動(dòng)后的方波信號(hào)用于控制LED顯示器發(fā)光。N路方波信號(hào)以及電流驅(qū)動(dòng)電路相互獨(dú)立、互不干擾。
[0024]2、所述腦電采集平臺(tái)包括電極帽與腦電放大器，電極帽用于采集腦電信號(hào)，腦電放大器用于對(duì)采集的腦電信號(hào)進(jìn)行濾波、放大與模數(shù)轉(zhuǎn)換。電極帽包括由7個(gè)電極組成EEG信號(hào)記錄通道，位于大腦枕域。按照國(guó)際10/20系統(tǒng)放置標(biāo)準(zhǔn)，7個(gè)信號(hào)電極分別位于01，02，Pz, P3, P4, P7, P8。地電極位于Fz，參考電極位于左耳垂；腦電放大器放大倍數(shù)為20000，濾波頻帶為0.01?30Hz，模數(shù)轉(zhuǎn)換的抽樣率為1024Hz。
[0025]3、所述PC實(shí)時(shí)處理系統(tǒng)執(zhí)行系統(tǒng)初始化、視覺(jué)刺激器啟動(dòng)、數(shù)據(jù)采集控制、數(shù)據(jù)接收與保存、數(shù)字信號(hào)處理、以及控制命令輸出等操作。PC實(shí)時(shí)處理系統(tǒng)具有兩個(gè)主要功能:一是對(duì)整個(gè)系統(tǒng)的工作狀態(tài)進(jìn)行控制，二是對(duì)腦電數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，識(shí)別用戶(hù)的操作命令。系統(tǒng)控制軟件基于C++平臺(tái)開(kāi)發(fā)。數(shù)字信號(hào)處理程序由Matlab語(yǔ)言編寫(xiě)，通過(guò)應(yīng)用程序接口(Application Program Interface, API)由系統(tǒng)控制程序調(diào)用。腦電放大器與計(jì)算機(jī)之間的數(shù)據(jù)傳輸遵循TCP/IP協(xié)議。
[0026]數(shù)字信號(hào)處理是指使用專(zhuān)門(mén)的算法對(duì)腦電信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的用戶(hù)命令。本發(fā)明提供的字符輸入裝置使用典型相關(guān)分析(Canonical Correlation Analysis, CCA)對(duì)腦電信號(hào)中 SSVEP 的頻率進(jìn)行檢測(cè)。CCA 是一種多變量統(tǒng)計(jì)方法，用于兩個(gè)變量存在某種隱含相關(guān)的情況。在該字符輸入裝置中，CCA方法用于描述刺激信號(hào)與記錄的腦電信號(hào)之間的相關(guān)性。
[0027]4、所述字符輸入接口接收PC實(shí)時(shí)處理系統(tǒng)發(fā)送的命令，根據(jù)命令的類(lèi)型進(jìn)行相應(yīng)的處理，包括以下三種情況:
[0028]I)如果接收的是主菜單命令，則等待接收子菜單命令；
[0029]2)如果接收的是子菜單命令，則將其與前一個(gè)主菜單命令進(jìn)行組合，確定用戶(hù)想要輸入的字符，并將該字符在計(jì)算機(jī)屏幕顯示區(qū)顯示；
[0030]3)如果接收的是獨(dú)立菜單命令，則需要判斷是字符鍵還是功能鍵。若是字符鍵，則將其對(duì)應(yīng)的字符在計(jì)算機(jī)屏幕顯示區(qū)顯示；若是功能鍵，則首先需要判別是何種功能鍵，然后執(zhí)行相應(yīng)的功能操作。
[0031]本發(fā)明的基本思想是，在采用中等規(guī)模刺激目標(biāo)的條件下，使用一個(gè)兩步的判決樹(shù)字符輸入策略構(gòu)造字符輸入接口，以便輸入一個(gè)字符最多需要兩個(gè)命令。由于SSVEP電位的穩(wěn)定性好，這種字符輸入系統(tǒng)在取得高的輸入速度和正確率的前提下，具有高的穩(wěn)健性，而且不需要用戶(hù)訓(xùn)練，使該字符輸入系統(tǒng)可以作為一個(gè)實(shí)際應(yīng)用系統(tǒng)，服務(wù)于廣大的運(yùn)動(dòng)殘疾患者。
[0032]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益的效果:
[0033]I)本發(fā)明提供的字符輸入系統(tǒng)以SSVEP信號(hào)作為BCI系統(tǒng)的輸入信號(hào)，具有高的字符輸入準(zhǔn)確率、以及在時(shí)間上和用戶(hù)之間的高穩(wěn)健性；
[0034]2)本發(fā)明提供的字符輸入系統(tǒng)輸入一個(gè)字符最多需要兩個(gè)命令，字符輸入速度快；
[0035]3)本發(fā)明提供的字符輸入系統(tǒng)工作穩(wěn)定，用戶(hù)不需要訓(xùn)練就能使用。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0036]圖1是本發(fā)明基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)原理框圖。
[0037]圖2是本發(fā)明兩步判決樹(shù)字符輸入規(guī)則示意圖。
[0038]圖3是本發(fā)明LED視覺(jué)刺激器面板示意圖。
[0039]圖4是本發(fā)明LED視覺(jué)刺激器控制信號(hào)產(chǎn)生電路原理圖。
[0040]圖5是本發(fā)明LED視覺(jué)刺激器電流驅(qū)動(dòng)電路原理圖。
[0041]圖6是本發(fā)明字符輸入系統(tǒng)腦電信號(hào)記錄電極位置分布圖。
[0042]圖7是本發(fā)明字符輸入系統(tǒng)PC實(shí)時(shí)處理系統(tǒng)程序流程圖。
[0043]圖8是本發(fā)明字符輸入系統(tǒng)使用CCA檢測(cè)SSVEP頻率的方法。X為多通道腦電信
號(hào)，Yfk為刺激頻率fk的參考信號(hào)。
[0044]圖9是本發(fā)明字符輸入系統(tǒng)字符輸入接口程序流程圖。【具體實(shí)施方式】
[0045]為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚、明確，以下參照附圖并舉實(shí)施例進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于下述的舉例，對(duì)本領(lǐng)域的專(zhuān)業(yè)人員來(lái)說(shuō)，可以根據(jù)上述說(shuō)明加以改進(jìn)或變換，所有這些改進(jìn)和變換都屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
[0046]如圖1所示，基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)包括一個(gè)LED視覺(jué)刺激器，一個(gè)腦電采集平臺(tái)，一個(gè)PC實(shí)時(shí)處理系統(tǒng)和一個(gè)字符輸入接口。其中，視覺(jué)刺激器由16個(gè)LED顯示器組成，它們以不同的頻率同時(shí)發(fā)光。當(dāng)用戶(hù)注視某個(gè)LED時(shí)，在大腦枕部區(qū)域就會(huì)產(chǎn)生SSVEP，其基波頻率與該LED的發(fā)光頻率相同；腦電采集平臺(tái)實(shí)時(shí)采集EEG信號(hào)，經(jīng)過(guò)放大、濾波與模數(shù)轉(zhuǎn)換后，通過(guò)數(shù)據(jù)線輸入PC計(jì)算機(jī)；PC實(shí)時(shí)處理系統(tǒng)對(duì)接收的EEG信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的LED，并將其代表的命令傳送到字符輸入接口。字符輸入接口根據(jù)命令的類(lèi)型做相應(yīng)的處理，并將欲輸入的字符在計(jì)算機(jī)屏幕顯示區(qū)域顯示。
[0047]如圖2所示，可輸入的字符和功能選擇為35個(gè)，包括26個(gè)英文字母A-Z與I個(gè)空格字符U，5個(gè)常用的英文標(biāo)點(diǎn)符號(hào):逗號(hào)(，)、句號(hào)(.)、問(wèn)號(hào)(？)、引號(hào)(”)與冒號(hào)(:)，以及3個(gè)功能鍵:一(退格)，J (回車(chē))與CL(大寫(xiě)鎖定)。為了減少視覺(jué)刺激器上LED按鍵的數(shù)目，字符輸入采用一個(gè)兩步的判決樹(shù)規(guī)則。將這35個(gè)選擇分成5個(gè)字符組和I個(gè)字符與功能混合組。每一個(gè)字符組包括6個(gè)字符選擇，而混合組包括5個(gè)字符與功能選擇。這5個(gè)字符組分別用標(biāo)簽A-F、G-L、M-R、S-X、Y-:表示，它們構(gòu)成一個(gè)主菜單，排列在圖中第一行。每個(gè)字符組可用一個(gè)LED按鍵進(jìn)行選擇，對(duì)其中的字符選擇起開(kāi)關(guān)作用；每個(gè)字符組中的6個(gè)字符構(gòu)成一個(gè)子菜單，5個(gè)子菜單中排列順序相同的字符，可用同一個(gè)按鍵進(jìn)行選擇；字符與功能混合組構(gòu)成一個(gè)獨(dú)立菜單，每個(gè)字符或功能使用一個(gè)按鍵進(jìn)行選擇。因此，這35個(gè)字符和功能命令可用5+6+5 = 16個(gè)按鍵進(jìn)行選擇，從而大大減少了刺激器面板上LED的數(shù)目。
[0048]如圖3所示，每個(gè)矩形方塊代表一個(gè)LED顯示器，16個(gè)LED分布在視覺(jué)刺激器面板上，組成了一個(gè)4X4的刺激矩陣。每個(gè)方塊中的字符為該LED按鍵的標(biāo)簽。標(biāo)簽為A-F、G-L、M-R、S-X、Y_:的5個(gè)LED按鍵為主菜單按鍵。每個(gè)主菜單按鍵下面顯示了其對(duì)應(yīng)子菜單的6個(gè)字符，以方便用戶(hù)選擇；5個(gè)子菜單中排列順序相同的字符，可用同一個(gè)按鍵進(jìn)行選擇。因此，每個(gè)子菜單中的6個(gè)字符按照排列順序可分別使用標(biāo)簽為1、2、3、4、5、6的LED按鍵進(jìn)行選擇；標(biāo)簽為.、U、一、J、CL的LED按鍵分別用于選擇圖2獨(dú)立菜單中的5個(gè)字符和功能命令。
[0049]按照這種兩步的判決樹(shù)輸入規(guī)則，要選擇一個(gè)子菜單中的字符，一般要先選擇其對(duì)應(yīng)的主菜單鍵。如果要選擇的一個(gè)或連續(xù)幾個(gè)字符與前一個(gè)已選的字符屬于同一個(gè)子菜單，則可在子菜單中直接選擇這個(gè)字符或連續(xù)選擇幾個(gè)字符，無(wú)需經(jīng)過(guò)主菜單鍵選擇。例如，當(dāng)用戶(hù)想要輸入單詞‘bad’時(shí)，由于這個(gè)單詞中的三個(gè)字母都在圖2的第一個(gè)子菜單中，他只需要在輸入字母‘b’之前選擇主菜單按鍵‘A-F’ 一次，然后連續(xù)注視標(biāo)簽為2、1、4的LED按鍵即可。因此，這種兩步的判決樹(shù)輸入方法，在很多情況下減少輸入步驟，縮短了字符輸入的時(shí)間。與獨(dú)立菜單對(duì)應(yīng)的5個(gè)按鍵用于快捷操作，可用一個(gè)按鍵直接進(jìn)行選擇。因此，本發(fā)明輸入一個(gè)字符最多需要兩個(gè)命令，具有較快的輸入速度。
[0050]如圖4、圖5所示，刺激器控制電路由LED調(diào)制信號(hào)產(chǎn)生電路與LED電流驅(qū)動(dòng)電路組成。圖4LED調(diào)制信號(hào)產(chǎn)生電路由CPLD芯片EMP1270T144及其外圍電路構(gòu)成，產(chǎn)生16路調(diào)制深度為1/2的方波信號(hào)，由I/O端口 SI~S16輸出。端口 CLKO (引腳18)與晶體振蕩器LTC6905-80相連，用于產(chǎn)生48MHz的方波信號(hào)，經(jīng)過(guò)分頻可產(chǎn)生所需要的LED調(diào)制信號(hào)。LED的閃光頻率可以通過(guò)程序設(shè)定和改變，頻率范圍為6Hz~20Hz，頻率之間的最小間隔為
0.2Hz。撥碼開(kāi)關(guān)SWl~SW4可用于設(shè)定16路方波信號(hào)的工作模式。方波調(diào)制信號(hào)SI~S16分別輸出至一路電流驅(qū)動(dòng)電路。圖5給出了一路電流驅(qū)動(dòng)電路原理圖。經(jīng)電流驅(qū)動(dòng)后的方波信號(hào)，控制16個(gè)LED以不同的頻率和不同的時(shí)序模式閃光，并確保具有足夠的發(fā)光強(qiáng)度。16路電流驅(qū)動(dòng)電路相互獨(dú)立、互不干擾。
[0051]如圖6所示，電極帽用于采集腦電信號(hào)，位于枕部區(qū)域的7個(gè)電極作為腦電信號(hào)記錄通道，電極按照國(guó)際10/20系統(tǒng)放置，7個(gè)信號(hào)電極位置分別為01，02, Pz, P3, P4, P7, P8，地電極位于Fz，而參考電極位于左耳垂。為保證電極與頭皮接觸良好，電極插孔中注入導(dǎo)電特性良好的導(dǎo)電膠，電阻在5千歐以下。
[0052]受試者通過(guò)注視特定的LED來(lái)表達(dá)操作意圖，相應(yīng)的腦電信號(hào)經(jīng)電極帽采集，再經(jīng)腦電放大器放大、濾波和模數(shù)轉(zhuǎn)換后，傳輸?shù)絇C實(shí)時(shí)處理系統(tǒng)。腦電放大器的放大倍數(shù)為20000倍，濾波頻帶為0.01~30Hz，模數(shù)轉(zhuǎn)換的抽樣率為1024Hz。 [0053]如圖7所示，PC實(shí)時(shí)處理系統(tǒng)在計(jì)算機(jī)中通過(guò)軟件來(lái)實(shí)現(xiàn)，其處理步驟依次為系統(tǒng)初始化、視覺(jué)刺激器啟動(dòng)、數(shù)據(jù)采集控制、數(shù)據(jù)接收與保存、數(shù)字信號(hào)處理以及控制命令輸出。PC實(shí)時(shí)處理系統(tǒng)具有兩個(gè)主要功能:一是對(duì)整個(gè)系統(tǒng)的工作狀態(tài)進(jìn)行控制，二是對(duì)腦電數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，識(shí)別用戶(hù)的操作命令。系統(tǒng)控制軟件基于C++平臺(tái)開(kāi)發(fā)。數(shù)字信號(hào)處理程序由Matlab語(yǔ)言編寫(xiě)，通過(guò)應(yīng)用程序接口(API)由系統(tǒng)控制程序調(diào)用。腦電放大器與計(jì)算機(jī)之間的數(shù)據(jù)傳輸遵循TCP/IP協(xié)議。
[0054]數(shù)字信號(hào)處理是指使用典型相關(guān)分析(Canonical Correlation Analysis, CCA)對(duì)數(shù)字化的腦電信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的LED顯示器及其代表的用戶(hù)命令。
[0055]用于實(shí)時(shí)處理的腦電數(shù)據(jù)長(zhǎng)度為2秒，移動(dòng)步長(zhǎng)為0.5秒。為了改進(jìn)目標(biāo)識(shí)別的可靠性，只有在連續(xù)兩次檢測(cè)到同一刺激頻率時(shí)，SSVEP頻率識(shí)別才有效。
[0056]如圖8所示，使用CCA算法識(shí)別SSVEP信號(hào)的頻率的具體步驟如下:
[0057]I)確定參考信號(hào):假定存在刺激頻率分別為f\，f2,…，fK的K個(gè)目標(biāo)。X與Yf表示兩個(gè)多維的隨機(jī)變量，其中X為Nt秒長(zhǎng)的多通道腦電信號(hào)；Yf表示與X長(zhǎng)度相同的參考信號(hào)。該參考信號(hào)是一個(gè)由刺激頻率f及其諧波的正弦和余弦組成的列矢量
[0058]Yf= (sin (2 π ft), cos (2 π ft),..., sin (2 π Nhft), cos (2 π Nhft))T (I)
[0059]式中Nh是諧波的數(shù)目，在本實(shí)施例中Nh = 3。
[0060]2)對(duì)所有刺激頻率計(jì)算CCA系數(shù):多通道腦電信號(hào)X與參考信號(hào)之一&作為CCA算法的輸入，對(duì)這個(gè)LED視覺(jué)刺激器的每個(gè)刺激頻率計(jì)算CCA系數(shù)。
[0061]考慮一對(duì)線性結(jié)合X = XtWx與y = YTWy。CCA的作用是找到權(quán)矢量Wx與Wy，使x與y之間的相關(guān)最大化。換句話(huà)說(shuō)，下面的優(yōu)化問(wèn)題(2)可在兩個(gè)約束條件(3)與(4)下求解
【權(quán)利要求】
1.一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法，其特征是采用兩步的判決樹(shù)字符輸入規(guī)則完成字符輸入； 所述的兩步判決樹(shù)輸入規(guī)則是將可輸入的K個(gè)字符和功能命令分成Kl個(gè)字符組和一個(gè)字符與功能混合組；每一個(gè)字符組包括K2個(gè)字符命令，而混合組包括K3個(gè)字符與功能命令；K1個(gè)字符組構(gòu)成一個(gè)主菜單，其中每個(gè)字符組可用一個(gè)主菜單按鍵進(jìn)行選擇；每個(gè)字符組中的K2字符構(gòu)成一個(gè)子菜單，Kl個(gè)子菜單中排列順序相同的字符，可用同一個(gè)順序號(hào)按鍵進(jìn)行選擇；字符與功能混合組構(gòu)成一個(gè)獨(dú)立菜單，獨(dú)立菜單中的每個(gè)字符或功能命令可用一個(gè)按鍵進(jìn)行選擇； 字符輸入的過(guò)程是: 若要輸入的字符與前一個(gè)已輸入的字符不在同一個(gè)子菜單，則用戶(hù)首先選擇該字符所在字符組的主菜單按鍵，再按照該字符所在字符組的順序選擇順序號(hào)按鍵； 若要輸入的字符與前一個(gè)已輸入的字符在同一個(gè)子菜單，則用戶(hù)無(wú)需選擇該字符所在字符組的主菜單按鍵，直接按照該字符所在字符組的順序選擇順序號(hào)按鍵； 獨(dú)立菜單中的字符和功能命令，作為快捷命令分別用一個(gè)按鍵直接輸入。
2.—種權(quán)利要求1所述的基 于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入方法所實(shí)現(xiàn)的系統(tǒng)，其特征是，包括一個(gè)LED視覺(jué)刺激器，一個(gè)腦電采集平臺(tái)，一個(gè)PC實(shí)時(shí)處理系統(tǒng)和一個(gè)字符輸入接口 ；其中，所述的LED視覺(jué)刺激器，用于產(chǎn)生不同頻率的視覺(jué)刺激；所述的腦電采集平臺(tái)，用于實(shí)時(shí)采集EEG信號(hào)，經(jīng)過(guò)放大、濾波與模數(shù)轉(zhuǎn)換后，通過(guò)數(shù)據(jù)線輸入PC計(jì)算機(jī)；所述的PC實(shí)時(shí)處理系統(tǒng)，用于對(duì)接收的EEG信號(hào)進(jìn)行實(shí)時(shí)處理，檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的LED，并將其代表的命令傳送到字符輸入接口 ；所述的字符輸入接口，用于根據(jù)命令的類(lèi)型做相應(yīng)的處理，并將欲輸入的字符在計(jì)算機(jī)屏幕顯示區(qū)域顯示。
3.根據(jù)權(quán)利要求2所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的LED視覺(jué)刺激器包括刺激器面板與刺激器控制電路； 其中，所述的刺激器面板，用于模擬一個(gè)由N個(gè)按鍵組成的字符輸入鍵盤(pán)； 其中，所述的刺激器控制電路，用于產(chǎn)生N路不同頻率、調(diào)制深度為1/2的方波信號(hào)，控制N個(gè)LED以不同的頻率和不同的時(shí)序閃光。
4.根據(jù)權(quán)利要求2所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的腦電采集平臺(tái)包括電極帽和腦電放大器； 其中，所述的電極帽，用于采集頭皮腦電信號(hào)；包括由7個(gè)電極組成EEG信號(hào)記錄通道，位于大腦枕部區(qū)域；按照國(guó)際10/20系統(tǒng)放置標(biāo)準(zhǔn)，7個(gè)信號(hào)電極分別位于01，02, Pz, P3, P4, P7, P8，一個(gè)地電極位于Fz，一個(gè)參考電極位于左耳垂； 其中，所述的腦電放大器，用于對(duì)采集的腦電信號(hào)進(jìn)行濾波、放大與模數(shù)轉(zhuǎn)換。
5.根據(jù)權(quán)利要求2所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的PC實(shí)時(shí)處理系統(tǒng)包括對(duì)系統(tǒng)工作狀態(tài)進(jìn)行實(shí)時(shí)控制和對(duì)腦電數(shù)據(jù)進(jìn)行實(shí)時(shí)處理； 其中，所述的對(duì)系統(tǒng)工作狀態(tài)進(jìn)行實(shí)時(shí)控制，用于執(zhí)行系統(tǒng)初始化、視覺(jué)刺激器啟動(dòng)、數(shù)據(jù)采集控制、數(shù)據(jù)接收與保存、以及控制命令輸出等操作； 其中，所述的對(duì)腦電數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，用于檢測(cè)SSVEP信號(hào)的頻率，識(shí)別該頻率對(duì)應(yīng)的LED顯示器及其代表的用戶(hù)命令。
6.根據(jù)權(quán)利要求2所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的字符輸入接口，用于接收PC實(shí)時(shí)處理系統(tǒng)發(fā)送的命令，根據(jù)命令的類(lèi)型進(jìn)行相應(yīng)的處理，包括下列三種情況: 如果接收的是主菜單命令，則等待接收子菜單命令； 如果接收的是子菜單命令，則結(jié)合主菜單命令確定用戶(hù)想要輸入的字符，并將該字符在計(jì)算機(jī)屏幕顯示區(qū)顯示； 如果接收的是獨(dú)立菜單命令，則需要判斷是字符鍵還是功能鍵；若是字符鍵，則將其對(duì)應(yīng)的字符在計(jì)算機(jī)屏幕顯示區(qū)顯示；若是功能鍵，則執(zhí)行相應(yīng)的功能操作。
7.根據(jù)權(quán)利要求3所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的刺激器面板，由N個(gè)發(fā)白色光的LED顯示器組成，排列成N1XN2的刺激矩陣；每個(gè)LED為2cmX2cm的矩形方塊，起一個(gè)按鍵的作用；兩個(gè)相鄰LED的水平和垂直距離均為2.5cm;每個(gè)LED顯示器內(nèi)部包含6個(gè)發(fā)光二極管，組成由3個(gè)發(fā)光二極管串連的雙列結(jié)構(gòu)。
8.根據(jù)權(quán)利要求3所述的一種基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位腦機(jī)接口的字符輸入系統(tǒng)，其特征是所述的刺激器控制電路，包括刺激信號(hào)產(chǎn)生電路和LED電流驅(qū)動(dòng)電路； 其中，所述的刺激信號(hào)產(chǎn)生電路，用于產(chǎn)生N路不同頻率的方波信號(hào)；該電路由CPLD芯片及其外圍電路構(gòu)成，N路方波信號(hào)由CPLD芯片I/O端口輸出；它們的工作模式由CPLD外圍的4個(gè)撥碼開(kāi)關(guān)來(lái)設(shè)定；每個(gè)LED的閃光頻率可以通過(guò)程序設(shè)定和改變，頻率范圍為6Hz~20Hz，頻率之間的 最小間隔為0.2Hz ； 其中，所述的LED電流驅(qū)動(dòng)電路，用于給每個(gè)LED顯示器施加足夠的驅(qū)動(dòng)電流，以保證LED具有足夠的發(fā)光強(qiáng)度；由CPLD芯片I/O端口輸出的N路方波信號(hào)，輸送至N路LED電流驅(qū)動(dòng)電路，施加電流驅(qū)動(dòng)后的方波信號(hào)用于控制LED顯示器發(fā)光；N路方波信號(hào)以及電流驅(qū)動(dòng)電路相互獨(dú)立、互不干擾。
【文檔編號(hào)】G06F3/0487GK103995582SQ201410171291
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年4月25日 優(yōu)先權(quán)日:2014年4月25日
【發(fā)明者】魏慶國(guó), 盧宗武, 李茂全 申請(qǐng)人:南昌大學(xué)