本發(fā)明屬于生物電信號處理領(lǐng)域，涉及到目前康復(fù)醫(yī)療中，人體在完成特定動作時，系統(tǒng)將腦電信號、眼電信號融合，進(jìn)行模式識別，同時將識別結(jié)果反饋給用戶，輔助用戶完成上肢的運(yùn)動想象訓(xùn)練，具體涉及一種基于眼電、腦電的運(yùn)動想象訓(xùn)練人機(jī)交互系統(tǒng)設(shè)計(jì)方法。
背景技術(shù)：
：人機(jī)交互系統(tǒng)由采集系統(tǒng)記錄用戶的運(yùn)動想象EEG信號，再傳遞到信號處理系統(tǒng)中去，獲取信號特征向量，并進(jìn)行模式識別，最后將模式識別的結(jié)果發(fā)送給神經(jīng)反饋裝置，由神經(jīng)反饋裝置將用戶運(yùn)動想象執(zhí)行情況反饋給用戶。但由實(shí)驗(yàn)中運(yùn)動想象EEG信號模式識別的結(jié)果分析表明，多模式的運(yùn)動想象EEG信號識別率較低，而且不同人的同類運(yùn)動所產(chǎn)生的腦電信號信息間也會存在較大的個體差異，降低信號識別率，因此目前腦電信號識別方法還不能達(dá)到實(shí)際應(yīng)用的要求。但針對兩種運(yùn)動想象EEG信號模式識別的結(jié)果，如“想象左”和“想象右”，其識別結(jié)果準(zhǔn)確率可達(dá)到90％以上實(shí)驗(yàn)中注意到人體在進(jìn)行運(yùn)動想象康復(fù)訓(xùn)練時，眼睛產(chǎn)生與想象方向一致的動作。例如想象左手握杯子時，眼睛會自然的向杯子看去，此類伴隨運(yùn)動產(chǎn)生的眼電信號中包含對大腦運(yùn)動想象模式識別有助益的信息，而且眼電信號特征明顯，信噪比高，識別準(zhǔn)確率高于90％。但人的眼睛有時會不自覺產(chǎn)生動作，此時大腦并沒有進(jìn)行運(yùn)動想象，此時的眼電信號并不能輔助腦電信號識別，反而會對腦電信號識別造成誤導(dǎo)。將腦電信號、眼電信號中包含的有效信息融合的方法可消除無意識眼電信號造成的誤導(dǎo)，并提高腦電信號識別準(zhǔn)確率，及時準(zhǔn)確的對不同個體的腦電信號進(jìn)行模式識別，但目前該類算法的構(gòu)建方式仍需進(jìn)一步研究和探索。傳統(tǒng)的信息融合是指多傳感器的數(shù)據(jù)在一定準(zhǔn)則下加以自動分析、綜合以完成所需的決策和評估而進(jìn)行的信息處理過程。因此可將實(shí)驗(yàn)中獲取到的腦電信號和眼電信號分別處理，再在一定準(zhǔn)則下完成信息融合，最后基于融合的信息做出決策，進(jìn)而判斷患者當(dāng)前的運(yùn)動想象狀況。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提供一種面向運(yùn)動功能障礙患者，能及時有效地對其大腦運(yùn)動想象狀態(tài)進(jìn)行識別并反饋的方法。該方法是大腦在進(jìn)行上肢運(yùn)動想象過程中，利用信號采集設(shè)備獲取人體完成特定上肢動作時，其腦電信號和眼電信號變化的數(shù)據(jù)，并存入個體化數(shù)據(jù)庫作為信息源，再分別對腦電信號和眼電信號進(jìn)行特征提取，利用基于信息融合方案的準(zhǔn)則將兩類特征融合作為新的運(yùn)動想象特征，并對新的運(yùn)動想象特征進(jìn)行識別，進(jìn)而對人完成指定動作時的運(yùn)動想象狀態(tài)進(jìn)行識別。本發(fā)明方法包括以下各步驟：步驟1.對預(yù)處理后的運(yùn)動想象腦電信號進(jìn)行特征提取，具體是：小波變換是傅立葉變換的新發(fā)展，小波變換系數(shù)能反映信號在時域及頻域的局部信息。因而，小波分析作為一種時頻分析方法，在生物醫(yī)學(xué)信號處理方面有著廣闊的應(yīng)用前景，特別適合像EEG這類非平穩(wěn)信號處理。設(shè)預(yù)處理后的EEG離散信號為f(t)，則f(t)的離散小波變換和逆變換定義為：式中，為小波序列，是小波基函數(shù)。j,k分別代表頻率分辨率和時間平移量。fj(t)表示信號f(t)在某一尺度(2j)的分量。對信號f(t)可以利用Mallat算法進(jìn)行有限層分解，得到：f(t)=fLA(t)+Σj=1LfjD(t)=AL+Σj=1LDj=A1+D1=A2+D2+D1=......---(3)]]>式中，L分為分解層數(shù)，AL為低通逼近分量，Dj為不同尺度下的細(xì)節(jié)分量，信號的整個頻帶劃分為一個個子頻帶，設(shè)信號f(t)的采樣頻率為fs，則AL,DL,DL-1...,D1各分量所對應(yīng)的子頻帶依次為：對應(yīng)的逼近系數(shù)及各層小波系數(shù)記作cAL,cDL,cDL-1,...,cD1。將要分析的EEG信號，由想象左手運(yùn)動和想象右手運(yùn)動產(chǎn)生，本文中的信號來源是將腦電拾電傳感器中的頭皮拾電電極放置到國際腦電圖學(xué)會標(biāo)準(zhǔn)10-20導(dǎo)聯(lián)系統(tǒng)所確定的，頭頂部與大腦感覺運(yùn)動區(qū)對應(yīng)的位置為C3、CZ以及C4位置，只取腦電采集儀器C3導(dǎo)聯(lián)和C4導(dǎo)聯(lián)的腦電信號，分別對不同思維任務(wù)的EEG樣本數(shù)據(jù)進(jìn)行6層分解，f(t)＝A6+D6+D5+D4+D3+D2+D1。設(shè)C3導(dǎo)信號逼近系數(shù)為c3A6，C4導(dǎo)信號逼近系數(shù)為c4A6，取兩者差值C＝c3A6-c4A6。計(jì)算EEG信號小波分解后各層小波能量，如求cAL的小波能量其中j＝3,4，為cAL中的第i個元素，再計(jì)算C3，C4各層小波能量的差值最后計(jì)算小波能量差值E的各層相對小波能量最后將逼近系數(shù)差值和相對小波能量組合成為EEG信號的特征向量TEEG＝[C,e]，其中e=[eA6,eD6,eD5,eD4,eD3,eD2,eD1].]]>步驟2.提取預(yù)處理后的眼電信號特征，具體是：經(jīng)觀察發(fā)現(xiàn)EOG信號在眼動時具有明顯的特征，本發(fā)明采用夾角余弦法提取EOG信號的特征。幾何中常采用夾角余弦來衡量兩個模式向量的相似度，夾角余弦對于特征較為明顯的波形具有較高的分辨能力，夾角余弦法計(jì)算實(shí)驗(yàn)采集到的EOG信號與訓(xùn)練樣本間的夾角來衡量待測EOG信號與樣本之間的相似度。設(shè)預(yù)處理后的EOG信號為g(t)＝[g(1),g(2),...,g(n)]，n為樣本點(diǎn)數(shù)，選取EOG信號訓(xùn)練樣本gl(t)＝[gl(1),gl(2),...,gl(n)]和gr(t)＝[gr(1),gr(2),...,gr(n)]，作為向左看與向右看的訓(xùn)練樣本。計(jì)算待測信號與向左看EOG信號夾角余弦公式為：cosθl=Σi=1ng(i)gl(i)Σi=1ng(i)Σi=1ngl(i)---(4)]]>計(jì)算待測信號與向右看EOG信號夾角余弦公式為：cosθr=Σi=1ng(i)gr(i)Σi=1ng(i)Σi=1ngr(i)---(5)]]>式中cosθl，cosθr分別代表待測信號與向左看EOG信號，向右看EOG信號之間的夾角。顯然cosθl,cosθr∈[-1,1]，夾角余弦值接近1，說明待測信號與訓(xùn)練樣本之間的相似度越高；越接近-1，說明樣本與待測樣本之間呈方向相反的關(guān)系，越接近0，說明相似度越低。最后將兩個夾角余弦值組合作為EOG信號特征TEOG＝[cosθl,cosθr]。步驟3.腦電信號特征與眼電信號進(jìn)行融合，從而對運(yùn)動想象特征進(jìn)行分析，具體是：以上方法獲取到兩類特征維數(shù)不一致，眼電信號特征維數(shù)較低，腦電信號維數(shù)較高，若是直接使用將導(dǎo)致腦電信號在最后處理時占的權(quán)重較高，而眼電信號占的權(quán)重較低，因此，直接組合兩類特征進(jìn)行分類獲得的結(jié)果可能并不理想。因此將EEG信號處理得到的特征采取降維處理是必要的，設(shè)為腦電信號向左看樣本，為腦電信號向右看樣本，為待測信號樣本，將這三個樣本組合成為一個矩陣A，求A的協(xié)方差矩陣cov(A)為3*3矩陣，取其第一行上的2，3兩個元素作為新的腦電信號特征最后將其與眼電信號組合獲取融合特征步驟4.腦電、眼電進(jìn)行模式識別，并由人機(jī)交互系統(tǒng)反饋出來，具體是：由以上步驟得到融合后的特征T，選取想象左、想象右的融合特征若干作為訓(xùn)練樣本。(1)logistic分類器的構(gòu)建：在分類情況下，經(jīng)過學(xué)習(xí)后的logistic分類器是一組權(quán)值w0,w1,...,wn，當(dāng)訓(xùn)練樣本的數(shù)據(jù)輸入時，這組權(quán)值與待測數(shù)據(jù)按照線性加和得到x＝w0+w1T1+...+wnTn，這里T1,T2,...,Tn是每個訓(xùn)練樣本的特征。之后按照sigmoid函數(shù)的形式求出f(x)=11+e-x---(6)]]>其定義域?yàn)?-∞,+∞)，值域?yàn)?0，1)，所以logistic回歸最關(guān)鍵的問題就是研究如何求得w0,w1,...,wn這組權(quán)值。這組權(quán)值可采用極大似然估計(jì)來求得，設(shè)條件概率P(y＝1|x)＝p為根據(jù)待測樣本y相對于某事件x發(fā)生的概率。那么logistic回歸模型可以表示為P(y=1|x)=π(x)=11+e-g(x)---(7)]]>這里稱為logistic函數(shù)。其中g(shù)(x)＝w0+w1x1+...+wnxn，那么在x條件下y不發(fā)生的概率為所以事件發(fā)生與不發(fā)生的概率之比為P(y=1|x)P(y=0|x)=p1-p=11+e-g(x)1-11+e-g(x)=11+e-g(x)11+eg(x)=eg(x)---(9)]]>這個比值稱為事件發(fā)生比。對其取對數(shù)得式(10)，再由極大似然估計(jì)求得參數(shù)。ln(p1-p)=g(x)=w0+w1x1+...+wnxn---(10)]]>假設(shè)有m個觀測樣本，觀測值分別為y1,y2,...,ym，設(shè)pi＝P(yi＝1|xi)為給定條件下得到y(tǒng)i＝1的概率，同樣的yi＝0的概率為1-pi，所以得到一個觀測值的概率為因?yàn)楦鱾€觀測樣本之間相互獨(dú)立，那么他們的聯(lián)合分布為邊緣分布的乘積，得到似然函數(shù)為L(w)=Πi=1m(π(xi))yi(1-π(xi))1-yi---(11)]]>最大似然估計(jì)即為求出參數(shù)w0,w1,...,wn，使得L(w)取得最大值，對函數(shù)取對數(shù)得到繼續(xù)對這n+1個wi分別求偏導(dǎo)，得到n+1個方程，當(dāng)對參數(shù)wk求偏導(dǎo)時∂ln[L(wk)]∂wk=Σi=1m(yiln[π(xi)]+(1-yi)ln[1-π(xi)])′=Σi=1m((yiπ(xi)-1-yi1-π(xi))(π(xi))′)=Σi=1m((yi-π(xi))g′(x))=Σi=1m(xik(yi-π(xi)))=0---(13)]]>從而問題轉(zhuǎn)化為解這n+1個方程組。解方程得到w0,w1,...,wn這n+1個參數(shù)后logistic分類器構(gòu)建完畢。(2)獲取運(yùn)動想象模式分類結(jié)果，并將結(jié)果通過人機(jī)界面展示給用戶將待識別的融合特征輸入到已構(gòu)建完畢的logistic分類器中，得到運(yùn)動想象分類結(jié)果。制作與運(yùn)動想象相匹配的圖像、聲音、文字等，再將運(yùn)動想象分類結(jié)果與已制作的文字、聲音、圖像進(jìn)行綁定，從而實(shí)現(xiàn)運(yùn)動想象分類結(jié)果轉(zhuǎn)換為文字、聲音、圖像通過友好的人機(jī)界面展示給用戶。本發(fā)明的有益效果在于：邏輯簡單，操作方便，可有效提取腦電信號特征與眼電信號特征，通過降低高維的腦電信號的維數(shù)以提高眼電信號在運(yùn)動想象識別率所占的權(quán)重，并將兩種特征融合在一起作為人體運(yùn)動想象狀態(tài)的特征，有利于提高運(yùn)動想象狀態(tài)的模式識別準(zhǔn)確率，有利于將腦電信號轉(zhuǎn)化為具體的信息反饋給使用者，降低腦電信號特征維數(shù)還有利于運(yùn)動想象狀態(tài)的識別效率，從而可有效應(yīng)用于運(yùn)動想象狀態(tài)進(jìn)行在線識別，從而提高腦電信號在運(yùn)動想象康復(fù)訓(xùn)練中的使用效果。附圖說明圖1為本發(fā)明的流程示意圖。具體實(shí)施方式本發(fā)明所提出的一種基于眼電和腦電的上肢康復(fù)人機(jī)交互系統(tǒng)設(shè)計(jì)方案，是將腦電拾電傳感器中的頭皮拾電電極放置到國際腦電圖學(xué)會標(biāo)準(zhǔn)10-20導(dǎo)聯(lián)系統(tǒng)所確定的，頭頂部與大腦感覺運(yùn)動區(qū)對應(yīng)的位置為C3、CZ以及C4位置，采集用戶對應(yīng)的三路腦電信號；同時將眼電拾電傳感器的拾電電極放置在左眼眼角外側(cè)，參考電極放置在左耳耳垂，GND電極放置在右耳耳垂位置。將由傳感器采集到的三路腦電信號以及水平眼電信號經(jīng)過截取，消噪等預(yù)處理環(huán)節(jié)后應(yīng)用本發(fā)明提出的方法進(jìn)行用戶運(yùn)動想象意圖識別。如圖1所示，本發(fā)明方法包括四個步驟：(1)提取經(jīng)過預(yù)處理后的運(yùn)動想象EEG信號特征；(2)提取預(yù)處理后EOG信號的特征(3)對EEG信號特征進(jìn)行降維，最終融合EEG信號特征與EOG特征；(4)基于融合后的特征構(gòu)建logistic分類器，并對特征分類，最終通過友好的人機(jī)界面反饋給用戶。整個系統(tǒng)流程圖如圖1所示。步驟1：提取預(yù)處理后運(yùn)動想象EEG信號C3、C4兩路腦電信號的相對小波能量以及逼近系數(shù)差值作為運(yùn)動想象特征，并構(gòu)造特征向量TEEG用小波包變換對消噪預(yù)處理后的腦電信號進(jìn)行分解和重構(gòu)，得到各種節(jié)律波所對應(yīng)的相對小波能量，計(jì)算獲取逼近系數(shù)差值，并串接為特征向量。所采集的各導(dǎo)EEG信號均是長度一致的時間序列，記為xc3,xc4，截取其中n個連續(xù)樣點(diǎn)Xc3＝[xc3(i+1),xc3(i+2),...,xc3(i+n)]，Xc4＝[xc4(i+1),xc4(i+2),...,xc4(i+n)]，分解成L＝6層，f(t)＝A6+D6+D5+D4+D3+D2+D1，A6為第六層的逼近分量，D6,D5,D4,D3,D2,D1分別為各層的細(xì)節(jié)分量，分別取C3、C4對應(yīng)第六層逼近分量的逼近系數(shù)c3A6、c4A6，求兩者差值C＝c3A6-c4A6。再分別計(jì)算C3、C4各層小波能量組成向量求兩者差值E，中的每個元素都為E3,E4中對應(yīng)元素的差值，最后獲取E中元素的相對小波能量得到最后將各類特征向量串接為一個新的特征向量TEEG＝[C,e]。步驟2.提取預(yù)處理后的眼電信號特征，并構(gòu)造特征向量TEOG。選擇與腦電信號相對應(yīng)的一段眼電信號XEOG＝[xEOG(i+1),xEOG(i+2),...,xEOG(i+n)]，設(shè)向左看、向右看眼電信號樣本分別為將XEOG，帶入計(jì)算夾角余弦的公式中，利用公式(4)(5)計(jì)算待識別眼電信號與向左看、向右看樣本之間的夾角余弦值，記錄cosθl，cosθr，將兩者聯(lián)接組成EOG信號特征向量TEOG＝[cosθl,cosθr]。步驟3.基于所提取的EOG信號特征與EEG信號特征，應(yīng)用本文提出的特征融合方案，獲取新的融合特征T。(1)對EEG信號特征TEEG進(jìn)行降維處理分別選取向左看、向右看運(yùn)動想象EEG信號樣本，根據(jù)以上方法處理并獲取其特征向量，為向左看腦電信號樣本的特征向量，為向右看腦電信號樣本的特征向量，為待測信號樣本的特征向量，將這三個樣本組合成為一個矩陣A，求A的協(xié)方差矩陣cov(A)為3*3矩陣，其中的每個元素都是特征向量兩兩之間的協(xié)方差，取其第一行上的2，3兩個元素待測樣本與向左看樣本特征向量之間的協(xié)方差，待測樣本與向右看樣本特征向量之間的協(xié)方差，將這兩個協(xié)方差組合作為新的腦電信號特征(2)EEG信號特征與EOG信號特征融合采用上述方案獲取腦電信號特征再把相對應(yīng)的EOG信號特征聯(lián)接在一起，組成新的運(yùn)動想象特征向量步驟4.獲取特征向量分類結(jié)果，并反饋給用戶(1)構(gòu)建運(yùn)動想象logistic分類器選取n個訓(xùn)練樣本，當(dāng)這組訓(xùn)練樣本的數(shù)據(jù)輸入時，權(quán)值與訓(xùn)練樣本數(shù)據(jù)按照線性加和得到x＝w0+w1T1+...+wnTn，這里T1,T2,...,Tn是每個訓(xùn)練樣本的特征。之后按照sigmoid函數(shù)的形式求出式(6)，其定義域?yàn)?-∞,+∞)，值域?yàn)?0，1)。接下來通過極大似然估計(jì)來求得logistic回歸中最為關(guān)鍵的問題，即求w0,w1,...,wn這組權(quán)值。設(shè)條件概率P(y＝1|x)＝p為根據(jù)待測樣本y相對于某事件x發(fā)生的概率。那么logistic回歸模型可以表示為式(7)，這里稱為logistic函數(shù)。其中g(shù)(x)＝w0+w1T1+...+wnTn，那么在x條件下y不發(fā)生的概率為式(8)，由此可得出事件發(fā)生與不發(fā)生的概率之比為式(9)，eg(x)這個比值為事件發(fā)生比。對其取對數(shù)得到再通過極大似然估計(jì)求得參數(shù)，取10個運(yùn)動想象特征訓(xùn)練樣本，運(yùn)動想象特征訓(xùn)練樣本分別為y1,y2,...,y10，其中前五個與后五個訓(xùn)練樣本分別代表想象左特征訓(xùn)練樣本，想象右特征訓(xùn)練樣本。設(shè)pi＝P(yi＝1|xi)為給定條件下得到y(tǒng)i＝1的概率，同樣的yi＝0的概率為1-pi，由此得到一個觀測值的概率為因?yàn)楦鱾€觀測樣本之間相互獨(dú)立，那么他們的聯(lián)合分布為邊緣分布的乘積，得到似然函數(shù)為式(11)，最大似然估計(jì)即為求出參數(shù)w0,w1,w2,...,w10，使得L(w)取得最大值，對函數(shù)取對數(shù)得到式(12)，繼續(xù)對這10+1個wi分別求偏導(dǎo)，得到10+1個方程，如公式(13)所示，將實(shí)際數(shù)據(jù)代入來求參數(shù)，從而問題轉(zhuǎn)化為解這10+1個方程組。解方程得到w0,w1,...,w10，從結(jié)果中獲取這10+1個參數(shù)后代入logistic算式中，logistic分類器構(gòu)建完畢。(2)獲取運(yùn)動想象特征向量分類結(jié)果將待識別的融合特征輸入到已構(gòu)建完畢的logistic分類器中，得到運(yùn)動想象分類結(jié)果。(3)通過友好的人機(jī)界面反饋給用戶制作與運(yùn)動想象相匹配的圖像、聲音、文字等，再將運(yùn)動想象特征分類結(jié)果與已制作的文字、聲音、圖像進(jìn)行綁定，同時構(gòu)建友好的人機(jī)界面，通過此界面可顯示文字、聲音、圖像，從而運(yùn)動想象狀態(tài)轉(zhuǎn)換為文字、聲音、圖像通過友好的人機(jī)界面展示給用戶。當(dāng)前第1頁1 2 3