本發(fā)明虛擬現(xiàn)實(shí)領(lǐng)域，具體涉及一種基于腦機(jī)接口的虛擬現(xiàn)實(shí)多級(jí)菜單交互方法。

背景技術(shù)：

為幫助嚴(yán)重身體有缺陷的人群解決交流互動(dòng)問題，在1991年wolpaw等人發(fā)表了通過改變腦電信號(hào)中的μ節(jié)律幅度來控制光標(biāo)移動(dòng)的成果，提出了一種全新的自動(dòng)控制概念-大腦驅(qū)動(dòng)控制技術(shù)bac，簡稱腦電控制，與手動(dòng)控制、語音控制相比，腦電控制為利用大腦脈沖信號(hào)去控制計(jì)算機(jī)、發(fā)動(dòng)機(jī)或者其它裝置。只需要提取相關(guān)腦電信號(hào)，經(jīng)過預(yù)處理后，經(jīng)過計(jì)算機(jī)模式識(shí)別分類后，就能通過不同的分類的信號(hào)，驅(qū)動(dòng)計(jì)算機(jī)完全不同功能。自從bac技術(shù)問世以來，由于該項(xiàng)技術(shù)巨大的應(yīng)用前景，可以應(yīng)用于病人康復(fù)、軍事演練、場景模擬等，各國大量的研究人員投入了巨大的精力對(duì)相關(guān)技術(shù)進(jìn)行了研究。

特別針對(duì)于在用來幫助身體有缺陷的人群進(jìn)行交流互動(dòng)的虛擬系統(tǒng)程序中，程序需要能夠執(zhí)行不同的功能，虛擬系統(tǒng)程序的界面通常比較復(fù)雜，一個(gè)虛擬系統(tǒng)程序往往具有多層次菜單跟選項(xiàng)模塊分別對(duì)應(yīng)不同的功能。如何在一個(gè)具有多層次菜單跟功能模塊的虛擬系統(tǒng)中，進(jìn)行快速的搜索、選擇和切換，達(dá)到特定的功能選擇，是一個(gè)關(guān)鍵問題，為了解決上述問題，提供一種基于腦機(jī)接口的虛擬現(xiàn)實(shí)多級(jí)菜單交互方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于腦機(jī)接口的虛擬現(xiàn)實(shí)多級(jí)菜單交互方法，具體技術(shù)方案如下：

一種基于腦機(jī)接口的虛擬現(xiàn)實(shí)多級(jí)菜單交互方法，其特征在于：

采用以下步驟，

步驟1：使用者戴上腦電采集帽，打開虛擬現(xiàn)實(shí)系統(tǒng)，進(jìn)入腦機(jī)交互界面；

步驟2：在腦機(jī)交互界面生成有不同選項(xiàng)，每個(gè)選項(xiàng)對(duì)應(yīng)一個(gè)p300虛擬鍵，使用者選擇需要的p300虛擬鍵；

步驟3：判斷該p300虛擬鍵對(duì)應(yīng)的選項(xiàng)是否為子目錄，如果是則進(jìn)入該子目錄，腦機(jī)交互界面更新為該子目錄的腦機(jī)交互界面，按照步驟2處理；

否則進(jìn)入下一步驟；

步驟4：判斷該選項(xiàng)是否為文本輸入類型，若為文本輸入類型，則進(jìn)入下一步驟，否則，進(jìn)入步驟6；

步驟5：腦機(jī)交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵，使用者字符輸入完成后，按照輸入指令執(zhí)行對(duì)應(yīng)的功能；

步驟6：執(zhí)行該選項(xiàng)的功能。

為更好的實(shí)現(xiàn)本發(fā)明，可進(jìn)一步為：所述步驟2包括以下步驟：

步驟21：在腦機(jī)交互界面生成有不同選項(xiàng)，每個(gè)選項(xiàng)對(duì)應(yīng)一個(gè)p300虛擬鍵；

步驟22：使用者注視著與需要選取選項(xiàng)對(duì)應(yīng)的p300虛擬鍵；

步驟23：每個(gè)p300虛擬鍵隨機(jī)閃爍一次，在p300虛擬鍵閃爍的同時(shí)，腦電采集帽同步對(duì)頭皮腦電信號(hào)進(jìn)行采集，將頭皮腦電信號(hào)進(jìn)行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點(diǎn)，對(duì)所述0-600ms的采樣點(diǎn)進(jìn)行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個(gè)特征向量，計(jì)算機(jī)存儲(chǔ)每個(gè)p300虛擬鍵閃爍時(shí)，對(duì)應(yīng)的特征向量；

步驟24：將上述步驟22至步驟23重復(fù)n遍，計(jì)算機(jī)對(duì)于所有的p300虛擬鍵均生成有對(duì)應(yīng)的n個(gè)特征向量，該n個(gè)特征向量構(gòu)成特征向量集d1；

步驟25：將特征向量集d1通過分類系統(tǒng)進(jìn)行分類，確定使用者選擇的p300虛擬鍵。

進(jìn)一步地：所述步驟5包括以下步驟：

步驟51：腦機(jī)交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵；

步驟52：使用者注視著要選取的選擇字符；

步驟53：每個(gè)選擇字符隨機(jī)閃爍一次，在選擇字符閃爍的同時(shí)，腦電采集帽同步對(duì)頭皮腦電信號(hào)進(jìn)行采集，將頭皮腦電信號(hào)進(jìn)行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點(diǎn)，對(duì)所述0-600ms的采樣點(diǎn)進(jìn)行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個(gè)特征向量，計(jì)算機(jī)存儲(chǔ)每個(gè)選擇字符閃爍時(shí)對(duì)應(yīng)的特征向量；

步驟54：將上述步驟52至步驟53重復(fù)n遍，計(jì)算機(jī)對(duì)于所有的選擇字符均生成有對(duì)應(yīng)的n個(gè)特征向量，該n個(gè)特征向量構(gòu)成特征向量集d2；

步驟55：將特征向量集d2通過分類系統(tǒng)進(jìn)行分類，確定使用者選擇的字符；

步驟56：按步驟52至步驟55重復(fù)，直到完成文本輸入；

步驟57：按照輸入指令執(zhí)行對(duì)應(yīng)的功能。

本發(fā)明的有益效果為：第一，解決了目前基于虛擬現(xiàn)實(shí)的腦機(jī)交互方法中存在的單用戶、單一功能的局限性，該交互方法可以進(jìn)行連續(xù)的交互操作。第二，能夠在文本輸入框、選擇項(xiàng)、多目錄之間進(jìn)行查找切換，能夠深入到目錄最底層，進(jìn)行的目標(biāo)選擇。如果是文字輸入類目標(biāo)，則界面切換為p300文本輸入界面，使用p300信號(hào)檢測實(shí)現(xiàn)文字輸入。如果不是文本輸入類目標(biāo)。則通過p300腦電電位信息，以及虛擬現(xiàn)實(shí)反饋信息判定信息類型，完成交互。

附圖說明

圖1為本發(fā)明的流程圖；

圖2為本虛擬歌廳點(diǎn)歌系統(tǒng)的結(jié)構(gòu)圖；

圖3為腦機(jī)交互界面示意圖；

圖4為文本輸入框示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。

本發(fā)明具體實(shí)施例如圖1至圖4所示，以一種虛擬現(xiàn)實(shí)歌廳點(diǎn)歌系統(tǒng)為例，一種基于腦機(jī)接口的虛擬現(xiàn)實(shí)多級(jí)菜單交互方法，

采用以下步驟，

步驟1：使用者戴上腦電采集帽，打開虛擬音樂點(diǎn)歌系統(tǒng)，進(jìn)入腦機(jī)交互界面，該虛擬音樂點(diǎn)歌系統(tǒng)由四級(jí)子系統(tǒng)構(gòu)成；

步驟2：在腦機(jī)交互界面生成有歌星點(diǎn)歌、拼音點(diǎn)歌和歌名點(diǎn)歌三個(gè)選項(xiàng)，每個(gè)選項(xiàng)對(duì)應(yīng)一個(gè)p300虛擬鍵；

步驟3：使用者注視著與需要選取選項(xiàng)對(duì)應(yīng)的p300虛擬鍵，此處假設(shè)使用者盯著對(duì)應(yīng)與歌名點(diǎn)歌選項(xiàng)相關(guān)的p300虛擬鍵；

步驟4：每個(gè)p300虛擬鍵隨機(jī)閃爍一次，在p300虛擬鍵閃爍的同時(shí)，腦電采集帽同步對(duì)頭皮腦電信號(hào)進(jìn)行采集，將頭皮腦電信號(hào)進(jìn)行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點(diǎn)，對(duì)上述0-600ms的采樣點(diǎn)進(jìn)行1/6下采樣，將該1/6下采樣數(shù)據(jù)構(gòu)成一個(gè)特征向量，計(jì)算機(jī)存儲(chǔ)每個(gè)p300虛擬鍵閃爍時(shí)對(duì)應(yīng)的特征向量；

步驟5：將上述步驟4重復(fù)3遍，計(jì)算機(jī)對(duì)于所有的p300虛擬鍵均生成有對(duì)應(yīng)的3個(gè)特征向量，該3個(gè)特征向量構(gòu)成特征向量集d1；

步驟6：將特征向量集d1通過分類系統(tǒng)進(jìn)行分類，確定使用者選擇的p300虛擬鍵，此處，該p300虛擬鍵與歌名點(diǎn)歌選項(xiàng)對(duì)應(yīng)，具體為，每個(gè)p300虛擬鍵把3輪中對(duì)應(yīng)的3個(gè)向量特征的和進(jìn)行疊加，再求平均，如第一個(gè)p300虛擬鍵的特征向量均值為d平均：

將每個(gè)p300虛擬鍵對(duì)應(yīng)的3輪特征向量分別求d平均，得到特征向量集d1＝[d1,d2,d3]，將特征向量集d1＝[d1,d2,d3]進(jìn)行分類和波形檢測，得到3個(gè)分類結(jié)果s＝[s1,s2,s3]和3個(gè)波形檢測結(jié)果w＝[w1,w2,w3]，其中對(duì)分類結(jié)果s只保留其最大的前2個(gè)分值并將其余置零；將分類結(jié)果s和波形檢測結(jié)果w相乘，得到r^t：

r^t是一個(gè)包含m個(gè)非零值的3維行向量；

遍歷r^t，若不存在則當(dāng)前輪無目標(biāo)輸出，返回步驟3繼續(xù)檢測；若存在則為目標(biāo)輸出；

步驟7：判斷該p300虛擬鍵對(duì)應(yīng)的選項(xiàng)是否為子目錄，該處子目錄為歌名點(diǎn)歌，如果是則進(jìn)入子目錄，該處子目錄為歌名翻頁，腦機(jī)交互界面更新為歌名翻頁的腦機(jī)交互界面，按照步驟3至步驟6處理；

否則進(jìn)入下一步驟；

步驟8：判斷該選項(xiàng)是否為文本輸入類型，該處為歌星點(diǎn)歌和拼音點(diǎn)歌，若為歌星點(diǎn)歌或者拼音點(diǎn)歌，則進(jìn)入下一步驟，否則，進(jìn)入步驟16；

步驟9：腦機(jī)交互界面切換為文本輸入界面，文本輸入界面的選擇字符均為p300虛擬鍵，該選擇字符共有28個(gè)字符；

步驟10：使用者注視著要選取的選擇字符；

步驟11：每個(gè)選擇字符隨機(jī)閃爍一次，在選擇字符閃爍的同時(shí)，腦電采集帽同步對(duì)頭皮腦電信號(hào)進(jìn)行采集，將頭皮腦電信號(hào)進(jìn)行帶通濾波，將腦電數(shù)據(jù)截取0-600ms的采樣點(diǎn)，對(duì)上述0-600ms的采樣點(diǎn)進(jìn)行1/6下采樣(每6個(gè)采樣點(diǎn)選取一個(gè))，將該1/6下采樣數(shù)據(jù)構(gòu)成一個(gè)特征向量，計(jì)算機(jī)存儲(chǔ)每個(gè)選擇字符閃爍時(shí)，對(duì)應(yīng)的特征向量；

步驟12：將上述步驟11重復(fù)3遍，計(jì)算機(jī)對(duì)于28個(gè)選擇字符均生成有對(duì)應(yīng)的3個(gè)特征向量；

步驟13：將28個(gè)字符中的每個(gè)選擇字符對(duì)應(yīng)的3個(gè)特征向量分別通過分類系統(tǒng)進(jìn)行分類，確定使用者選擇的字符，具體為：

n＝3表示共3輪，每個(gè)字符把3輪的3個(gè)向量特征和疊加，再求平均，如一個(gè)字符的特征向量均值為d平均：

將28個(gè)字符中每個(gè)字符對(duì)應(yīng)的3輪特征向量分別求d平均，得到特征向量集d2＝[d1,d2,...,d28]，將該特征向量集d2＝[d1,d2,...,d28]進(jìn)行分類和波形檢測，得到28個(gè)分類結(jié)果s＝[s1,s2,...，si,...,s28]和28個(gè)波形檢測結(jié)果w＝[w1,w2,...,wi,...,w28]，其中對(duì)分類結(jié)果s只保留其最大的前5個(gè)分值并將其余置零；將分類結(jié)果s和波形檢測結(jié)果w相乘，得到r^t：

r^t是一個(gè)包含m個(gè)非零值的28維行向量；

遍歷r^t，若不存在則當(dāng)前輪無目標(biāo)輸出，返回步驟10繼續(xù)檢測；若存在則為目標(biāo)輸出；

步驟14：按步驟10至步驟13重復(fù)選擇，直到完成文本輸入，該處為歌星名字輸入完成或者拼音輸入完成；

步驟15：按照輸入指令執(zhí)行對(duì)應(yīng)的功能；

步驟16：執(zhí)行播放音樂的功能。