本發(fā)明涉及注意力訓練，更具體地說，它涉及一種用于提升注意力的多模態(tài)神經(jīng)反饋訓練方法。

背景技術：

1、注意力對我們的學習和工作都至關重要。生物反饋訓練是一種能夠改善認知功能、調節(jié)心理反應以及治療各種行為障礙的醫(yī)學技術。它通過專業(yè)的儀器將無法感知的生理信號以易于理解的數(shù)字、聲音或圖像的形式反饋給患者，使患者學會主動調節(jié)和控制自己的生理過程。神經(jīng)反饋訓練是生物反饋訓練的一個子領域，它利用腦電圖、功能性核磁共振成像、功能性近紅外光譜等腦成像技術來檢測和調節(jié)大腦活動以提高包括注意力在內的各種認知功能。在眾多腦成像技術中，腦電圖憑借低成本、非侵入性、高時間分辨率等優(yōu)點被廣泛使用。許多研究表明，基于腦電圖的神經(jīng)反饋訓練不僅能夠提高健康個體的注意力，還廣泛應用于治療注意力缺陷多動障礙(adhd)、自閉癥、焦慮癥、抑郁癥等疾病。與藥物治療相比，這種無創(chuàng)的數(shù)字療法副作用更小，患者依從性更好。

2、對于腦電信號，通常根據(jù)頻率范圍將其劃分為五個波段：de?lta(0.5～4hz)、theta(4～8hz)、a?l?pha(8～14hz)、beta(14～30hz)和gamma(30～64hz)。相關研究發(fā)現(xiàn)注意力水平的變化會引起這些腦電波的活動發(fā)生變化。因此，在很多神經(jīng)反饋系統(tǒng)中，這些腦電波的功率或者能量比率被用作反饋指標以及設置反饋閾值的依據(jù)。然而，由于腦電信號存在個體差異性，這種方法的準確性不高，通用性不強。此外，許多神經(jīng)反饋系統(tǒng)使用多通道腦電設備來采集患者的腦電信號，這帶來了兩個問題：首先，多通道腦電設備在佩戴前需要繁瑣的準備操作，使用起來不方便；其次，過多的電極會影響佩戴時的舒適度，這很容易降低患者(尤其是兒童)的依從性。因此，單通道腦電設備是更合適的選擇。然而，相比于多通道信號，單通道信號包含的信息更少，尤其缺乏空間維度的信息，因此有必要使用多模態(tài)生物電信號來提高識別精度。

技術實現(xiàn)思路

1、針對現(xiàn)有技術存在的不足，本發(fā)明的目的在于提供一種用于提升注意力的多模態(tài)神經(jīng)反饋訓練方法，以解決上述技術問題。

2、本發(fā)明的上述技術目的是通過以下技術方案得以實現(xiàn)的：一種用于提升注意力的多模態(tài)神經(jīng)反饋訓練方法，包括：

3、s1、獲取受試者進行嚴肅游戲時的原始腦電信號和原始心電信號；

4、s2、對所述原始腦電信號和原始心電信號進行預處理，得到對應的腦電波信號和去除基線漂移的心電信號；

5、s3、通過預設的卷積神經(jīng)網(wǎng)絡模型對腦電波信號和去除基線漂移的心電信號進行分類，得到受試者的注意力狀態(tài)；

6、s4、根據(jù)所述注意力狀態(tài)調整嚴肅游戲的場景，返回步驟s1。

7、可選的，所述獲取受試者進行嚴肅游戲時的原始腦電信號和原始心電信號，包括：

8、通過可穿戴的生物電信號采集設備采集受試者進行嚴肅游戲時的實時原始腦電信號和原始心電信號。

9、可選的，所述對所述原始腦電信號和原始心電信號進行預處理，得到對應的腦電波信號和去除基線漂移的心電信號，包括：

10、使用小波包分解算法對采集到的原始腦電信號和原始心電信號進行預處理，從原始腦電信號中提取出對應波段的腦電波信號，去除原始心電信號中存在的基線漂移，得到去除基線漂移的心電信號。

11、可選的，所述從原始腦電信號中提取對應波段的腦電波信號，包括：

12、根據(jù)以下公式提取對應波段的腦電波信號：

13、

14、其中，seeg是輸入的原始腦電信號，wpdec是用于分解輸入原始腦電信號的小波包分解函數(shù)，wpteeg是與輸入的原始腦電信號的第9級分解相對應的小波包樹對象，wprocoef是用于重構分解信號的小波包重構函數(shù)；base?l?i?ne1為信號采集設備的采樣率為512hz時，第9層的節(jié)點0，頻率范圍為0～0.5hz的基線信號；[90]表示第9層的節(jié)點0，[60]表示第6層的節(jié)點0，[61]表示第6層的節(jié)點1，[62]表示第6層的節(jié)點2，[76]表示第7層的節(jié)點6，[41]表示第4層的節(jié)點1，[77]表示第7層的節(jié)點7，[715]表示第7層的節(jié)點15，[31]表示第3層的節(jié)點1；sdelta、stheta、salpha、sbeta和sgamma為所要提取的對應波段的腦電波信號。

15、可選的，所述除原始心電信號中存在的基線漂移，得到去除基線漂移的心電信號，包括：

16、根據(jù)以下公式去除心電信號中存在的基線漂移，得到去除基線漂移的心電信號：

17、

18、其中，secg是輸入的原始心電信號，wpdec是用于分解輸入原始心電信號的小波包分解函數(shù)，wpteeg是與輸入的原始心電信號的第9級分解相對應的小波包樹對象，wprocoef是用于重構分解信號的小波包重構函數(shù)，base?l?i?ne2是頻率范圍為0～0.5hz的基線漂移，yecg是去除了基線漂移的心電信號。

19、可選的，所述預設的卷積神經(jīng)網(wǎng)絡模型，包括：三個卷積層、三個最大池化層、兩個全連接層和一個dropout層；所述卷積層用于從輸入數(shù)據(jù)中提取特征，所有卷積層的卷積核大小均為3*3，relu作為激活函數(shù)；

20、所述池化層的作用是在保留主要特征的同時減少參數(shù)，所有最大池化層的大小均為2*2；

21、所述全連接層將從卷積層和池化層獲得的特征映射到樣本標記空間，起到分類器的作用；

22、所述dropout層可以隨機挑選一些節(jié)點參與模型預測以防止過擬合，dropout率設置為0.2。

23、可選的，所述通過預設的卷積神經(jīng)網(wǎng)絡模型對腦電波信號和去除基線漂移的心電信號進行分類，得到受試者的注意力狀態(tài)，包括：

24、輸出層是一個全連接層，通過輸出層輸出受試者低注意力狀態(tài)、中等注意力狀態(tài)和高注意力狀態(tài)的概率，將概率最高的注意力狀態(tài)作為受試者的注意力狀態(tài)。

25、可選的，所述卷積神經(jīng)網(wǎng)絡模型通過反向傳播算法來學習和優(yōu)化網(wǎng)絡參數(shù)；采用adam作為優(yōu)化器，學習率設置為0.0001；損失函數(shù)為交叉熵損失函數(shù)；批處理大小設置為32，epoch設置為100。

26、可選的，所述卷積神經(jīng)網(wǎng)絡模型采用精度(pr)、召回率(re)、f1-score和準確率(acc)作為模型性能的評估指標，定義如下：

27、

28、其中tp表示模型正確地將正樣本識別為正樣本的數(shù)量；fp表示模型錯誤地將負樣本識別為正樣本的數(shù)量；tn表示模型正確地將負樣本識別為負樣本的數(shù)量；fn表示模型錯誤地將正樣本識別為負樣本的數(shù)量。

29、可選的，所述根據(jù)所述注意力狀態(tài)調整嚴肅游戲的場景，包括：

30、在所述注意力狀態(tài)為低注意力狀態(tài)的情況下，將嚴肅游戲的場景調整為第一游戲場景，將背景音樂調整為第一背景音樂；

31、在所述注意力狀態(tài)為中等注意力狀態(tài)的情況下，將嚴肅游戲的場景調整為第二游戲場景，將背景音樂調整為第二背景音樂；

32、在所述注意力狀態(tài)為高注意力狀態(tài)的情況下，將嚴肅游戲的場景調整為第三游戲場景，將背景音樂調整為第三背景音樂。

33、綜上所述，本發(fā)明具有以下有益效果：

34、建立了一個能夠在神經(jīng)反饋訓練過程中對注意力實現(xiàn)高精度識別的卷積神經(jīng)網(wǎng)絡模型，以根據(jù)受試者的實時原始腦電信號和原始心電信號輸出受試者的實時注意力狀態(tài)；

35、將受試者的實時注意力狀態(tài)輸出嚴肅游戲中，通過改變嚴肅游戲的場景及背景音樂，以提示受試者提高或保持當前的注意力狀態(tài)；

36、通過閉環(huán)的多模態(tài)神經(jīng)反饋訓練系統(tǒng)，能夠便于受試者主動調節(jié)和控制自己的注意力狀態(tài)，從而達到提高注意力的目的。