本發(fā)明涉及情感計算領域，涉及一種基于腦電的情感識別方法，特別涉及一種基于通道分層機制與特征選擇集成構建多分類器融合的腦電情感識別方法。

背景技術：

情感是人腦的高級功能，是伴隨著認知和意識過程產(chǎn)生的心理和生理狀態(tài)，綜合了人的感覺、思想和行為，在人與人之間的交流中扮演著非常重要的角色。近年來，隨著普適技術和和計算機技術的快速發(fā)展，情感識別作為情感計算的一個關鍵問題已經(jīng)成為計算機科學、認知科學和人工智能等領域一項重要的交叉學科研究課題，并得到越來越多的關注和應用。在臨床醫(yī)療護理中，如果能夠知道患者，尤其是有表達障礙的患者的情感狀態(tài)，就可以根據(jù)患者的情感采取不同的護理措施提高護理質量。在產(chǎn)品開發(fā)過程中，如果能夠測量用戶在使用產(chǎn)品過程時的情感，了解用戶體驗，就可以改善產(chǎn)品功能并提高產(chǎn)品質量，更好的滿足用戶的需求。對于動車、高鐵及長途客運等方面的司機需要長時間保持高度注意力和警覺度，如果能提前獲取司機當天的情感狀態(tài)，就可以有效的避免因司機的浮躁、憤怒、抑郁等消極情緒而造成的交通事故。此外，在對精神障礙患者的心理行為監(jiān)控、智能多媒體推薦系統(tǒng)及人機交互的友好和智能化等方面目前也得到了越來越多的關注。因此，利用情感識別技術對情感進行分析和評估具有重要的應用和研究價值。

較早的情感研究通常是利用人的面部表情、語音聲調、身體姿態(tài)等外顯特征來識別人的不同情感，這些人體信號雖然容易獲取，但往往容易被人為掩飾或偽裝，難以排除主觀因素的影響，有時甚至無法獲知內在真實的情感狀態(tài)。而伴隨情感的生理反應則由神經(jīng)和內分泌系統(tǒng)支配，具有自發(fā)性，不易受主觀意念控制，故基于所對應生理信號的情感識別能獲得客觀真實的結果，也更貼切于實際應用。呼吸、心率、體表溫度、皮膚阻抗等外圍神經(jīng)生理信號常用來檢測人的情感狀態(tài)，但這些信號的差異性通常較小，變化的速率也通常較慢，在需要實時的快速識別情感的情況下，這些信號就不能滿足研究的需要了。認知和神經(jīng)生理學理論研究表明，人的大腦活動在情感的產(chǎn)生和活動過程中扮演著重要的角色，并且從大腦采集到的腦電信號能夠檢測到與情感狀態(tài)變化相關的信息。近年來，腦電信號由于其不可偽裝性和實時差異性的優(yōu)點，并且隨著腦電信號采集設備的應用和推廣、信號處理和機器學習技術的快速發(fā)展以及計算機數(shù)據(jù)處理能力的大幅提高，基于腦電的情感識別在情感計算領域得到越來越多的關注和應用。

目前，基于腦電的情感識別技術主要是基于傳統(tǒng)的單一分類器及其改進模型，常見的有支持向量機、決策樹、貝葉斯網(wǎng)絡、神經(jīng)網(wǎng)絡及K近鄰算法等，取得了不錯的識別效果，但仍有提升的空間。通常，對于情感識別，我們更專注于提高識別率并且對新的數(shù)據(jù)集具有良好的泛化能力。然而，現(xiàn)實中由于被試的文化差異、個體性格等客觀因素使得在情感誘發(fā)實驗中采集到的腦電數(shù)據(jù)往往具有類別不平衡性，同時隨著實驗時間的增加，被試疲累及心理波動導致其具有實驗抵觸心理，加上外界因素干擾會使得數(shù)據(jù)中常包含較多噪聲。此外，大腦的非線性混沌特征使得腦電具有多樣性和復雜性，不同腦區(qū)對情感的體驗程度也不完全相同。以上因素大大增加了腦電情感識別的難度，使用傳統(tǒng)的單一分類器很難實現(xiàn)在整個樣本空間上的準確分類。常見的解決策略是針對特定的情感識別問題，通過多次測試比較尋找一個具有最佳分類性能的分類器。然而，當先驗知識不足時，很難確定最佳分類器，且如果特征之間的差異較大，則難以將他們集中到單一分類器中進行決策。雖然每個分類器的性能不同，但他們的錯分樣本集不一定重疊，這表明在各種單一分類器中存在著一定的互補信息。如果能利用這些互補信息組合多個分類器，并讓每個分類器都在其優(yōu)勢空間區(qū)域發(fā)揮作用，即多分類器融合，將有望提高腦電情感識別的準確率。

因此，現(xiàn)有技術還有待于改進和發(fā)展。

技術實現(xiàn)要素：

鑒于上述現(xiàn)有技術的不足，本發(fā)明的目的在于提出一種基于分層機制構建多分類器融合模型的腦電情感識別方法，旨在解決針對類別不平衡、非線性非平穩(wěn)的情感腦電數(shù)據(jù)進行分類時，現(xiàn)有的情感識別方法準確率有待提高的問題。

本發(fā)明解決其技術問題所采取的技術方案是：一種基于分層機制構建多分類器融合模型的腦電情感識別方法，該方法包括如下步驟：

(1)收集多導情感腦電數(shù)據(jù)，并對其進行分析處理，包括腦電預處理、特征提取及基于權值度量的通道選擇，以構建情感腦電特征矩陣。

(2)將情感腦電特征矩陣按照電極位置進行通道劃分，并針對每個通道執(zhí)行最優(yōu)化特征選擇集成，構建多個單一情感分類模型。

(3)以各分類模型在針對同一個情感識別問題時獲得的差異性和精確度作為評估準則，選擇每個通道的最優(yōu)單一情感分類模型，得到待融合的分類器集。

(4)利用各個最優(yōu)單一情感分類模型的分類誤差作為權重，并基于加權投票法構建情感識別融合模型。

進一步的，步驟(1)是基于腦電分析處理構建情感腦電特征矩陣的方法，具體步驟包括：

將采集的多導情感腦電原始信號進行預處理，包括：重設參考電極即改變原參考電位、降采樣即將原始采樣頻率從512Hz降至128Hz、濾波去噪即采用0.1Hz～50Hz的帶通濾波、去偽跡干擾即利用獨立分量分析去除眼電偽跡四個步驟。

對預處理后的每一導腦電數(shù)據(jù)以長2s、重疊1s的時間窗分割成T段，分別計算時域特征、統(tǒng)計特征、頻域特征和非線性動力學特征，得到初始的情感腦電特征矩陣。

基于ReliefF方法計算各通道權值，利用權值大小來表征各通道對于情感識別的重要程度進而實現(xiàn)通道的選擇，具體過程包括：

對提取的腦電特征值進行歸一化，并初始化腦電特征權值w₀；

對每個樣本x_i采用歐式距離度量尋找相同情感類別的k個近鄰H_j和不同類別的k個近鄰M_j(c)；

更新每一個特征f_L的權值w(f_L)；

重復上述步驟m次，m為總樣本數(shù)，輸出所有樣本特征權值w；

將每個通道的所有特征權值的平均值作為該通道的權值W(T)；

將通道權值按照從大到小進行排序，選擇D個權值較大的通道{Ch₁,Ch₂,…,Ch_D}；

按照“通道-特征-分割段”的方式進行排列，得到一個包括m行、D×q×T列的二維情感腦電特征矩陣，m為總的樣本數(shù)，D為選擇出來的通道數(shù)，q是每個通道下提取的各類特征的數(shù)量，T是每導腦電被分割的數(shù)量。

進一步的，步驟(2)是結合通道劃分和最優(yōu)化特征選擇集成生成基分類器的方法，具體包括如下步驟：

每個腦電通道上利用bootstrap采樣方法產(chǎn)生S個訓練子集{SubTr₁,SubTr₂,…,SubTr_S}；

對每個訓練子集利用粒子群優(yōu)化(PSO)算法選擇最優(yōu)腦電特征子集；

在每個訓練子集的最優(yōu)特征子集上利用SVM學習樣本，以生成S個基分類器{SVM₁,SVM₂,…,SVM_S}。

進一步的，步驟(3)是基于差異性和精確度的各通道最優(yōu)基分類器選擇方法，具體包括如下步驟：

用每個通道上生成的基分類器SVM_S識別測試樣本，根據(jù)識別結果，計算出每個基分類器的識別準確率Acc_S；

根據(jù)分類器的識別率按從大到小排序，選擇出識別效果最好的情感分類模型集

計算中各分類模型與其他通道分類模型之間的平均差異性Div_i；

計算各通道最優(yōu)情感分類模型的選擇評估準則Evaluation_i；

進一步的，步驟5所述的基于加權投票的腦電情感分類模型融合方法具體包括：

計算各通道最優(yōu)情感分類模型的分類誤差Error_t；

計算各通道最優(yōu)情感分類模型的權重ω_t；

統(tǒng)計各情感類別的投票得分Score_y；

將得分最高的情感類別為最終的決策輸出：Label＝argmax(Score_y)。

本發(fā)明能夠應用于所有基于腦電的情感識別系統(tǒng)。

有益效果：

本發(fā)明利用通道分層思想，使用ReliefF算法對腦電各通道下的特征進行權值計算，將特征的平均權值作為該通道的權值，權值較大表明該通道與目標情感類別之間的相關性較高，根據(jù)權值大小進行通道篩選，以降低計算代價和內存消耗，并有望提高后續(xù)的情感識別準確率?；凇癇agging-PSO-SVM”的特征選擇集成方法生成分類性能較好的基分類器，并利用“差異性+精確度”的評估準則動態(tài)選擇各通道最優(yōu)分類器，使得這些分類器具有較高識別能力和較多的互補信息，最后采取加權投票法對這些最優(yōu)分類器的分類結果進行融合。利用多分類器融合解決了單一分類器在具有類別不平衡及復雜性的腦電樣本空間上難以獲得較高情感識別率的問題。

附圖說明

圖1為本發(fā)明一種基于分層機制構建多分類器融合的腦電情感識別方法較佳實施例的流程圖。

圖2為圖1所示方法中步驟S101的具體流程圖。

圖3為圖1所示方法中步驟S102的具體流程圖。

圖4為圖1所示方法中步驟S102的示意圖。

圖5為圖1所示方法中步驟S103的具體流程圖。

圖6為圖1所示方法中步驟S104的具體流程圖。

具體實施方式

本發(fā)明提供一種基于分層機制多分類器融合的腦電情感識別方法，為使本發(fā)明的目的、技術方案及效果更加清楚、明確，以下結合附圖對本發(fā)明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

請參閱圖1，圖1為本發(fā)明一種基于分層機制多分類器融合的腦電情感識別的較佳實施例的流程圖，如圖所示，其實施步驟，包括如下：

(1)收集多導情感腦電數(shù)據(jù)，并對其進行分析處理，如圖2所示，包括腦電預處理、特征提取及通道選擇，構成情感腦電特征矩陣，具體過步驟如下：

將采集的多導情感腦電原始信號進行預處理，包括：重設參考電極為Cz(改變原參考電位)、降采樣(將原始采樣頻率從512Hz降至128Hz)、濾波去噪(采用0.1Hz～50Hz的帶通濾波)、去偽跡干擾(利用獨立分量分析去除眼電偽跡)四個步驟。

對預處理后的每一導腦電數(shù)據(jù)采用長2s、重疊1s的時間窗分割成T段，分別計算常用于表征情感的時域特征、統(tǒng)計特征、頻域特征和非線性動力學特征，其中頻域特征針對θ波(4-7.5Hz)、α波(8-13Hz)、β波(14-30Hz)、γ波(30-45Hz)提取相應特征，如表1所示，共得到N×q×T維的情感腦電特征向量，其中N是電極數(shù)，q是提取的各類情感腦電特征的數(shù)量，T是每一導腦電信號被分割的段數(shù)。

表1各類情感腦電特征

基于ReliefF方法計算各通道權值，利用權值大小來表征各通道對于情感識別的重要程度進而實現(xiàn)通道的選擇，具體過程包括：

對提取的腦電特征值進行歸一化，并初始化腦電特征權值w₀；

對每個樣本x_i采用歐式距離尋找與其相同情感類別的k個近鄰H_j(j＝1,2,…,k)和不同類別的k個近鄰M_j(c)，c＝1,2,…C，C為情感類別數(shù)；

根據(jù)下式更新所有腦電特征的權值w(f_L)：

其中，class(x_i)表示樣本x_i所屬的情感類別，表示第c類情感類別的概率，m和k可根據(jù)樣本數(shù)及腦電特征維數(shù)進行設定，diff(f,x₁,x₂)表示腦電特征f中樣本x₁和x₂之間的差值，用來度量樣本x₁和樣本x₂關于特征f的距離，可用下式進行計算：

重復上述步驟，直到所有樣本均執(zhí)行上述操作，最終得到所有樣本特征權值w；

根據(jù)下式，將每個通道的所有特征權值的平均值作為該通道的權值W(t)：

其中，L為每個通道下的特征數(shù)量，T表示第T個通道；

將通道權值按照從大到小進行排序，選擇D個權值較大的通道{Ch₁,Ch₂,…,Ch_D}進行后續(xù)處理；

按照“通道-特征-分割段”的方式進行排列，得到一個包括m行、D×q×T列的二維情感腦電特征矩陣，m為總的樣本數(shù)，D為選擇出來的通道數(shù)，q是每個通道下提取的各類特征的數(shù)量，T是每導腦電被分割的數(shù)量。

(2)將情感腦電特征矩陣按照電極位置進行通道劃分，并針對每個通道執(zhí)行最優(yōu)化特征選擇集成，構建多個單一情感分類模型，如圖3和圖4所示，具體步驟如下：

每個腦電通道上利用bootstrap采樣方法產(chǎn)生S個訓練子集{SubTr₁,SubTr₂,…,SubTr_S}；

對每個訓練子集基于粒子群優(yōu)化(PSO)算法選擇最優(yōu)情感腦電特征子集；

在每個訓練子集的最優(yōu)特征子集上利用SVM學習樣本，以生成S個情感基分類模型{SVM₁,SVM₂,…,SVM_S}。

(3)以各分類模型在針對同一個情感識別問題時獲得的差異性和精確度作為評估準則，選擇每個通道的最優(yōu)單一情感分類模型，得到待融合的分類器集，如圖5所示，具體步驟如下：

用每個通道上生成的基分類器SVM_S識別測試樣本，根據(jù)識別結果，計算出每個基分類器的識別準確率Acc_S；

根據(jù)分類器的識別率Acc_S按從大到小排序，選擇出識別效果最好的情感分類模型集

根據(jù)下式計算中各分類模型與其他通道分類模型之間的平均差異性：

其中，Div_i表示分類器集中第i個分類器與其他通道生成的基分類器之間的決策差異度，M是其他通道生成的基分類器總數(shù)，N是測試集的樣本數(shù)；

根據(jù)下式計算各通道最優(yōu)情感分類模型的選擇評估準則：

Evaluation_i＝Acc_i+α·Div_i，

其中Acc_i表示分類器集中第i個分類器的分類準確率，α是可調參數(shù)，表示差異度Div_i在評估準則中的貢獻度；

選擇出具有最大評估值的分類模型作為該通道的最優(yōu)情感分類模型，并參與最終的融合。

(4)利用各通道的最優(yōu)情感基分類模型的分類誤差作為權重，并基于加權投票法構建多分類器融合模型用于腦電情感識別，具體步驟如下：

根據(jù)下式計算各通道最優(yōu)情感分類模型的分類誤差：

其中N是測試集樣本數(shù)，F(xiàn)_t(x_k)表示第t個通道的最優(yōu)分類器對樣本x_k的分類結果，y_k是真實情感類別，Num用來統(tǒng)計數(shù)量；

根據(jù)下式計算各通道最優(yōu)情感分類模型的權重：

根據(jù)下式統(tǒng)計各情感類別的投票得分：

其中，y是情感類別，表示第t個分類器對類別y的投票，如果對樣本的分類結果等于該樣本的真實類別，則得1分，否則得0分；

將得分最高的情感類別為最終的決策輸出：Label＝argmax(Score_y)。

實施例：

下面對本發(fā)明的基于分層機制構建多分類器融合的腦電情感識別方法與傳統(tǒng)的基于單一分類器的識別方法進行比較驗證，實驗參數(shù)選取包括如下：

仿真數(shù)據(jù)選自公開數(shù)據(jù)集DEAP中的腦電情感數(shù)據(jù)，共32名被試參與了數(shù)據(jù)采集，年齡在19至37歲之間，每名被試均要求觀看40個音樂視頻短片。在情感誘發(fā)實驗過程中，采用二維情感模型來量化情感，包括喚醒度(Arousal)和效價(Valence)兩個維度。每名被試在觀看完一個視頻之后需記錄下自評量表(SAM)中的每個維度的度量值，取值范圍為1-9。使用國際10-20系統(tǒng)的32導電極帽采集腦電信號，采樣頻率為512Hz。腦電信號的預處理采用開源的EEGLAB腦電分析工具箱進行操作。

為驗證本發(fā)明對于腦電情感識別的有效性以及與其他傳統(tǒng)方法相比性能的優(yōu)劣，進行了一組對比實驗，實驗結果如下所示：

表2本發(fā)明方法與其他方法的比較

從表2中可以得到，對于單一分類模型而言，支持向量機(SVM)要比其他三種方法的分類準確率要高，樸素貝葉斯(NB)次之，決策樹(C4.5)效果最差。而本發(fā)明所提的基于分層機制的多分類器融合方法無論在效價(Valence)還是喚醒度(Arousal)維度上的分類準確率都要優(yōu)于任何單一分類模型?？勺C明在針對具有類別不平衡性、復雜性等特點的腦電數(shù)據(jù)時，本發(fā)明所提出的方法可以解決單一分類模型的情感識別準確率較低的問題。

本發(fā)明旨在提出一種基于分層機制構建多分類器融合的腦電情感識別方法，通過對通道篩選后的腦電情感特征矩陣根據(jù)電極位置進行劃分，然后分別采用特征選擇集成構造多個情感分類模型，根據(jù)各分類模型的準確度和差異性選擇各通道的最優(yōu)單一情感分類模型，最后采取加權投票法對所有最優(yōu)單一分類模型進行融合得到最終的情感識別結果。應當理解的是，本發(fā)明的應用不限于上述的舉例，對本領域普通技術人員來說，可以根據(jù)上述說明加以改進或變換，所有這些改進和變換都應屬于本發(fā)明所附權利要求的保護范圍。