技術領域：

本發(fā)明涉及情感分類和模式識別領域，尤其涉及一種基于類腦模型的多模態(tài)情感識別方法。

背景技術：
：

多模態(tài)情感識別利用表情、語音、眼動及生理信號等多種模態(tài)數(shù)據(jù)的互補性提高分類器的識別性能，近年來成為了國內外的研究熱點。其中，多模態(tài)數(shù)據(jù)融合成為多模態(tài)情感識別中具有挑戰(zhàn)性的關鍵問題。目前多模態(tài)情感識別的融合方法主要包括基于特征的融合、基于決策的融合與基于模型的融合。由于多模態(tài)數(shù)據(jù)特征在時間尺度和度量上不盡相同，使得如何實現(xiàn)基于特征的融合成為困難?；跊Q策的融合方法不能揭示不同模態(tài)特征之間的相關信息，從而在一定程度上影響多模態(tài)情感識別的分類效果?；谀Ｐ偷娜诤戏椒ㄔ谝欢ǔ潭壬辖Y合了前兩種融合方法的優(yōu)勢，成為解決多模態(tài)情感識別問題的更優(yōu)選擇。然而，多模態(tài)融合模型如何建立目前尚未有效解決。

類腦模型旨在模擬大腦多感覺通道的多層次信息整合過程，基于大腦的模塊化結構以建立類腦模型并實現(xiàn)對大腦多模態(tài)信息的整合功能，能夠有效地應用于多模態(tài)信息融合中，成為多模態(tài)情感認知的關鍵技術方法。

技術實現(xiàn)要素：

1、本發(fā)明需要且能夠解決的技術問題。

本發(fā)明提出了一種基于類腦模型的多模態(tài)情感數(shù)據(jù)的分類方法，通過構建能夠模擬大腦模塊化及整合性的類腦模型，對多模態(tài)情感數(shù)據(jù)特征進行分類，旨在提高多模態(tài)數(shù)據(jù)的分類精度及速度，實現(xiàn)高效的多模態(tài)情感識別。

2、本發(fā)明具體的技術方案：

本發(fā)明提供了一種基于類腦模型的多模態(tài)情感識別的分類方法。該算法包括：

步驟a：對多模態(tài)情感數(shù)據(jù)，定義區(qū)分度指標dp用來衡量每種模態(tài)下每一個特征的組間差異程度，提取出區(qū)分度指標高的數(shù)據(jù)特征，再利用主成分分析方法進行特征降維，最終得到多模態(tài)數(shù)據(jù)特征向量其中k＝1,2,…,n，fk為第k個模態(tài)數(shù)據(jù)的特征向量，f1^k為第k個模態(tài)數(shù)據(jù)的第1個特征，為第k個模態(tài)數(shù)據(jù)的第2個特征，以此類推，為第k個模態(tài)數(shù)據(jù)的第nk個特征，n為特征模態(tài)數(shù)，nk為第k個模態(tài)下特征的個數(shù)；

步驟b：根據(jù)大腦結構模塊化及層級性的特性，設計一種具有子模塊結構的類腦模塊化神經(jīng)網(wǎng)絡；根據(jù)分類類別數(shù)設定m個模塊，根據(jù)特征模態(tài)數(shù)設定每個模塊中含有n個子模塊，每個子模塊對相應模態(tài)的特征數(shù)據(jù)進行學習；對每個模塊中子模塊內部及之間、以及模塊之間進行結構連接設計以模擬大腦的模塊化及整合性；每個模塊的輸出為一個神經(jīng)元r^m，m＝1,2,…,m，定義活躍度指標用來衡量每個模塊內部所有神經(jīng)元的活躍水平，采用“贏者全拿”策略判斷對該樣本的識別類別；

步驟c：將所有連接權值初始值設為0；使用屬于每個模塊對應類別的訓練樣本對其內部的連接權值矩陣及進行訓練，其中k,l＝1,2,…,n，m＝1,2,…,m，連接權值的更新遵循h(huán)ebbian規(guī)則，使連接權值得到增強；對模塊之間的雙向連接權值矩陣其中k＝1,2,…,n，m,n＝1,2,…,m，根據(jù)訓練樣本所屬類別基于hebbian規(guī)則分別進行增加或衰減的更新；該步驟只完成一次；

步驟d：設定類腦模型連接權值的更新準則，目標在于增加樣本所屬類別的競爭力；將所有樣本依次輸入模型；當模型對某樣本能夠進行可靠分類時，連接權值不更新；當模型并不能實現(xiàn)對某樣本的可靠分類時，則對權值矩陣及依次進行更新，權值反復更新直至實現(xiàn)該樣本的可靠分類，則對該樣本的訓練結束，將下一個訓練樣本輸入模型；當模型對所有樣本均完成一次訓練后，則完成一次迭代；該過程包括多次迭代，直至模型對所有訓練樣本均能實現(xiàn)可靠分類，迭代結束；迭代更新完成后的連接權值用于測試數(shù)據(jù)，對分類效果進行評價。

所述步驟b包括：

步驟b1：設計一種具有子模塊結構的類腦模塊化神經(jīng)網(wǎng)絡，模塊個數(shù)m與分類個數(shù)相同，每個模塊中的子模塊個數(shù)n與特征模態(tài)數(shù)相同；

步驟b2：設計類腦模塊化神經(jīng)網(wǎng)絡的連接結構；每個子模塊內部的神經(jīng)元相互連接，(k＝1,2,…,n；m＝1,2,…,m)表示第m個模塊中第k個子模塊內部神經(jīng)元的連接矩陣；每個模塊內的子模塊之間設計連接結構，(k,l＝1,2,…,n；m＝1,2,…,m)表示第m個模塊中第k個子模塊內部的神經(jīng)元與第l個子模塊內部的神經(jīng)元之間的連接矩陣；在每個模塊對應的子模塊之間設計連接結構，(k＝1,2,…,n；m,n＝1,2,…,m)表示第m個模塊與第n個模塊中對應的第k個子模塊之間的連接矩陣；

步驟b3：第m個模塊的輸出為一個神經(jīng)元r^m(m＝1,2,…,m)，用來衡量該模塊下所有神經(jīng)元的活躍程度。首先定義每個神經(jīng)元的活躍度如下：

其中，表示第m個模塊中第k個子模塊內部神經(jīng)元i對第p個樣本的活躍程度，fi^k(p)為第p個樣本的第k個模態(tài)下的第i個特征，為第p個樣本的第k個模態(tài)下的第j個特征，為第p個樣本的第l個模態(tài)下的第j個特征，為第m個模塊中第k個子模塊內部神經(jīng)元j與神經(jīng)元i的連接權值，為第m個模塊中第l個子模塊內部神經(jīng)元j與第k個子模塊內部神經(jīng)元i之間的連接權值，為第h個模塊中第k個子模塊內部神經(jīng)元j與第m個模塊中對應的第k個子模塊內部神經(jīng)元i之間的連接權值，nk為第k個模態(tài)數(shù)據(jù)中特征的個數(shù)，nl為第l個模態(tài)數(shù)據(jù)中特征的個數(shù)；將每個模塊下的所有神經(jīng)元的活躍度求和即得到每個模塊活躍度，則第m個模塊的輸出神經(jīng)元r^m定義如下：

采用“贏者全拿”策略判斷對該樣本的識別類別，即判定輸出最大的模塊所對應的類別為識別類別。

所述步驟c包括：

步驟c1：將每個模塊中子模塊內部神經(jīng)元連接權值矩陣(k＝1,2,…,n；m＝1,2,…,m)、子模塊之間的連接權值矩陣(k,l＝1,2,…,n；m＝1,2,…,m)以及不同模塊中對應子模塊之間的連接權值矩陣(k＝1,2,…,n；m,n＝1,2,…,m)初始值設為0；

步驟c2：對每個模塊中子模塊內部的連接權值矩陣(k＝1,2,…,n；m＝1,2,…,m)，使用屬于對應類別的樣本進行訓練；對于屬于第r類的第p個訓練樣本，第r個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值更新規(guī)則如下：

其中，i,j＝1,2,…,nk，t表示時刻，nk為第k個模態(tài)下的特征個數(shù)；

步驟c3：對每個模塊中子模塊之間的連接權值矩陣(k,l＝1,2,…,n；m＝1,2,…,m)，使用屬于對應類別的樣本進行訓練；對于屬于第r類的第p個訓練樣本，第r個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值更新規(guī)則如下：

其中，i＝1,2,…,nl，j＝1,2,…,nk，nl和nk分別為第l個模態(tài)及第k個模態(tài)下的特征個數(shù)；

步驟c4：對不同模塊中對應子模塊之間的連接權值矩陣(k＝1,2,…,n；m,n＝1,2,…,m)，使用屬于對應類別的樣本進行訓練；設定模塊對{r,s}，其中s＝1,2,…,m但是s≠r。對于屬于第r類的第p個訓練樣本，從模塊s中第k個子模塊內部神經(jīng)元i連向模塊r中第k個子模塊內部神經(jīng)元j的連接權值更新規(guī)則如下：

其中，i,j＝1,2,…,nk，nk為第k個模態(tài)下的特征個數(shù)；

相反地，從模塊r中第k個子模塊內部神經(jīng)元j連向模塊s中第k個子模塊內部神經(jīng)元i的連接權值更新規(guī)則如下：

δuj,i(k)＝δui,j(k)(11)

步驟c5：重復步驟c2-c4，直至完成對所有樣本的一次訓練。

所述步驟d包括：

步驟d1：將第p個訓練樣本輸入類腦模型(初次執(zhí)行該步驟時p＝1)，使用當前連接矩陣按照公式(2)、(3)計算各模塊的輸出r^m(m＝1,2,…,m)；

步驟d2：若樣本p屬于第r類，尋找除了第r個模塊外，在其它模塊中輸出最大的模塊，標記為模塊s；計算第r個模塊輸出與第s個模塊輸出的差異百分比pd。將會出現(xiàn)以下三種情況：(a)若pd<0，則表示分類錯誤；(b)若0<pd<γ，雖然分類正確，但是并不可靠；(c)若pd>γ>0，則認為實現(xiàn)了可靠的分類，其中γ為根據(jù)經(jīng)驗值選取的閾值，取值范圍在[0.01,0.30]。當出現(xiàn)情況(a)和(b)時，將執(zhí)行步驟d3-d5，對連接權值進行更新，以增加模塊r的競爭力而減弱模塊s的競爭力；當出現(xiàn)情況(c)時，連接權值不更新，直接跳至步驟d6；

步驟d3：模塊r內部的連接權值以及從模塊s中子模塊連向模塊r中對應子模塊的連接權值將得到增強。具體為：第r個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值按照公式(4)、(5)規(guī)則進行更新；第r個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值按照公式(6)、(7)規(guī)則進行更新；從模塊s中第k個子模塊內部神經(jīng)元i連向模塊r中第k個子模塊內部神經(jīng)元j的連接權值按照公式(8)、(9)規(guī)則進行更新；

步驟d4：模塊s內部的連接權值以及從模塊r中子模塊連向模塊s中對應子模塊的連接權值將得到減弱；具體為：第s個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值衰減δwi,j(k)(通過公式(5)得到)，更新規(guī)則如下：

第s個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值衰減δvi(l),j(k)(通過公式(7)得到)，更新規(guī)則如下：

從模塊r中第k個子模塊內部神經(jīng)元j連向模塊s中第k個子模塊內部神經(jīng)元i的連接權值按照公式(10)、(11)規(guī)則進行更新；

步驟d5：重復步驟d1、d2；

步驟d6：令p＝p+1，重復d1-d5，直至完成所有樣本的訓練；至此，完成了所有樣本的一次迭代；

步驟d7：判斷當前類腦模型的連接權值是否能夠實現(xiàn)對所有樣本的可靠分類；若未能實現(xiàn)，則進行下一次迭代，設定p＝1，重復d1-d7；若已實現(xiàn)，則步驟結束；

步驟d8：迭代更新完成后的連接權值用于測試數(shù)據(jù)，對分類效果進行評價。

本發(fā)明的方法通過設計類腦模塊化神經(jīng)網(wǎng)絡模型，模擬大腦處理多模態(tài)信息的能力，從而實現(xiàn)基于多模態(tài)數(shù)據(jù)的情感識別。實驗數(shù)據(jù)證明，相對于基于徑向基函數(shù)的支持向量機方法(svm-rbf)和基于多層感知器的支持向量機方法(svm-mlp)，具有更好的識別精度。本發(fā)明用于多模態(tài)情感數(shù)據(jù)分類，有效地提取出了用于分類的多模態(tài)特征，并基于構建的類腦模型解決了情感認知中多模態(tài)數(shù)據(jù)融合的問題，提高了多模態(tài)情感識別的準確率。

附圖說明：

圖1為根據(jù)本實施例用于多模態(tài)情感識別的方法流程圖；

圖2為根據(jù)本實施例設計的類腦模型結構示意圖；

圖3為本實施例分類準確率的實驗對比圖；

圖4為本實施例分類f1值的實驗對比圖

具體實施方式：

在本發(fā)明的一個示例性實施例中，提供了一種用于多模態(tài)情感識別的分類方法。圖1為根據(jù)本發(fā)明實施例用于多模態(tài)情感識別的方法流程圖。如圖1所示，本實施例用于多模態(tài)情感識別的分類方法包括：

步驟a：對多模態(tài)情感數(shù)據(jù)，定義區(qū)分度指標dp用來衡量每種模態(tài)的每一個特征的組間差異程度，提取出區(qū)分度指標高的數(shù)據(jù)特征，再利用主成分分析方法進行特征降維，最終得到多模態(tài)數(shù)據(jù)特征向量其中k＝1,2,…,n，fk為第k個模態(tài)數(shù)據(jù)的特征向量，f1^k為第k個模態(tài)數(shù)據(jù)的第1個特征，為第k個模態(tài)數(shù)據(jù)的第2個特征，以此類推，為第k個模態(tài)數(shù)據(jù)的第nk個特征，n為特征模態(tài)數(shù)，nk為第k個模態(tài)下特征的個數(shù)；

該步驟具體包括：

步驟a1：定義區(qū)分度指標dp以衡量每種模態(tài)下每一個特征的組間差異程度。對某種模態(tài)下的第i個特征，其區(qū)分度指標定義為：

其中，fij表示第j個樣本的第i個特征，表示第l個類別中第i個特征的均值，表示所有樣本中第i個特征的均值，i(yj＝l)是一個指標函數(shù)，當其為1時表示第j個樣本屬于類別l，為0時則表示不屬于類別l；

步驟a2：根據(jù)經(jīng)驗設定閾值α，取值范圍在[0.001,0.05]；在每種模態(tài)的特征中，選取dp>α的所有特征作為初選特征；

步驟a3：使用主成分分析方法對初選特征進行降維，根據(jù)經(jīng)驗設定累積貢獻率閾值θ0，取值范圍[0.80,0.99]，由此得到多模態(tài)數(shù)據(jù)特征向量其中k＝1,2,…,n，fk為第k個模態(tài)數(shù)據(jù)的特征向量，f1^k為第k個模態(tài)數(shù)據(jù)的第1個特征，為第k個模態(tài)數(shù)據(jù)的第2個特征，以此類推，為第k個模態(tài)數(shù)據(jù)的第nk個特征，n為特征模態(tài)數(shù)，nk為第k個模態(tài)下特征的個數(shù)；

在本實施例中，選取的數(shù)據(jù)包含n＝5種模態(tài)(包括腦磁圖meg、心電圖ecg、眼電圖heog、肌電圖emg、近紅內面部視頻等模態(tài)的數(shù)據(jù)特征)，根據(jù)經(jīng)驗α設定為0.005，θ0設定為0.95，經(jīng)步驟a得到nk值的范圍可能在[1,20]。

步驟b：根據(jù)大腦結構模塊化及整合性的特性，設計一種具有子模塊結構的類腦模塊化神經(jīng)網(wǎng)絡；根據(jù)分類類別數(shù)設定m個模塊，根據(jù)特征模態(tài)數(shù)設定每個模塊中含有n個子模塊，每個子模塊對相應模態(tài)的特征數(shù)據(jù)進行學習；對每個模塊中子模塊內部及之間、以及模塊之間進行結構連接設計以模擬大腦的模塊化及整合性；每個模塊的輸出為一個神經(jīng)元r^m，m＝1,2,…,m，定義活躍度指標用來衡量每個模塊內部所有神經(jīng)元的活躍水平，采用“贏者全拿”策略判斷對該樣本的識別類別；

該步驟具體包括：

步驟b1：設計一種具有子模塊結構的類腦模塊化神經(jīng)網(wǎng)絡，模塊個數(shù)m與分類類別數(shù)相同，每個模塊中的子模塊個數(shù)n與特征模態(tài)數(shù)相同；

步驟b2：設計類腦模塊化神經(jīng)網(wǎng)絡的連接結構；每個子模塊內部的神經(jīng)元相互連接，表示第m個模塊中第k個子模塊內部神經(jīng)元的連接權值矩陣，其中k＝1,2,…,n；m＝1,2,…,m；每個模塊內的子模塊之間設計連接結構，表示第m個模塊中第k個子模塊內部的神經(jīng)元與第l個子模塊內部的神經(jīng)元之間的連接權值矩陣，其中k,l＝1,2,…,n；m＝1,2,…,m；在每個模塊對應的子模塊之間設計連接結構，表示第m個模塊與第n個模塊中對應的第k個子模塊之間的連接權值矩陣，其中k＝1,2,…,n；m,n＝1,2,…,m；

步驟b3：第m個模塊的輸出為一個神經(jīng)元r^m，m＝1,2,…,m，用來衡量該模塊下所有神經(jīng)元的活躍程度；首先定義每個神經(jīng)元的活躍度如下：

其中，表示第m個模塊中第k個子模塊內部神經(jīng)元i對第p個樣本的活躍程度，fi^k(p)為第p個樣本的第k個模態(tài)下的第i個特征，為第p個樣本的第k個模態(tài)下的第j個特征，為第p個樣本的第l個模態(tài)下的第j個特征，為第m個模塊中第k個子模塊內部神經(jīng)元j與神經(jīng)元i的連接權值，為第m個模塊中第l個子模塊內部神經(jīng)元j與第k個子模塊內部神經(jīng)元i之間的連接權值，為第h個模塊中第k個子模塊內部神經(jīng)元j與第m個模塊中對應的第k個子模塊內部神經(jīng)元i之間的連接權值，nk為第k個模態(tài)數(shù)據(jù)中特征的個數(shù)，nl為第l個模態(tài)數(shù)據(jù)中特征的個數(shù)。將每個模塊下的所有神經(jīng)元的活躍度求和即得到每個模塊活躍度，則第m個模塊的輸出神經(jīng)元r^m定義如下：

采用“贏者全拿”策略判斷對該樣本的識別類別，即判定輸出最大的模塊所對應的類別為識別類別；

在本實施例中，使用多模態(tài)情感數(shù)據(jù)，在情感的三個維度上(激活度arousal、評價度valence、優(yōu)勢度dominance)分別進行二分類，因此m選取2。圖2為本實施例中構建的類腦模型結構示意圖。

步驟c：將所有連接權值初始值設為0；使用屬于每個模塊對應類別的訓練樣本對其內部的連接權值矩陣及進行訓練，其中k,l＝1,2,…,n，m＝1,2,…,m，連接權值的更新遵循h(huán)ebbian規(guī)則，使連接權值得到增強；對模塊之間的雙向連接權值矩陣其中k＝1,2,…,n，m,n＝1,2,…,m，根據(jù)訓練樣本所屬類別基于hebbian規(guī)則分別進行增加或衰減更新；該步驟只完成一次，至此完成所有連接權值的初步更新；

該步驟具體包括：

步驟c1：將每個模塊中子模塊內部神經(jīng)元連接權值矩陣子模塊之間的連接權值矩陣以及不同模塊中對應子模塊之間的連接權值矩陣初始值設為0，其中k,l＝1,2,…,n，m,n＝1,2,…,m；

步驟c2：對每個模塊中子模塊內部的連接權值矩陣使用屬于對應類別的樣本進行訓練。對于屬于第r類的第p個訓練樣本，第r個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值更新規(guī)則如下：

其中，i,j＝1,2,…,nk，t表示迭代步數(shù)，nk為第k個模態(tài)下的特征個數(shù)。

步驟c3：對每個模塊中子模塊之間的連接權值矩陣使用屬于對應類別的樣本進行訓練。對于屬于第r類的第p個訓練樣本，第r個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值更新規(guī)則如下：

其中，i＝1,2,…,nl，j＝1,2,…,nk，nl和nk分別為第l個模態(tài)及第k個模態(tài)下的特征個數(shù)。

步驟c4：對不同模塊中對應子模塊之間的連接權值矩陣使用屬于對應類別的樣本進行訓練。設定模塊對{r,s}，其中s＝1,2,…,m但是s≠r；對于屬于第r類的第p個訓練樣本，從模塊s中第k個子模塊內部神經(jīng)元i連向模塊r中第k個子模塊內部神經(jīng)元j的連接權值更新規(guī)則如下：

其中，i,j＝1,2,…,nk，nk為第k個模態(tài)下的特征個數(shù)。

相反地，從模塊r中第k個子模塊內部神經(jīng)元j連向模塊s中第k個子模塊內部神經(jīng)元i的連接權值更新規(guī)則如下：

δuj,i(k)＝δui,j(k)(11)

步驟c5：重復步驟c2-c4，直至完成對所有樣本的一次訓練，至此實現(xiàn)了連接權值的初步更新。

步驟d：設定類腦模型連接權值的更新準則，目標在于增加樣本所屬類別的競爭力；將所有樣本依次輸入模型；當模型對某樣本能夠進行可靠分類時，連接權值不更新；當模型并不能實現(xiàn)對某樣本的可靠分類時，則對權值矩陣及依次進行更新，權值反復更新直至實現(xiàn)該樣本的可靠分類，則對該樣本的訓練結束，將下一個訓練樣本輸入模型；當模型對所有樣本均完成一次訓練后，則完成一次迭代；該過程包括多次迭代，直至模型對所有訓練樣本均能實現(xiàn)可靠分類，迭代結束，至此完成所有連接權值的次級更新；

具體步驟包括：

步驟d1：將第p個訓練樣本輸入類腦模塊化神經(jīng)網(wǎng)絡模型，初次執(zhí)行該步驟時p＝1，使用當前連接矩陣按照公式(2)、(3)計算各模塊的輸出r^m，m＝1,2,…,m；

步驟d2：若樣本p屬于第r類，尋找除了第r個模塊外，在其它模塊中輸出最大的模塊，標記為模塊s。計算第r個模塊輸出與第s個模塊輸出的差異百分比pd，定義如下；

其中，r^r為第r個模塊的輸出，r^s為第s個模塊的輸出；則會出現(xiàn)以下三種情況：(a)若pd<0，則表示分類錯誤；(b)若0<pd<γ，雖然分類正確，但是并不可靠；(c)若pd>γ>0，則認為實現(xiàn)了可靠的分類，其中γ取值范圍在[0.01,0.30]；當出現(xiàn)情況(a)和(b)時，將執(zhí)行步驟d3-d5，對連接權值進行更新，以增加模塊r的競爭力而減弱模塊s的競爭力；當出現(xiàn)情況(c)時，連接權值不更新，直接跳至步驟d6。

步驟d3：模塊r內部的連接權值以及從模塊s中子模塊連向模塊r中對應子模塊的連接權值將得到增強；具體為：第r個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值按照公式(4)、(5)規(guī)則進行更新；第r個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值按照公式(6)、(7)規(guī)則進行更新；從模塊s中第k個子模塊內部神經(jīng)元i連向模塊r中第k個子模塊內部神經(jīng)元j的連接權值按照公式(8)、(9)規(guī)則進行更新。

步驟d4：模塊s內部的連接權值以及從模塊r中子模塊連向模塊s中對應子模塊的連接權值將得到減弱。具體為：第s個模塊中第k個子模塊內部神經(jīng)元i和神經(jīng)元j之間的連接權值衰減δwi,j(k)，更新規(guī)則如下：

第s個模塊中第l個子模塊內部神經(jīng)元i和第k個子模塊內部神經(jīng)元j之間的連接權值衰減δvi(l),j(k)，更新規(guī)則如下：

從模塊r中第k個子模塊內部神經(jīng)元j連向模塊s中第k個子模塊內部神經(jīng)元i的連接權值按照公式(10)、(11)規(guī)則進行更新。

步驟d5：重復步驟d1、d2；

步驟d6：令p＝p+1，重復d1-d5，直至p＝p，其中p為樣本個數(shù)，即完成了所有樣本的一次迭代；

步驟d7：判斷當前類腦模型的連接權值是否能夠實現(xiàn)對所有樣本的可靠分類；若未能實現(xiàn)，設定p＝1，重復d1-d7，進行下一次迭代，若已實現(xiàn)，則步驟結束；至此，完成所有連接權值的次級更新。

步驟e：迭代更新完成后的連接權值用于測試數(shù)據(jù)，對分類效果進行評價。

在本實施例中，通過對訓練樣本使用10折交叉驗證方法進行調參，從而選擇最佳閾值γ＝0.21。使用留一交叉驗證法進行實驗，計算識別的平均準確率作為評價該分類方法的指標。將該方法與基于徑向基函數(shù)的支持向量機方法(svm-rbf)、基于多層感知器的支持向量機方法(svm-mlp)方法進行對比，計算準確率及f1值作為分類評價指標，實驗結果如圖3、4所示。表明該方法有效地實現(xiàn)了多模態(tài)情感識別，并且識別效果相對于另外兩種方法有所提高。