一種具有情感識別功能的智能家居的制作方法
【專利摘要】本發(fā)明提供了一種具有情感識別功能的智能家居，其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè)備包括：移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件以及多個第二智能家居硬件。本發(fā)明通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
【專利說明】
-種具有情感識別功能的智能家居
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及智能家居設(shè)計領(lǐng)域，具體設(shè)及一種具有情感識別功能的智能家居。
【背景技術(shù)】
[0002] 相關(guān)技術(shù)中，智能家居的控制操作方式通常有用戶登錄手機、電腦對家中的智能 設(shè)備發(fā)送指令，然后由智能設(shè)備執(zhí)行相應(yīng)用戶指令。上述智能家居的控制操作需要獲取明 確的用戶指令，操控方法智能化程度不足，無法實現(xiàn)自動對智能設(shè)備進行操作，且未真正的 實現(xiàn)智能化，無法處理用戶較為模糊的指令，無法檢測用戶的屯、情和感受。
[0003] 情感在人們相互交際過程中起著極其重要的作用。借助情感表達所伴隨著的外在 表現(xiàn)信息，如情感化的語音信號或面部表情，人們可W很方便地相互溝通、相互了解。對于 人類情感方面的研究，一直是生理學(xué)、神經(jīng)學(xué)、屯、理學(xué)等領(lǐng)域的重要研究方向，近幾年來倍 受工程領(lǐng)域研究者的關(guān)注。當(dāng)前，對于單模態(tài)情感研究較多，但是對于多模態(tài)情感融合的研 究較為有限。

【發(fā)明內(nèi)容】

[0004] 針對上述問題，本發(fā)明提供一種具有情感識別功能的智能家居。
[0005] 本發(fā)明的目的采用W下技術(shù)方案來實現(xiàn)：
[0006] -種具有情感識別功能的智能家居，其特征是，包括智能家居設(shè)備和控制智能家 居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè)備包括:移動終端、智能家居服務(wù)器集群、無 線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W及多個第二智能家居硬件;所述移動終端通 過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通信;所述智能家居服務(wù)器集群包括多個功能服 務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng)絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居 服務(wù)器集群的數(shù)據(jù)交互;另一側(cè)通過多種不同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居 硬件相連接;所述第一智能家居硬件通過無線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能 家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智能家居硬件之間、所述第一智能家居硬件W及 所述第二智能家居硬件之間的消息轉(zhuǎn)換，所述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過 所述智能家居網(wǎng)關(guān)和所述無線路由器與所述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0007] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[000引優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0009] 本發(fā)明的有益效果為：
[0010] 本發(fā)明通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家居硬件 共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路由器直 連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
【附圖說明】
[0011] 利用附圖對本發(fā)明作進一步說明，但附圖中的實施例不構(gòu)成對本發(fā)明的任何限 審IJ，對于本領(lǐng)域的普通技術(shù)人員，在不付出創(chuàng)造性勞動的前提下，還可W根據(jù)W下附圖獲得 其它的附圖。
[0012] 圖1是本發(fā)明智能家居設(shè)備的結(jié)構(gòu)示意圖；
[0013] 圖2是本發(fā)明智能控制系統(tǒng)的結(jié)構(gòu)示意圖。
[0014] 附圖標(biāo)記：
[0015] 語音情感識別處理模塊1、表情情感識別處理模塊2、多模態(tài)情感融合識別處理模 塊3、控制模塊4、聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12、語音情感分類處理子模 塊13、表情特征提取子模塊21、表情特征降維子模塊22、表情情感分類處理子模塊23。
【具體實施方式】
[0016] 結(jié)合W下實施例對本發(fā)明作進一步描述。
[0017] 應(yīng)用場景1
[0018] 參見圖1、圖2,本應(yīng)用場景中的一個實施例的一種具有情感識別功能的智能家居， 其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè) 備包括:移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W 及多個第二智能家居硬件;所述移動終端通過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通 信;所述智能家居服務(wù)器集群包括多個功能服務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng) 絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服務(wù)器集群的數(shù)據(jù)交互；另一側(cè)通過多種不 同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬件相連接;所述第一智能家居硬件通過無 線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智 能家居硬件之間、所述第一智能家居硬件W及所述第二智能家居硬件之間的消息轉(zhuǎn)換，所 述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所述智能家居網(wǎng)關(guān)和所述無線路由器與所 述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0019] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[0020] 本優(yōu)選實施例通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家 居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路 由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
[0021] 優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0022] 本優(yōu)選實施例加快了通信速度。
[0023] 優(yōu)選地，所述智能控制系統(tǒng)包括語音情感識別處理模塊1、表情情感識別處理模塊 2、多模態(tài)情感融合識別處理模塊3和控制模塊4:
[0024] (1)語音情感識別處理模塊1，用于獲取用戶的語音信號，并對語音信號進行處理， 最終輸出語音情感識別結(jié)果，其包括聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12和語 音情感分類處理子模塊13;所述聲學(xué)特征提取子模塊11用于提取聲學(xué)特征數(shù)據(jù);所述聲學(xué) 特征降維子模塊12用于采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理； 所述語音情感分類處理子模塊13用于采用已訓(xùn)練好的支持向量機作為語音情感識別分類 器，對降維后的聲學(xué)特征數(shù)據(jù)進行情感識別并輸出語音情感識別結(jié)果，支持向量機的核函 數(shù)采用高斯核函數(shù)；
[0025] (2)表情情感識別處理模塊2,用于獲取用戶的表情圖像，并對表情圖像特征進行 處理，最終生成表情情感識別結(jié)果，其包括表情特征提取子模塊21、表情特征降維子模塊22 和表情情感分類處理子模塊23;所述表情特征提取子模塊21用于采用自適應(yīng)二維Gabor小 波變換方法對表情圖像中的表情特征進行提取;所述表情特征降維子模塊22用于采用所述 改進的局部線性嵌入方法對所述表情特征數(shù)據(jù)進行降維處理，并采用形態(tài)學(xué)處理方法做濾 波處理;所述表情情感分類處理子模塊23用于采用已訓(xùn)練好的稀疏分類器作為表情情感識 別分類器，對降維、濾波處理后的表情特征數(shù)據(jù)進行情感識別并輸出表情情感識別結(jié)果；
[0026] (3)多模態(tài)情感融合識別處理模塊3,用于基于所述語音情感識別結(jié)果和表情情感 識別結(jié)果，根據(jù)預(yù)定的多模態(tài)情感融合策略生成用戶情感識別結(jié)果；
[0027] (4)控制模塊，用于根據(jù)所述用戶情感識別結(jié)果，在驗證用戶身份的前提下控制智 能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0028] 本優(yōu)選實施例設(shè)置多模態(tài)情感融合識別處理模塊3,基于所述語音情感識別結(jié)果 和表情情感識別結(jié)果，增強了識別結(jié)果的可靠性。
[0029] 優(yōu)選地，所述用戶情感識別結(jié)果包括高級別和低級別的褒義情感，中性情感W及 高級別和低級別的貶義情感組成的5個級別情感類型。
[0030] 所述在驗證用戶身份的前提下控制智能家居設(shè)備執(zhí)行相應(yīng)的操作，具體為:所述 控制模炔基于預(yù)先設(shè)置的語音特征數(shù)據(jù)庫，匹配所述用戶的語音信號的語音特征，從而進 行用戶身份驗證，若驗證通過，控制模塊控制智能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0031] 所述采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理，包括：
[0032] (1)將提取的聲學(xué)特征數(shù)據(jù)中的聲學(xué)特征向量看成是高維空間中的樣本數(shù)據(jù)點， 設(shè)M維的N個樣本數(shù)據(jù)點為Xl，XlGRM，iG[l，N]，類別號為Cl，嵌入輸出的N個m維的降維數(shù)據(jù) 點為Yi，Yi G r，i G [ 1，N]，，且m值的范圍為[2，20]，對每個樣本數(shù)據(jù)點Xi確定其鄰域點 的數(shù)目K，鄰域點的距離公式為：
[0033]
[0034] 式中，1/是結(jié)合樣本數(shù)據(jù)點類別信息計算后的距離，L是忽略樣本數(shù)據(jù)點類別信息 的原始歐氏距離，參數(shù)A用來防止L過快增長，max(L)表示最大歐氏距離，min化)表示最小歐 式距離，常數(shù)因子81、52(0《51、52《1)，共同控制距離計算時樣本數(shù)據(jù)點類別信息的結(jié)合數(shù) 量程度；
[0035] (2)利用每個樣本數(shù)據(jù)點Xi的鄰域點計算出樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WiJ, 要求最小化下列損失函數(shù)：
[0036]
[0037] 式中，Wij為Xi與Xj之間的權(quán)值，且需滿足
對Xi的非鄰域點，Wij = O;
[0039]
[0038] (3)計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán)重之和：
[0040]
[0041]
[0042] 式中，Zij為各鄰域點之間的加權(quán)矩陣，d(Xi，Xj)表示樣本數(shù)據(jù)點間的Fisher投影 距離，C為可調(diào)參數(shù)；
[0043] (4)利用該樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WuW及其鄰域點計算出該樣本數(shù)據(jù)點 的輸出值，具體是將所有的樣本數(shù)據(jù)點Xi映射嵌入到低維空間中，并使得低維重構(gòu)的誤差 達到最小，要求最小化下列損失函數(shù)：
[0044]
[0045] 一個稀疏矩陣M=(I-W)T(I- W)，通過求解運個稀疏矩陣的前m個最小的非零特征值所對應(yīng)的特征向量作為樣本數(shù)據(jù)點 Xi的嵌入輸出值。
[0046] 所述自適應(yīng)二維Gabor小波變換方法中的Gabor濾波器的核函數(shù)定義為：
[0047]
[004引式中，a、e分別表示核函數(shù)的方向和頻率大小，a、巧安照按如下方法設(shè)置：當(dāng)表情圖 像質(zhì)量較好時，選取S個中屯、頻率0 ={ 0，1，2巧P六個方向a ={0，1，…，引組成的18個Gabor 濾波器用于特征提取;當(dāng)表情圖像受到腐蝕、遮擋時，選取四個中屯、頻率0={0，1…，3巧口八 個方向0 = {0，1，…，7}組成的32個Gabor濾波器用于特征提?。?br>[0049] O表示采用高斯函數(shù)窗口的大小，用來決定濾波器的帶寬，O能夠根據(jù)參數(shù)設(shè)置進 行自適應(yīng)調(diào)整:將表情圖像分成V X V子塊，根據(jù)每個子塊特征數(shù)目選擇O，特征數(shù)目大的子 塊設(shè)定〇 = n，特征數(shù)目少的子塊設(shè)定O =化；
[0化0] ka,e為小波矢量
廷中，ke和稱^分別表不Gabor濾波器在頻率和方向 空間的采樣方式。
[0051] 所述預(yù)定的多模態(tài)情感融合策略為：
[0052] 設(shè)已經(jīng)計算出一個測試樣本X對于C類的分類情況下，采用n個分類器進行分類得 到的后驗概率集合為{PU(X)，i = 1，2，…，n，j = 1，2，…，C}，對n個分類器取得的后驗概率按 照方差規(guī)則集成得到一個新的后驗概率集合{〇^^)〇 = 1，2^-，(：}，從中按照預(yù)定的挑選 規(guī)則挑選出合適的后驗概率值所對應(yīng)的類別作為要輸出的用戶情感識別結(jié)果；
[0053] 對于j類測試樣本，按照方差規(guī)則獲得的新的后驗概率^^)可表示為：
[0化4]
[0化5]
[0化6]
[0057]對于j類測試樣本，最終所獲得的識別類別可表示為：
[0化引 P(X) =argmaxj(qj(x))
[0059] 其中，所述預(yù)定的挑選規(guī)則為:將所述新的后驗概率集合中的后驗概率值按照從 大到小順序進行排列的前3個后驗概率值為(1加)。3、，9如)。3、-1，9如)。3、-2，若9;的饑(設(shè)《
.選擇W(X)max作為合適的后驗概率值，否則選擇^(X)max-l作為 合適的后驗概率值，其中Qq為設(shè)定的后驗概率權(quán)值，取值范圍為[1.4，1.6 ]。
[0060] 本優(yōu)選實施例設(shè)置改進的局部線性嵌入方法，需要確定的參數(shù)比較少，只有鄰域 數(shù)k和輸出維數(shù)d，大大減少了運算量，且可W學(xué)習(xí)出任意維數(shù)的低維流形，提高了識別速 度;采用自適應(yīng)二維Gabor小波變換方法對表情圖像中的表情特征進行提取，具有旋轉(zhuǎn)、平 移W及伸縮變換條件下不變的性質(zhì)，而且能得到一個解析的全局最優(yōu)解;在聲學(xué)特征降維 子模塊12對聲學(xué)特征數(shù)據(jù)進行降維處理的過程中，計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán) 重之和，并將其考慮到低維重構(gòu)的損失函數(shù)中，降低了噪聲的影響和數(shù)據(jù)樣本外點對降維 的干擾，進一步提高了情感識別的精度;設(shè)置預(yù)定的多模態(tài)情感融合策略，并根據(jù)多模態(tài)情 感融合策略生成用戶情感識別結(jié)果，使識別結(jié)果更加可靠準(zhǔn)確。
[0061 ] 本應(yīng)用場景設(shè)定后驗概率權(quán)值為Qq= 1.4,識別精度相對提高了 12%。
[0062] 應(yīng)用場景2
[0063] 參見圖1、圖2,本應(yīng)用場景中的一個實施例的一種具有情感識別功能的智能家居， 其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè) 備包括:移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W 及多個第二智能家居硬件;所述移動終端通過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通 信;所述智能家居服務(wù)器集群包括多個功能服務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng) 絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服務(wù)器集群的數(shù)據(jù)交互；另一側(cè)通過多種不 同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬件相連接;所述第一智能家居硬件通過無 線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智 能家居硬件之間、所述第一智能家居硬件W及所述第二智能家居硬件之間的消息轉(zhuǎn)換，所 述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所述智能家居網(wǎng)關(guān)和所述無線路由器與所 述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0064] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[0065] 本優(yōu)選實施例通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家 居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路 由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
[0066] 優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0067] 本優(yōu)選實施例加快了通信速度。
[0068] 優(yōu)選地，所述智能控制系統(tǒng)包括語音情感識別處理模塊1、表情情感識別處理模塊 2、多模態(tài)情感融合識別處理模塊3和控制模塊4:
[0069] (1)語音情感識別處理模塊1，用于獲取用戶的語音信號，并對語音信號進行處理， 最終輸出語音情感識別結(jié)果，其包括聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12和語 音情感分類處理子模塊13;所述聲學(xué)特征提取子模塊11用于提取聲學(xué)特征數(shù)據(jù);所述聲學(xué) 特征降維子模塊12用于采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理； 所述語音情感分類處理子模塊13用于采用已訓(xùn)練好的支持向量機作為語音情感識別分類 器，對降維后的聲學(xué)特征數(shù)據(jù)進行情感識別并輸出語音情感識別結(jié)果，支持向量機的核函 數(shù)采用高斯核函數(shù)；
[0070] (2)表情情感識別處理模塊2,用于獲取用戶的表情圖像，并對表情圖像特征進行 處理，最終生成表情情感識別結(jié)果，其包括表情特征提取子模塊21、表情特征降維子模塊22 和表情情感分類處理子模塊23;所述表情特征提取子模塊21用于采用自適應(yīng)二維Gabor小 波變換方法對表情圖像中的表情特征進行提取;所述表情特征降維子模塊22用于采用所述 改進的局部線性嵌入方法對所述表情特征數(shù)據(jù)進行降維處理，并采用形態(tài)學(xué)處理方法做濾 波處理;所述表情情感分類處理子模塊23用于采用已訓(xùn)練好的稀疏分類器作為表情情感識 別分類器，對降維、濾波處理后的表情特征數(shù)據(jù)進行情感識別并輸出表情情感識別結(jié)果；
[0071] (3)多模態(tài)情感融合識別處理模塊3,用于基于所述語音情感識別結(jié)果和表情情感 識別結(jié)果，根據(jù)預(yù)定的多模態(tài)情感融合策略生成用戶情感識別結(jié)果；
[0072] (4)控制模塊，用于根據(jù)所述用戶情感識別結(jié)果，在驗證用戶身份的前提下控制智 能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0073] 本優(yōu)選實施例設(shè)置多模態(tài)情感融合識別處理模塊3,基于所述語音情感識別結(jié)果 和表情情感識別結(jié)果，增強了識別結(jié)果的可靠性。
[0074] 優(yōu)選地，所述用戶情感識別結(jié)果包括高級別和低級別的褒義情感，中性情感W及 高級別和低級別的貶義情感組成的5個級別情感類型。
[0075] 所述在驗證用戶身份的前提下控制智能家居設(shè)備執(zhí)行相應(yīng)的操作，具體為:所述 控制模炔基于預(yù)先設(shè)置的語音特征數(shù)據(jù)庫，匹配所述用戶的語音信號的語音特征，從而進 行用戶身份驗證，若驗證通過，控制模塊控制智能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0076] 所述采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理，包括：
[0077] (1)將提取的聲學(xué)特征數(shù)據(jù)中的聲學(xué)特征向量看成是高維空間中的樣本數(shù)據(jù)點， 設(shè)M維的N個樣本數(shù)據(jù)點為Xl，XlGRM，iG[l，N]，類別號為Cl，嵌入輸出的N個m維的降維數(shù)據(jù) 點為Yi，Yi G r，i G [ 1，N]，，且m值的范圍為[2，20]，對每個樣本數(shù)據(jù)點Xi確定其鄰域點 的數(shù)目K，鄰域點的距離公式為：
[007引
[0079] 式中，1/是結(jié)合樣本數(shù)據(jù)點類別信息計算后的距離，L是忽略樣本數(shù)據(jù)點類別信息 的原始歐氏距離，參數(shù)A用來防止L過快增長，max(L)表示最大歐氏距離，min化)表示最小歐 式距離，常數(shù)因子81、52(0《51、52《1)，共同控制距離計算時樣本數(shù)據(jù)點類別信息的結(jié)合數(shù) 量程度；
[0080] (2)利用每個樣本數(shù)據(jù)點Xi的鄰域點計算出樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WiJ, 要求最小化下列損失函數(shù)：
[0081]
[00劇式中，Wij為Xi與Xj之間的權(quán)值，且需滿盾
對Xi的非鄰域點，Wij = O;
[0083] (3)計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán)重之和：
[0084]
[0085]
[0086]
[0087] 式中，Zij為各鄰域點之間的加權(quán)矩陣，d(Xi，Xj)表示樣本數(shù)據(jù)點間的Fisher投影 距離，C為可調(diào)參數(shù)；
[0088] (4)利用該樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WuW及其鄰域點計算出該樣本數(shù)據(jù)點 的輸出值，具體是將所有的樣本數(shù)據(jù)點Xi映射嵌入到低維空間中，并使得低維重構(gòu)的誤差
達到最A(yù) -巧龍鳥/k從下方||脯生疏就.
[0089]
[0090] 一個稀疏矩陣M=(I-W)t(I- W)，通過求解運個稀疏矩陣的前m個最小的非零特征值所對應(yīng)的特征向量作為樣本數(shù)據(jù)點 Xi的嵌入輸出值。
[0091] 所述自適應(yīng)二維Gabor小波變換方法中的Gabor濾波器的核函數(shù)定義為：
[0092]
[0093] 式中，a、e分別表示核函數(shù)的方向和頻率大小，a、巧安照按如下方法設(shè)置：當(dāng)表情圖 像質(zhì)量較好時，選取S個中屯、頻率0 ={ 0，1，2巧P六個方向a ={0，1，…，引組成的18個Gabor 濾波器用于特征提取;當(dāng)表情圖像受到腐蝕、遮擋時，選取四個中屯、頻率0={〇，1…，3巧口八 個方向〇 = {0，1，…，7}組成的32個Gabor濾波器用于特征提?。?br>[0094] O表示采用高斯函數(shù)窗口的大小，用來決定濾波器的帶寬，O能夠根據(jù)參數(shù)設(shè)置進 行自適應(yīng)調(diào)整:將表情圖像分成V X V子塊，根據(jù)每個子塊特征數(shù)目選擇O，特征數(shù)目大的子 塊設(shè)定0 = n，特征數(shù)目少的子塊設(shè)定O =化；
[00巧]ka,e為小波矢量
竄中，ke和從分別表示Gabor濾波器在頻率和方向 空間的采樣方式。
[0096] 所述預(yù)定的多模態(tài)情感融合策略為：
[0097] 設(shè)已經(jīng)計算出一個測試樣本X對于C類的分類情況下，采用n個分類器進行分類得 到的后驗概率集合為{PU(X)，i = 1，2，…，n，j = 1，2，…，C}，對n個分類器取得的后驗概率按 照方差規(guī)則集成得到一個新的后驗概率集合{〇^^)〇 = 1，2^-，(：}，從中按照預(yù)定的挑選 規(guī)則挑選出合適的后驗概率值所對應(yīng)的類別作為要輸出的用戶情感識別結(jié)果；
[0098] 對于j類測試樣本，按照方差規(guī)則獲得的新的后驗概率^^)可表示為：
[0099]
[0100]
[0101]
[0102] 對于j類測試樣本，最終所獲得的識別類別可表示為：
[0103] p(x) =argmaxj(qj(x))
[0104] 其中，所述預(yù)定的挑選規(guī)則為:將所述新的后驗概率集合中的后驗概率值按照從 大到小順序進行排列的前3個后驗概率值為Qj ( X)max，Qj ( X )max-l，Qj ( X )max-2，若樹max <
蛋擇W(X)max作為合適的后驗概率值，否則選擇^(X)max-l作為 合適的后驗概率值，其中Qq為設(shè)定的后驗概率權(quán)值，取值范圍為[1.4，1.6 ]。
[0105] 本優(yōu)選實施例設(shè)置改進的局部線性嵌入方法，需要確定的參數(shù)比較少，只有鄰域 數(shù)k和輸出維數(shù)d，大大減少了運算量，且可W學(xué)習(xí)出任意維數(shù)的低維流形，提高了識別速 度;采用自適應(yīng)二維Gabor小波變換方法對表情圖像中的表情特征進行提取，具有旋轉(zhuǎn)、平 移W及伸縮變換條件下不變的性質(zhì)，而且能得到一個解析的全局最優(yōu)解;在聲學(xué)特征降維 子模塊12對聲學(xué)特征數(shù)據(jù)進行降維處理的過程中，計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán) 重之和，并將其考慮到低維重構(gòu)的損失函數(shù)中，降低了噪聲的影響和數(shù)據(jù)樣本外點對降維 的干擾，進一步提高了情感識別的精度;設(shè)置預(yù)定的多模態(tài)情感融合策略，并根據(jù)多模態(tài)情 感融合策略生成用戶情感識別結(jié)果，使識別結(jié)果更加可靠準(zhǔn)確。
[0106] 本應(yīng)用場景設(shè)定后驗概率權(quán)值為Qq=I .45,識別精度相對提高了 10 %。
[0107] 應(yīng)用場景3
[0108] 參見圖1、圖2,本應(yīng)用場景中的一個實施例的一種具有情感識別功能的智能家居， 其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè) 備包括:移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W 及多個第二智能家居硬件;所述移動終端通過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通 信;所述智能家居服務(wù)器集群包括多個功能服務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng) 絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服務(wù)器集群的數(shù)據(jù)交互；另一側(cè)通過多種不 同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬件相連接;所述第一智能家居硬件通過無 線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智 能家居硬件之間、所述第一智能家居硬件W及所述第二智能家居硬件之間的消息轉(zhuǎn)換，所 述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所述智能家居網(wǎng)關(guān)和所述無線路由器與所 述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0109] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[0110] 本優(yōu)選實施例通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家 居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路 由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
[0111] 優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0112] 本優(yōu)選實施例加快了通信速度。
[0113] 優(yōu)選地，所述智能控制系統(tǒng)包括語音情感識別處理模塊1、表情情感識別處理模塊 2、多模態(tài)情感融合識別處理模塊3和控制模塊4:
[0114] (1)語音情感識別處理模塊1，用于獲取用戶的語音信號，并對語音信號進行處理， 最終輸出語音情感識別結(jié)果，其包括聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12和語 音情感分類處理子模塊13;所述聲學(xué)特征提取子模塊11用于提取聲學(xué)特征數(shù)據(jù);所述聲學(xué) 特征降維子模塊12用于采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理； 所述語音情感分類處理子模塊13用于采用已訓(xùn)練好的支持向量機作為語音情感識別分類 器，對降維后的聲學(xué)特征數(shù)據(jù)進行情感識別并輸出語音情感識別結(jié)果，支持向量機的核函 數(shù)采用高斯核函數(shù)；
[0115] (2)表情情感識別處理模塊2,用于獲取用戶的表情圖像，并對表情圖像特征進行 處理，最終生成表情情感識別結(jié)果，其包括表情特征提取子模塊21、表情特征降維子模塊22 和表情情感分類處理子模塊23;所述表情特征提取子模塊21用于采用自適應(yīng)二維Gabor小 波變換方法對表情圖像中的表情特征進行提取;所述表情特征降維子模塊22用于采用所述 改進的局部線性嵌入方法對所述表情特征數(shù)據(jù)進行降維處理，并采用形態(tài)學(xué)處理方法做濾 波處理;所述表情情感分類處理子模塊23用于采用已訓(xùn)練好的稀疏分類器作為表情情感識 別分類器，對降維、濾波處理后的表情特征數(shù)據(jù)進行情感識別并輸出表情情感識別結(jié)果；
[0116] (3)多模態(tài)情感融合識別處理模塊3,用于基于所述語音情感識別結(jié)果和表情情感 識別結(jié)果，根據(jù)預(yù)定的多模態(tài)情感融合策略生成用戶情感識別結(jié)果；
[0117] (4)控制模塊，用于根據(jù)所述用戶情感識別結(jié)果，在驗證用戶身份的前提下控制智 能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0118] 本優(yōu)選實施例設(shè)置多模態(tài)情感融合識別處理模塊3,基于所述語音情感識別結(jié)果 和表情情感識別結(jié)果，增強了識別結(jié)果的可靠性。
[0119] 優(yōu)選地，所述用戶情感識別結(jié)果包括高級別和低級別的褒義情感，中性情感W及 高級別和低級別的貶義情感組成的5個級別情感類型。
[0120] 所述在驗證用戶身份的前提下控制智能家居設(shè)備執(zhí)行相應(yīng)的操作，具體為:所述 控制模炔基于預(yù)先設(shè)置的語音特征數(shù)據(jù)庫，匹配所述用戶的語音信號的語音特征，從而進 行用戶身份驗證，若驗證通過，控制模塊控制智能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0121] 所述采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理，包括：
[0122] (1)將提取的聲學(xué)特征數(shù)據(jù)中的聲學(xué)特征向量看成是高維空間中的樣本數(shù)據(jù)點， 設(shè)M維的N個樣本數(shù)據(jù)點為Xl，XlGRM，iG[l，N]，類別號為Cl，嵌入輸出的N個m維的降維數(shù)據(jù) 點為Yi，Yi G r，i G [ I，N]，，且m值的范圍為[2，20]，對每個樣本數(shù)據(jù)點Xi確定其鄰域點 的數(shù)目K，鄰域點的距離公式為：
[0123]
[0124] 式中，1/是結(jié)合樣本數(shù)據(jù)點類別信息計算后的距離，L是忽略樣本數(shù)據(jù)點類別信息 的原始歐氏距離，參數(shù)A用來防止L過快增長，max(L)表示最大歐氏距離，min化)表示最小歐 式距離，常數(shù)因子81、52(0《51、52《1)，共同控制距離計算時樣本數(shù)據(jù)點類別信息的結(jié)合數(shù) 量程度；
[0125] (2)利用每個樣本數(shù)據(jù)點Xi的鄰域點計算出樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WiJ, 要求最小化下列損失函數(shù)：
[0126]
[0127] 式中，Wij為Xi與Xj之間的權(quán)值，且需滿盾
，對Xi的非鄰域點，Wij = O;
[0128] (3)計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán)重之和：
[0129]
[0130]
[0131]
[0132] 式中，Zu為各鄰域點之間的加權(quán)矩陣，d(Xi，Xj)表示樣本數(shù)據(jù)點間的Fisher投影 距離，C為可調(diào)參數(shù)；
[0133] (4)利用該樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WuW及其鄰域點計算出該樣本數(shù)據(jù)點 的輸出值，具體是將所有的樣本數(shù)據(jù)點Xi映射嵌入到低維空間中，并使得低維重構(gòu)的誤差 達到最小，要求最小化下列損失函數(shù)：
[0134]
[0135] 一個稀疏矩陣 M=(I-W)t(I- W)，通過求解運個稀疏矩陣的前m個最小的非零特征值所對應(yīng)的特征向量作為樣本數(shù)據(jù)點 Xi的嵌入輸出值。
[0136]所述自適應(yīng)二維Gabor小波變換方法中的Gabor濾波器的核函數(shù)定義為：
[0137]
[0138] 巧中，a、P分別表不核幽數(shù)的萬問和頻率大小，a、巧安照按如下方法設(shè)置：當(dāng)表情圖 像質(zhì)量較好時，選取S個中屯、頻率0 ={ 0，1，2巧P六個方向a={〇，l，…，引組成的18個Gabor 濾波器用于特征提取;當(dāng)表情圖像受到腐蝕、遮擋時，選取四個中屯、頻率0={〇，1…，3巧口八 個方向〇 = {0，1，…，7}組成的32個Gabor濾波器用于特征提??；
[0139] O表示采用高斯函數(shù)窗口的大小，用來決定濾波器的帶寬，O能夠根據(jù)參數(shù)設(shè)置進 行自適應(yīng)調(diào)整:將表情圖像分成V X V子塊，根據(jù)每個子塊特征數(shù)目選擇O，特征數(shù)目大的子 塊設(shè)定O = n，特征數(shù)目少的子塊設(shè)定O =化；
[0140] ka,e為小波矢量，
其中，ke和餐a分別表示Gabor濾波器在頻率和方向 空間的采樣方式。
[0141] 所述預(yù)定的多模態(tài)情感融合策略為：
[0142] 設(shè)已經(jīng)計算出一個測試樣本X對于C類的分類情況下，采用n個分類器進行分類得 到的后驗概率集合為{PU(X)，i = 1，2，…，n，j = 1，2，…，C}，對n個分類器取得的后驗概率按 照方差規(guī)則集成得到一個新的后驗概率集合{〇^^)〇 = 1，2^-，(：}，從中按照預(yù)定的挑選 規(guī)則挑選出合適的后驗概率值所對應(yīng)的類別作為要輸出的用戶情感識別結(jié)果；
[0143] 對于j類測試樣本，按照方差規(guī)則獲得的新的后驗概率^^)可表示為：
[0144]
[0145]
[0146]
[0147] 對于j類測試樣本，最終所獲得的識別類別可表示為：
[014 引 P(X) =argmaxj(qj(x))
[0149] 其中，所述預(yù)定的挑選規(guī)則為:將所述新的后驗概率集合中的后驗概率值按照從 大到小順序進行排列的前3個后驗概率值為Qj ( X)max，Qj ( X )max-l，Qj ( X )max-2，若斯的m化<
選擇qj ( X )max作為合適的后驗概率值，否則選擇qj ( X )max-l作為 合適的后驗概率值，其中Qq為設(shè)定的后驗概率權(quán)值，取值范圍為[1.4，1.6 ]。
[0150] 本優(yōu)選實施例設(shè)置改進的局部線性嵌入方法，需要確定的參數(shù)比較少，只有鄰域 數(shù)k和輸出維數(shù)d，大大減少了運算量，且可W學(xué)習(xí)出任意維數(shù)的低維流形，提高了識別速 度;采用自適應(yīng)二維Gabor小波變換方法對表情圖像中的表情特征進行提取，具有旋轉(zhuǎn)、平 移W及伸縮變換條件下不變的性質(zhì)，而且能得到一個解析的全局最優(yōu)解;在聲學(xué)特征降維 子模塊12對聲學(xué)特征數(shù)據(jù)進行降維處理的過程中，計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán) 重之和，并將其考慮到低維重構(gòu)的損失函數(shù)中，降低了噪聲的影響和數(shù)據(jù)樣本外點對降維 的干擾，進一步提高了情感識別的精度;設(shè)置預(yù)定的多模態(tài)情感融合策略，并根據(jù)多模態(tài)情 感融合策略生成用戶情感識別結(jié)果，使識別結(jié)果更加可靠準(zhǔn)確。
[0151] 本應(yīng)用場景設(shè)定后驗概率權(quán)值為Qq= 1.5，識別精度相對提高了 15 %。
[0152] 應(yīng)用場景4
[0153] 參見圖1、圖2,本應(yīng)用場景中的一個實施例的一種具有情感識別功能的智能家居， 其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè) 備包括:移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W 及多個第二智能家居硬件;所述移動終端通過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通 信;所述智能家居服務(wù)器集群包括多個功能服務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng) 絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服務(wù)器集群的數(shù)據(jù)交互；另一側(cè)通過多種不 同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬件相連接;所述第一智能家居硬件通過無 線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智 能家居硬件之間、所述第一智能家居硬件W及所述第二智能家居硬件之間的消息轉(zhuǎn)換，所 述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所述智能家居網(wǎng)關(guān)和所述無線路由器與所 述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0154] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[0155] 本優(yōu)選實施例通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家 居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路 由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
[0156] 優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0157] 本優(yōu)選實施例加快了通信速度。
[0158] 優(yōu)選地，所述智能控制系統(tǒng)包括語音情感識別處理模塊1、表情情感識別處理模塊 2、多模態(tài)情感融合識別處理模塊3和控制模塊4:
[0159] (1)語音情感識別處理模塊1，用于獲取用戶的語音信號，并對語音信號進行處理， 最終輸出語音情感識別結(jié)果，其包括聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12和語 音情感分類處理子模塊13;所述聲學(xué)特征提取子模塊11用于提取聲學(xué)特征數(shù)據(jù);所述聲學(xué) 特征降維子模塊12用于采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理； 所述語音情感分類處理子模塊13用于采用已訓(xùn)練好的支持向量機作為語音情感識別分類 器，對降維后的聲學(xué)特征數(shù)據(jù)進行情感識別并輸出語音情感識別結(jié)果，支持向量機的核函 數(shù)采用高斯核函數(shù)；
[0160] (2)表情情感識別處理模塊2,用于獲取用戶的表情圖像，并對表情圖像特征進行 處理，最終生成表情情感識別結(jié)果，其包括表情特征提取子模塊21、表情特征降維子模塊22 和表情情感分類處理子模塊23;所述表情特征提取子模塊21用于采用自適應(yīng)二維Gabor小 波變換方法對表情圖像中的表情特征進行提取;所述表情特征降維子模塊22用于采用所述 改進的局部線性嵌入方法對所述表情特征數(shù)據(jù)進行降維處理，并采用形態(tài)學(xué)處理方法做濾 波處理;所述表情情感分類處理子模塊23用于采用已訓(xùn)練好的稀疏分類器作為表情情感識 別分類器，對降維、濾波處理后的表情特征數(shù)據(jù)進行情感識別并輸出表情情感識別結(jié)果；
[0161] (3)多模態(tài)情感融合識別處理模塊3,用于基于所述語音情感識別結(jié)果和表情情感 識別結(jié)果，根據(jù)預(yù)定的多模態(tài)情感融合策略生成用戶情感識別結(jié)果；
[0162] (4)控制模塊，用于根據(jù)所述用戶情感識別結(jié)果，在驗證用戶身份的前提下控制智 能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0163] 本優(yōu)選實施例設(shè)置多模態(tài)情感融合識別處理模塊3,基于所述語音情感識別結(jié)果 和表情情感識別結(jié)果，增強了識別結(jié)果的可靠性。
[0164] 優(yōu)選地，所述用戶情感識別結(jié)果包括高級別和低級別的褒義情感，中性情感W及 高級別和低級別的貶義情感組成的5個級別情感類型。
[0165] 所述在驗證用戶身份的前提下控制智能家居設(shè)備執(zhí)行相應(yīng)的操作，具體為:所述 控制模炔基于預(yù)先設(shè)置的語音特征數(shù)據(jù)庫，匹配所述用戶的語音信號的語音特征，從而進 行用戶身份驗證，若驗證通過，控制模塊控制智能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0166] 所述采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理，包括：
[0167] (1)將提取的聲學(xué)特征數(shù)據(jù)中的聲學(xué)特征向量看成是高維空間中的樣本數(shù)據(jù)點， 設(shè)M維的N個樣本數(shù)據(jù)點為Xl，XlGRM，iG[l，N]，類別號為Cl，嵌入輸出的N個m維的降維數(shù)據(jù) 點為Yi，Yi G r，i G [ 1，N]，，且m值的范圍為[2，20]，對每個樣本數(shù)據(jù)點Xi確定其鄰域點 的數(shù)目K，鄰域點的距離公式為：
[016 引
[0169] 式中，1/是結(jié)合樣本數(shù)據(jù)點類別信息計算后的距離，L是忽略樣本數(shù)據(jù)點類別信息 的原始歐氏距離，參數(shù)A用來防止L過快增長，max(L)表示最大歐氏距離，min化)表示最小歐 式距離，常數(shù)因子81、52(0《51、52《1)，共同控制距離計算時樣本數(shù)據(jù)點類別信息的結(jié)合數(shù) 量程度；
[0170] (2)利用每個樣本數(shù)據(jù)點Xi的鄰域點計算出樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WiJ, 要求最小化下列損失函數(shù)：
[0171]
[OW] 式中，Wij為Xi與Xj之間的權(quán)值，且需滿盾
耐Xi的非鄰域點，Wij = O;
[0173] (3)計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán)重之和：
[0174]
[0175]
[0176]
[0177] 式中，Zij為各鄰域點之間的加權(quán)矩陣，d(Xi，Xj)表示樣本數(shù)據(jù)點間的Fisher投影 距離，C為可調(diào)參數(shù)；
[0178] (4)利用該樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WuW及其鄰域點計算出該樣本數(shù)據(jù)點 的輸出值，具體是將所有的樣本數(shù)據(jù)點Xi映射嵌入到低維空間中，并使得低維重構(gòu)的誤差 達到最小，要求最小化下列損失函數(shù)：
[0179]
[0180] -個稀疏矩陣M=(I-W)T(I- W)，通過求解運個稀疏矩陣的前m個最小的非零特征值所對應(yīng)的特征向量作為樣本數(shù)據(jù)點 Xi的嵌入輸出值。
[0181] 所述自適應(yīng)二維Gabor小波變換方法中的Gabor濾波器的核函數(shù)定義為：
[0182]
[0183] 式中，a、e分別表示核函數(shù)的方向和頻率大小，a、巧安照按如下方法設(shè)置：當(dāng)表情圖 像質(zhì)量較好時，選取S個中屯、頻率0 ={ 0，1，2巧P六個方向a ={0，1，…，引組成的18個Gabor 濾波器用于特征提取;當(dāng)表情圖像受到腐蝕、遮擋時，選取四個中屯、頻率0={〇，1…，3巧口八 個方向〇 = {0，1，…，7}組成的32個Gabor濾波器用于特征提取；
[0184] O表示采用高斯函數(shù)窗口的大小，用來決定濾波器的帶寬，O能夠根據(jù)參數(shù)設(shè)置進 行自適應(yīng)調(diào)整:將表情圖像分成V X V子塊，根據(jù)每個子塊特征數(shù)目選擇O，特征數(shù)目大的子 塊設(shè)定〇 = n，特征數(shù)目少的子塊設(shè)定O =化；
[01化]ka,e為小波矢量，二吟eW"，其中，ke和巧《分別表不Gabor濾波器在頻率和方向 空間的采樣方式。
[0186] 所述預(yù)定的多模態(tài)情感融合策略為：
[0187] 設(shè)已經(jīng)計算出一個測試樣本X對于C類的分類情況下，采用n個分類器進行分類得 到的后驗概率集合為{PU(X)，i = 1，2，…，n，j = 1，2，…，C}，對n個分類器取得的后驗概率按 照方差規(guī)則集成得到一個新的后驗概率集合{〇^^)〇 = 1，2^-，(：}，從中按照預(yù)定的挑選 規(guī)則挑選出合適的后驗概率值所對應(yīng)的類別作為要輸出的用戶情感識別結(jié)果；
[0188] 對于j類測試樣本，按照方差規(guī)則獲得的新的后驗概率^^)可表示為：
[0189]
[0190]
[0191]
[0192] 對于j類測試樣本，最終所獲得的識別類別可表示為：
[0193] p(x) =argmaxj(qj(x))
[0194] 其中，所述預(yù)定的挑選規(guī)則為:將所述新的后驗概率集合中的后驗概率值按照從 大到小順序進行排列的前3個后驗概率值為(1如)。3、，9如)。3、-1，9如)。3^，若9./樹鼠、'<
.選擇W(X)max作為合適的后驗概率值，否則選擇^(X)max-l作為 合適的后驗概率值，其中Qq為設(shè)定的后驗概率權(quán)值，取值范圍為[1.4，1.6 ]。
[01%]本優(yōu)選實施例設(shè)置改進的局部線性嵌入方法，需要確定的參數(shù)比較少，只有鄰域 數(shù)k和輸出維數(shù)d，大大減少了運算量，且可W學(xué)習(xí)出任意維數(shù)的低維流形，提高了識別速 度;采用自適應(yīng)二維Gabor小波變換方法對表情圖像中的表情特征進行提取，具有旋轉(zhuǎn)、平 移W及伸縮變換條件下不變的性質(zhì)，而且能得到一個解析的全局最優(yōu)解;在聲學(xué)特征降維 子模塊12對聲學(xué)特征數(shù)據(jù)進行降維處理的過程中，計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán) 重之和，并將其考慮到低維重構(gòu)的損失函數(shù)中，降低了噪聲的影響和數(shù)據(jù)樣本外點對降維 的干擾，進一步提高了情感識別的精度;設(shè)置預(yù)定的多模態(tài)情感融合策略，并根據(jù)多模態(tài)情 感融合策略生成用戶情感識別結(jié)果，使識別結(jié)果更加可靠準(zhǔn)確。
[0196] 本應(yīng)用場景設(shè)定后驗概率權(quán)值為Qq= 1.55，識別精度相對提高了 10 %。
[0197] 應(yīng)用場景5
[0198] 參見圖1、圖2,本應(yīng)用場景中的一個實施例的一種具有情感識別功能的智能家居， 其特征是，包括智能家居設(shè)備和控制智能家居設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè) 備包括:移動終端、智能家居服務(wù)器集群、無線路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件W 及多個第二智能家居硬件;所述移動終端通過互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通 信;所述智能家居服務(wù)器集群包括多個功能服務(wù)器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng) 絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服務(wù)器集群的數(shù)據(jù)交互；另一側(cè)通過多種不 同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬件相連接;所述第一智能家居硬件通過無 線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智 能家居硬件之間、所述第一智能家居硬件W及所述第二智能家居硬件之間的消息轉(zhuǎn)換，所 述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所述智能家居網(wǎng)關(guān)和所述無線路由器與所 述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。
[0199] 優(yōu)選地，所述第一智能家居硬件包括:通過ZigBee通信協(xié)議、Z-Wave、化read通信 協(xié)議、藍牙或自定義通信協(xié)議接入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。
[0200] 本優(yōu)選實施例通過引入數(shù)據(jù)透傳技術(shù)，能夠?qū)⑹褂貌煌锫?lián)網(wǎng)通信協(xié)議的智能家 居硬件共融于一個智能家居系統(tǒng)里，還能夠?qū)燧d于智能網(wǎng)關(guān)下的智能家居硬件與無線路 由器直連的智能家居硬件進行交互，兼容性大幅提高，擴大了智能家居系統(tǒng)的硬件規(guī)模。
[0201] 優(yōu)選地，所述移動終端通過APP訪問或加載化ml5頁面與所述智能家居服務(wù)器集群 進行通信。
[0202] 本優(yōu)選實施例加快了通信速度。
[0203] 優(yōu)選地，所述智能控制系統(tǒng)包括語音情感識別處理模塊1、表情情感識別處理模塊 2、多模態(tài)情感融合識別處理模塊3和控制模塊4:
[0204] (1)語音情感識別處理模塊1，用于獲取用戶的語音信號，并對語音信號進行處理， 最終輸出語音情感識別結(jié)果，其包括聲學(xué)特征提取子模塊11、聲學(xué)特征降維子模塊12和語 音情感分類處理子模塊13;所述聲學(xué)特征提取子模塊11用于提取聲學(xué)特征數(shù)據(jù);所述聲學(xué) 特征降維子模塊12用于采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理； 所述語音情感分類處理子模塊13用于采用已訓(xùn)練好的支持向量機作為語音情感識別分類 器，對降維后的聲學(xué)特征數(shù)據(jù)進行情感識別并輸出語音情感識別結(jié)果，支持向量機的核函 數(shù)采用高斯核函數(shù)；
[0205] (2)表情情感識別處理模塊2,用于獲取用戶的表情圖像，并對表情圖像特征進行 處理，最終生成表情情感識別結(jié)果，其包括表情特征提取子模塊21、表情特征降維子模塊22 和表情情感分類處理子模塊23;所述表情特征提取子模塊21用于采用自適應(yīng)二維Gabor小 波變換方法對表情圖像中的表情特征進行提取;所述表情特征降維子模塊22用于采用所述 改進的局部線性嵌入方法對所述表情特征數(shù)據(jù)進行降維處理，并采用形態(tài)學(xué)處理方法做濾 波處理;所述表情情感分類處理子模塊23用于采用已訓(xùn)練好的稀疏分類器作為表情情感識 別分類器，對降維、濾波處理后的表情特征數(shù)據(jù)進行情感識別并輸出表情情感識別結(jié)果；
[0206] (3)多模態(tài)情感融合識別處理模塊3,用于基于所述語音情感識別結(jié)果和表情情感 識別結(jié)果，根據(jù)預(yù)定的多模態(tài)情感融合策略生成用戶情感識別結(jié)果；
[0207] (4)控制模塊，用于根據(jù)所述用戶情感識別結(jié)果，在驗證用戶身份的前提下控制智 能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0208] 本優(yōu)選實施例設(shè)置多模態(tài)情感融合識別處理模塊3,基于所述語音情感識別結(jié)果 和表情情感識別結(jié)果，增強了識別結(jié)果的可靠性。
[0209] 優(yōu)選地，所述用戶情感識別結(jié)果包括高級別和低級別的褒義情感，中性情感W及 高級別和低級別的貶義情感組成的5個級別情感類型。
[0210] 所述在驗證用戶身份的前提下控制智能家居設(shè)備執(zhí)行相應(yīng)的操作，具體為:所述 控制模炔基于預(yù)先設(shè)置的語音特征數(shù)據(jù)庫，匹配所述用戶的語音信號的語音特征，從而進 行用戶身份驗證，若驗證通過，控制模塊控制智能家居設(shè)備執(zhí)行相應(yīng)的操作。
[0211] 所述采用改進的局部線性嵌入方法對所述聲學(xué)特征數(shù)據(jù)進行降維處理，包括：
[0212] (1)將提取的聲學(xué)特征數(shù)據(jù)中的聲學(xué)特征向量看成是高維空間中的樣本數(shù)據(jù)點， 設(shè)M維的N個樣本數(shù)據(jù)點為Xl，XlGRM，iG[l，N]，類別號為Cl，嵌入輸出的N個m維的降維數(shù)據(jù) 點為Yi，Yi G r，i G [ 1，N]，，且m值的范圍為[2，20]，對每個樣本數(shù)據(jù)點Xi確定其鄰域點 的數(shù)目K，鄰域點的距離公式為：
[0213]
[0214] 式中，1/是結(jié)合樣本數(shù)據(jù)點類別信息計算后的距離，L是忽略樣本數(shù)據(jù)點類別信息 的原始歐氏距離，參數(shù)A用來防止L過快增長，max(L)表示最大歐氏距離，min化)表示最小歐 式距離，常數(shù)因子81、52(0《51、52《1)，共同控制距離計算時樣本數(shù)據(jù)點類別信息的結(jié)合數(shù) 量程度；
[0215] (2)利用每個樣本數(shù)據(jù)點Xi的鄰域點計算出樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WiJ, 要求最小化下列損失函數(shù)：
[0216]
[0217] 式中，Wij為乂1與、之間的權(quán)值，且需滿足
巧Xi的非鄰域點，Wij = O;
[021引（3)計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán)重之和：
[0219]
[0220]
[0221]
[0222] 式中，Zi^各鄰域點之間的加權(quán)矩陣，d(Xi山）表示樣本數(shù)據(jù)點間的Fisher投影 距離，C為可調(diào)參數(shù)；
[0223] (4)利用該樣本數(shù)據(jù)點的局部重建權(quán)值矩陣WuW及其鄰域點計算出該樣本數(shù)據(jù)點 的輸出值，具體是將所有的樣本數(shù)據(jù)點Xi映射嵌入到低維空間中，并使得低維重構(gòu)的誤差
[0224] 達到最小，要求最小化下列損失函數(shù)：
[02巧] 一個稀疏矩陣M=(I-W)t(I- W)，通過求解運個稀疏矩陣的前m個最小的非零特征值所對應(yīng)的特征向量作為樣本數(shù)據(jù)點 Xi的嵌入輸出值。
[0。6]所述自適應(yīng)二維Gabor小波變換方法中的Gabor濾波器的核函數(shù)定義為：
[0227]
[0。8]式中，a、e分別表示核函數(shù)的方向和頻率大小，a、巧安照按如下方法設(shè)置：當(dāng)表情圖 像質(zhì)量較好時，選取S個中屯、頻率0 ={ 0，1，2巧P六個方向a = {〇，l，…，引組成的18個Gabor 濾波器用于特征提取;當(dāng)表情圖像受到腐蝕、遮擋時，選取四個中屯、頻率0={〇，1…，3巧口八 個方向〇 = {0，1，…，7}組成的32個Gabor濾波器用于特征提??；
[0229] O表示采用高斯函數(shù)窗口的大小，用來決定濾波器的帶寬，O能夠根據(jù)參數(shù)設(shè)置進 行自適應(yīng)調(diào)整:將表情圖像分成V X V子塊，根據(jù)每個子塊特征數(shù)目選擇O，特征數(shù)目大的子 塊設(shè)定O = n，特征數(shù)目少的子塊設(shè)定O =化；
[0230] ka,e為小波矢量
，其中，4神映&分別表示Gabor濾波器在頻率和方向 空間的采樣方式。
[0231 ]所述預(yù)定的多模態(tài)情感融合策略為：
[0232] 設(shè)已經(jīng)計算出一個測試樣本X對于C類的分類情況下，采用n個分類器進行分類得 到的后驗概率集合為{PU(X)，i = 1，2，…，n，j = 1，2，…，C}，對n個分類器取得的后驗概率按 照方差規(guī)則集成得到一個新的后驗概率集合{〇^^)〇 = 1，2^-，(：}，從中按照預(yù)定的挑選 規(guī)則挑選出合適的后驗概率值所對應(yīng)的類別作為要輸出的用戶情感識別結(jié)果；
[0233] W辛1?米》1^才化+拉瞄韋單加 mil化化嗎新的后驗概率Qj(X)可表示為：
[0234]
[0235]
[0236]
[0237] 對于j類測試樣本，最終所獲得的識別類別可表示為：
[023引 P(X) =argmaxj(qj(x))
[0239]其中，所述預(yù)定的挑選規(guī)則為:將所述新的后驗概率集合中的后驗概率值按照從 大到小順序進行排列的前3個后驗概率值為qj(x)max，qj(X)max-l，qj(X)max-2，若9_/的饑妨' <
封軍qj ( X )max作為合適的后驗概率值，否則選擇qj ( X )max-l作為 曾姐的后驗概準(zhǔn)但，其甲斯刃設(shè)定的后驗概率權(quán)值，取值范圍為[1.4，1.6 ]。
[0240] 本優(yōu)選實施例設(shè)置改進的局部線性嵌入方法，需要確定的參數(shù)比較少，只有鄰域 數(shù)k和輸出維數(shù)d，大大減少了運算量，且可W學(xué)習(xí)出任意維數(shù)的低維流形，提高了識別速 度;采用自適應(yīng)二維Gabor小波變換方法對表情圖像中的表情特征進行提取，具有旋轉(zhuǎn)、平 移W及伸縮變換條件下不變的性質(zhì)，而且能得到一個解析的全局最優(yōu)解;在聲學(xué)特征降維 子模塊12對聲學(xué)特征數(shù)據(jù)進行降維處理的過程中，計算各樣本數(shù)據(jù)點Xi的K個鄰域點的權(quán) 重之和，并將其考慮到低維重構(gòu)的損失函數(shù)中，降低了噪聲的影響和數(shù)據(jù)樣本外點對降維 的干擾，進一步提高了情感識別的精度;設(shè)置預(yù)定的多模態(tài)情感融合策略，并根據(jù)多模態(tài)情 感融合策略生成用戶情感識別結(jié)果，使識別結(jié)果更加可靠準(zhǔn)確。
[0241] 本應(yīng)用場景設(shè)定后驗概率權(quán)值為Qq=I.6,識別精度相對提高了 8%。
[0242] 最后應(yīng)當(dāng)說明的是，W上實施例僅用W說明本發(fā)明的技術(shù)方案，而非對本發(fā)明保 護范圍的限制，盡管參照較佳實施例對本發(fā)明作了詳細地說明，本領(lǐng)域的普通技術(shù)人員應(yīng) 當(dāng)理解，可W對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的實 質(zhì)和范圍。
【主權(quán)項】
1. 一種具有情感識別功能的智能家居，其特征是，包括智能家居設(shè)備和控制智能家居 設(shè)備運作的智能控制系統(tǒng)，所述智能家居設(shè)備包括:移動終端、智能家居服務(wù)器集群、無線 路由器、智能家居網(wǎng)關(guān)、第一智能家居硬件以及多個第二智能家居硬件;所述移動終端通過 互聯(lián)網(wǎng)與所述智能家居服務(wù)器集群進行通信;所述智能家居服務(wù)器集群包括多個功能服務(wù) 器;所述智能家居網(wǎng)關(guān)的一側(cè)通過無線網(wǎng)絡(luò)連接所述無線路由器，實現(xiàn)與所述智能家居服 務(wù)器集群的數(shù)據(jù)交互;另一側(cè)通過多種不同物聯(lián)網(wǎng)通信協(xié)議分別與各所述第二智能家居硬 件相連接;所述第一智能家居硬件通過無線網(wǎng)絡(luò)直接與所述無線路由器相連;所述智能家 居網(wǎng)關(guān)支持不同物聯(lián)網(wǎng)通信協(xié)議的第二智能家居硬件之間、所述第一智能家居硬件以及所 述第二智能家居硬件之間的消息轉(zhuǎn)換，所述智能家居網(wǎng)關(guān)所轄的第二智能家居硬件通過所 述智能家居網(wǎng)關(guān)和所述無線路由器與所述第一智能家居硬件實現(xiàn)數(shù)據(jù)交互。2. 根據(jù)權(quán)利要求1所述的一種具有情感識別功能的智能家居，其特征是，所述第一智能 家居硬件包括:通過ZigBee通信協(xié)議、Z-Wa Ve、Thread通信協(xié)議、藍牙或自定義通信協(xié)議接 入所述智能家居網(wǎng)關(guān)的多個智能家居硬件。3. 根據(jù)權(quán)利要求2所述的一種具有情感識別功能的智能家居，其特征是，所述移動終端 通過APP訪問或加載Html5頁面與所述智能家居服務(wù)器集群進行通信。
【文檔編號】G05B15/02GK106019973SQ201610616542
【公開日】2016年10月12日
【申請日】2016年7月30日
【發(fā)明人】不公告發(fā)明人
【申請人】楊超坤