一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法
【專利摘要】本發(fā)明公開了一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，首先根據(jù)數(shù)據(jù)場理論，利用情感數(shù)據(jù)場中勢函數(shù)建立不同語音情感特征向量之間的聯(lián)系；其次，在短時間上選取多個語音情感特征向量，用群體智能算法在情感數(shù)據(jù)場中研究各語音情感特征向量的變化趨勢，將這種變化趨勢作為語音情感的識別結(jié)果。實驗表明，本發(fā)明的方法可以有效的解決語音情感識別中存在的情感跟蹤延遲問題并有效預測說話人情感的變化。
【專利說明】一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種語音情感預測方法，特別涉及一種對情感變化連續(xù)語音的基于情 感數(shù)據(jù)場的情感預測算法。

【背景技術(shù)】
[0002] 語音情感識別是人機智能化交互的一個重要研究領(lǐng)域，已有許多研究機構(gòu)致力于 該領(lǐng)域的研究。然而目前語音情感識別處理的對象往往局限于語料庫中已分割好的短句， 例如丹麥情感語音數(shù)據(jù)庫（DES)、柏林情感語音數(shù)據(jù)庫等，并且對語料庫的語音情感識別已 經(jīng)能夠獲得比較高的識別率。但是在現(xiàn)實生活中，人們的情感表達和狀態(tài)是一個連續(xù)變化 的過程。實用語音情感識別系統(tǒng)要求處理的對象應該是未分割成短句的實時采集的連續(xù)情 感語音。例如在電話服務中心，實用語音情感識別系統(tǒng)要能夠預測和識別服務人員的情緒 變化，預防對客戶的不友好態(tài)度；航天、航空等特殊領(lǐng)域需要實時識別操作人員情感狀態(tài)的 變化，避免不必要的事故發(fā)生等。目前傳統(tǒng)的語音情感識別方法都是孤立地考慮統(tǒng)計特征 的情感特征向量，存在情感跟蹤延遲或者不能及時識別情感的變化的問題，故無法實現(xiàn)對 連續(xù)語音的情感預測。


【發(fā)明內(nèi)容】

[0003] 要解決的技術(shù)問題：針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于情感數(shù)據(jù)場的連 續(xù)語音情感預測算法，解決現(xiàn)有技術(shù)的語音情感識別方法對連續(xù)語音的情感預測存跟蹤延 遲，無法實現(xiàn)對連續(xù)語音進行情感預測。
[0004] 技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：
[0005] -種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，獲取訓練樣本的語音情感特征 向量，利用語音情感特征向量作為數(shù)據(jù)構(gòu)成情感數(shù)據(jù)場以形成語音情感特征空間，情感數(shù) 據(jù)場中的勢函數(shù)建立起不同語音情感特征向量之間的聯(lián)系；在進行情感預測時，等間隔的 對測試樣本采集語音情感特征向量，判斷語音情感是否發(fā)生變化，若未發(fā)生變化則返回重 新獲取下一時刻的語音情感特征向量并判斷，若語音情感發(fā)生變化則等間隔的選取語音情 感特征向量，利用TSP蟻群算法中的多個螞蟻分別一一對應模擬選取出來的多個語音情感 特征向量，利用TSP蟻群算法中的多個城市分別一一對應模擬多個語音情感的類型，在情 感數(shù)據(jù)場中計算每種語音情感的類型在選取出來的多個情感特征向量處產(chǎn)生的勢值大小， 選擇勢值中最大的一個所對應的語音情感的類型即為預測語音情感變化后的情感類型。
[0006] 具體的，在本發(fā)明中，包括順序執(zhí)行的以下步驟：
[0007] (1)、建立情感數(shù)據(jù)場
[0008] 首先求取訓練樣本中類屬于各種情感類別的語音情感特征向量，將這些語音情感 特征向量進行特征規(guī)范化后作為數(shù)據(jù)點構(gòu)成情感數(shù)據(jù)場，其中類屬于不同情感類別的數(shù)據(jù) 點分布在情感數(shù)據(jù)場中不同的區(qū)域，然后建立情感數(shù)據(jù)場中的勢函數(shù)，則情感數(shù)據(jù)場中任 一語音情感特征向量X的位勢即勢函數(shù)值如下
[0009]

【權(quán)利要求】
1. 一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，其特征在于：獲取訓練樣本的語 音情感特征向量，利用語音情感特征向量作為數(shù)據(jù)構(gòu)成情感數(shù)據(jù)場以形成語音情感特征空 間，情感數(shù)據(jù)場中的勢函數(shù)建立起不同語音情感特征向量之間的聯(lián)系；在進行情感預測時， 等間隔的對測試樣本采集語音情感特征向量，判斷語音情感是否發(fā)生變化，若未發(fā)生變化 則返回重新獲取下一時刻的語音情感特征向量并判斷，若語音情感發(fā)生變化則等間隔的選 取語音情感特征向量，利用TSP蟻群算法中的多個螞蟻分別一一對應模擬選取出來的多個 語音情感特征向量，利用TSP蟻群算法中的多個城市分別一一對應模擬多個語音情感的類 型，在情感數(shù)據(jù)場中計算每種語音情感的類型在選取出來的多個情感特征向量處產(chǎn)生的勢 值大小，選擇勢值中最大的一個所對應的語音情感的類型即為預測語音情感變化后的情感 類型。
2. 根據(jù)權(quán)利要求1所述的一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，其特征在 于：包括順序執(zhí)行的以下步驟： (1) 、建立情感數(shù)據(jù)場 首先求取訓練樣本中屬于各種情感類別的語音情感特征向量，將這些語音情感特征向 量進行特征規(guī)范化后作為數(shù)據(jù)點構(gòu)成情感數(shù)據(jù)場，其中屬于不同情感類別的數(shù)據(jù)點分布在 情感數(shù)據(jù)場中不同的區(qū)域，然后建立情感數(shù)據(jù)場中的勢函數(shù)，則情感數(shù)據(jù)場中任一語音情 感特征向量X的位勢即勢函數(shù)值如下
式中D表示同類情感訓練樣本的語音情感特征向量的集合； f (x, Xi) = exp {- (x-Xi)τ Σ(x-x^ } 其中： Σ表示訓練樣本的語音情感特征向量組成的協(xié)方差矩陣，Σ =E[X-E(X)][X-E(X)T]; T表示轉(zhuǎn)置矩陣； X表示待求位勢的樣本的語音情感特征向量； Xi表示訓練樣本i的語音情感特征向量； (2) 、利用情感數(shù)據(jù)場對情感變化的語音進行預測和識別 步驟2-1、進行預測和識別時，依據(jù)已建立的情感數(shù)據(jù)場判別當前時刻的語音情感類 型，將判斷結(jié)果作為基本情感，基本情感的中心為; 步驟2-2、確定對測試樣本的分析間隔，然后在預測和識別情感的時刻開始之前的Is 或者2s內(nèi)等間隔采集語音情感特征向量； 步驟2-3、利用情感數(shù)據(jù)場判別語音情感是否發(fā)生變化，具體方法如下：當預測和識別 情感的時刻，屬于第i類情感的語音情感特征向量X滿足X > R( ω i，DO，則判斷預測和識 別情感的時刻的語音情感相對于基本情感發(fā)生語音情感變化， 其中，
上述不等式中，表達式
>表示第i類情感的樣本Di中位勢值最小的樣 本點，表達式，表示第i類情感的樣本Di中距離基本情感的中心％最遠樣 本點； 步驟2-4、若判定為連續(xù)的語音情感，則返回步驟2-1 ; 若判定為語音情感發(fā)生變化，則進入步驟2-5 ; 步驟2-5、預測變化后的語音情感 利用TSP蟻群算法中的螞蟻模擬步驟2-2中采集到的語音情感特征向量，利用TSP蟻 群算法中的城市模擬語音情感的類型，在情感數(shù)據(jù)場中根據(jù)式：
計算每種 語音情感的類型在選取出來的語音情感特征向量處產(chǎn)生的勢值大小，選擇勢值中最大的一 個所對應的語音情感的類型即為預測語音情感變化后的情感類型。
3. 根據(jù)權(quán)利要求2所述的一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，其特征在 于：語音情感特征向量的求取過程包括以下步驟： 首先提取基頻、均方根短時能量、過零率、諧波信噪比以及1-12維LFPC系數(shù)共16個短 時特征； 然后求取這16個短時特征的一階倒數(shù)； 最后求取16個短時特征及其一階倒數(shù)的統(tǒng)計量，所述統(tǒng)計量包括均值、最大值、最小 值、方差、偏斜度、峭度、波動范圍、線性回歸系數(shù)的斜率、偏置及均方誤差共10類，共得到 320個語音情感特征向量。
4. 根據(jù)權(quán)利要求3所述的一種基于情感數(shù)據(jù)場的連續(xù)語音情感預測算法，其特征在 于：對320個語音情感特征向量的性能根據(jù)最大相關(guān)最小冗余算法進行等級排列，選擇前 10個語音情感特征向量并進行特征規(guī)范化后作為數(shù)據(jù)點構(gòu)成情感數(shù)據(jù)場。
【文檔編號】G10L25/63GK104050963SQ201410283309
【公開日】2014年9月17日 申請日期:2014年6月23日 優(yōu)先權(quán)日:2014年6月23日
【發(fā)明者】查誠, 黃程韋, 趙力 申請人:東南大學