基于情感上下文的語音情感推理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于情感上下文的語音情感推理方法及系統(tǒng)，該方法包括：在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型；對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，然后采用基于情感交互矩陣的融合方法將上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果；從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。本發(fā)明采用情感上下文的情感推理算法，借助情感交互矩陣，對待分析情感語句的情感狀態(tài)進行分析和調(diào)整，從而提高連續(xù)語音情感識別的準確率。
【專利說明】基于情感上下文的語音情感推理方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及語音信號處理、情感分析和模式識別【技術領域】，尤其涉及一種基于情感上下文的語音情感推理方法及系統(tǒng)。
【背景技術】
[0002]語音情感識別技術的發(fā)展對推動智能化、人性化的新型人機交互技術的發(fā)展和應用具有重要的作用。如何使用計算機技術從語音中自動識別說話人的情感狀態(tài)近年來受到各領域研究者的廣泛關注。在語音情感識別研究領域，研究者們開始逐漸關注上下文信息對提高情感識別準確率的影響。所謂上下文是指與待分析對象情感表達相關的對象以及待分析對象自身的個人信息(包括:性別、年齡、文化、語言、受教育程度、談話背景等)以及最近一段時間的情感狀態(tài)等信息。
[0003]現(xiàn)有技術一分析了性別、題材、說話人、說話內(nèi)容等語境上下文信息對情感識別的作用，但主要針對孤立的、非自然的單句進行分析，仍未對自然環(huán)境下連續(xù)表達的情感語音進行描述和處理?，F(xiàn)有技術二開始關注詞與周圍環(huán)境之間所攜帶的上下文信息，提出了上下文環(huán)境、動態(tài)環(huán)境和句全局環(huán)境3類共5種環(huán)境特征，并通過實驗論證了上下文信息對提高情感識別準確率的貢獻，但是這篇文獻所提出的方案需要構建大量且豐富的情感詞匯庫，且要求在情感識別前必須識別出說話者的說話內(nèi)容，說話內(nèi)容識別的準確率會影響情感識別的準確率，且說話內(nèi)容的識別增加了情感識別的時間復雜度?，F(xiàn)有技術三還根據(jù)語音的聲學特征而無需識別說話人的說話內(nèi)容，分析了正在對話的兩個人之間的情感狀態(tài)的相互影響，得出了對話雙方的情感轉(zhuǎn)移矩陣。
[0004]然而，現(xiàn)有技術中連續(xù)語音的情感識別只是針對每個當前句分析，為了解決現(xiàn)有技術的缺陷，因此，本發(fā)明提供一種基于情感上下文的語音情感推理方法及系統(tǒng)，主要利用人類情感表達和變化是一個連續(xù)的過程，待分析對象當前的情感狀態(tài)與即將要表達的情感狀態(tài)之間存在一定的關聯(lián)的特點，針對單個說話人的連續(xù)語音進行情感識別，發(fā)明了情感上下文特征的提取方法和基于情感上下文的語音情感推理方法，本發(fā)明解決了無需識別說話人說話內(nèi)容的條件下，提高連續(xù)語音情感識別率的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對【背景技術】中連續(xù)語音的情感識別只是針對每個當前句分析的缺陷，提供了一種基于情感上下文的語音情感推理方法及系統(tǒng)，發(fā)明語音情感上下文特征的提取方法和建立高效的基于情感上下文的語音情感推理模型，構成完整的基于情感上下文的語音情感推理方法。最終提高連續(xù)語音情感識別的準確率。
[0006]為了實現(xiàn)上述目的，本發(fā)明實施例提供的技術方案如下:
[0007]一種基于情感上下文的語音情感推理方法，所述方法包括:
[0008]S1、在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型；[0009]S2、對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，并提取所述情感語句的上下文語音情感特征和傳統(tǒng)語音情感特征.然后分別采用上下文模型和傳統(tǒng)模型進行識別，得出這兩個模型對帶分析情感語句的決策向量；
[0010]S3、采用基于情感交互矩陣的融合方法對上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果；
[0011]S4、從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。
[0012]作為本發(fā)明的進一步改進，所述步驟S3包括:
[0013]在利用傳統(tǒng)模型和上下文模型對待分析情感語句決策向量的最大兩類進行融合時，引入現(xiàn)有統(tǒng)計出的情感交互矩陣，并進行情感交互矩陣處理，得到情感上下文交互矩陣，上下文交互矩陣連同兩決策向量一起對情感語句的情感類別進行融合推理。
[0014]作為本發(fā)明的進一步改進，所述步驟S4包括:
[0015]情感上下文推理規(guī)則利用人的情感表達具有連續(xù)性的特點，根據(jù)前后相鄰語句的情感類別對當前情感語句的情感類別進行調(diào)整。
[0016]作為本發(fā)明的進一步改進，所述步驟SI中的相鄰情感語句為前后相鄰情感語句的前一句的后1/3有聲段部分和后一語句的整個語句。
[0017]作為本發(fā)明的進一步改進，所述上下文語音情感特征包括:上下文動態(tài)情感特征、上下文差分情感特征、上下文邊緣動態(tài)情感特征和上下文邊緣差分情感特征。
[0018]作為本發(fā)明的進一步改進，所述上下文動態(tài)情感特征為相鄰情感語句的前一句的后1/3有聲段部分和后一句的整個有聲段中101維傳統(tǒng)語音情感特征中與變化率、平均變化和協(xié)方差相關的33維的語音情感動態(tài)特征。
[0019]作為本發(fā)明的進一步改進，所述上下文差分情感特征為先對相鄰情感語句的前一句的后1/3有聲段和后一句的整個有聲段分別提取傳統(tǒng)的101維語音情感特征，然后再對二者做差分操作后得到的特征。
[0020]作為本發(fā)明的進一步改進，所述上下文邊緣動態(tài)情感特征為從相鄰情感語句的前一句的后1/3有聲段部分與后一句的前1/3有聲段部分組成的邊緣相鄰句中提取的33維語音情感動態(tài)特征。
[0021]作為本發(fā)明的進一步改進，所述下文邊緣差分情感特征為邊緣相鄰句中按上下文差分情感特征提取方法提取的特征。
[0022]相應地，一種基于情感上下文的語音情感推理系統(tǒng)，所述系統(tǒng)包括:
[0023]訓練單元，用于在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型；
[0024]識別單元，用于對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，分別提取所述語句的上下文語音情感特征和傳統(tǒng)語音情感特征，然后分別采用訓練好的上下文模型和傳統(tǒng)模型對當前語句進行情感識別，得出當前語句在兩個模型上的決策向量；
[0025]融合識別單元，用于將上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果；
[0026]調(diào)整單元，用于從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。[0027]本發(fā)明具有以下有益效果:
[0028]1、成功地從連續(xù)情感語句間提取上下文語音情感特征，并用其輔助從單個情感語句提取的傳統(tǒng)語音情感特征，從而提高連續(xù)語音的情感識別效率；
[0029]2、巧妙地利用現(xiàn)有統(tǒng)計的情感交互矩陣，將基于上下文語音情感特征的待識別情感語句的情感狀態(tài)與基于傳統(tǒng)語音情感特征的待識別情感語句額情感狀態(tài)進行情感推理融合，得到對待識別情感語句的初步情感識別結果；
[0030]3、利用連續(xù)情感語句的情感變化具有穩(wěn)定性的特點，制定了情感上下文推理規(guī)則對整個連續(xù)識別語音進行上下文相關調(diào)整。
【專利附圖】

【附圖說明】
[0031]圖1是本發(fā)明一實施方式中基于情感上下文的語音情感推理方法框架圖；
[0032]圖2是本發(fā)明一實施方式中基于情感上下文的情感推理算法流程圖。
【具體實施方式】
[0033]以下將結合附圖所示的各實施方式對本發(fā)明進行詳細描述。但這些實施方式并不限制本發(fā)明，本領域的普通技術人員根據(jù)這些實施方式所做出的結構、方法、或功能上的變換均包含在本發(fā)明的保護范圍內(nèi)。
[0034]本發(fā)明公開了一種基于情感上下文的語音情感推理方法，包括:
[0035]S1、在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型；
[0036]S2、對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，并提取所述情感語句的上下文語音情感特征和傳統(tǒng)語音情感特征.然后分別采用上下文模型和傳統(tǒng)模型進行識別，得出這兩個模型對帶分析情感語句的決策向量；
[0037]S3、采用基于情感交互矩陣的融合方法對上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果；
[0038]S4、從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。
[0039]具體包括:
[0040]步驟1:訓練基于傳統(tǒng)語音情感特征的語音情感識別模型。
[0041]步驟1.1:對訓練庫中的情感語音信號進行預處理，包括預加重、加窗處理、分幀、端點檢測。
[0042]步驟1.2:對訓練集中的情感語句提取常用的傳統(tǒng)語音情感特征101維，包括美爾倒譜系數(shù)、基頻、時長、強度、振幅、音質(zhì)以及共振峰等語音的聲學和韻律特征。
[0043]步驟1.3對提取的特征采用中性語句的對應特征進行歸一化，然后采用SFFS (Sequential Forward Floating Search)方法進行特征選擇,經(jīng)過特征選擇后,剩下56個傳統(tǒng)語音情感特征。
[0044]步驟1.4:采用訓練集中情感語句的56維傳統(tǒng)語音情感特征訓練SVM分類器，得到基于傳統(tǒng)語音情感特征的語音情感識別模型。
[0045]步驟2:訓練基于上下文語音情感特征的語音情感識別模型。[0046]步驟2.1:對經(jīng)過步驟1.1預處理后的訓練集中的情感語句提取上下文語音情感特征，包括:上下文動態(tài)情感特征，上下文差分情感特征，上下文邊緣動態(tài)情感特征，上下文邊緣差分情感特征共268維。
[0047]步驟2.2:對步驟2.1提取的上下文語音情感特征采用中性語句的對應特征進行歸一化，然后采用SFFS (Sequential Forward Floating Search)方法進行特征選擇,經(jīng)過特征選擇后剩下91個上下文語音情感特征。
[0048]步驟2.3:采用訓練集中情感語句所提取的91維上下文語音情感特征訓練SVM(Support Vector Machine支持向量機)分類器,得到基于上下文語音情感特征的語音情感識別模型。
[0049]步驟3:識別待識別的情感語句的情感狀態(tài)
[0050]步驟3.1:對待識別連續(xù)情感語音信號進行預處理，包括預加重、加窗處理、自動分段、分幀和端點檢測。
[0051]步驟3.2:提取待識別情感語音信號的經(jīng)過步驟1.2選擇出的56維傳統(tǒng)語音情感特征。
[0052]步驟3.3:輸入步驟1.4訓練得到的基于傳統(tǒng)語音情感特征的語音情感識別模型進行識別，特到的識別結果表示為TP。
[0053]步驟3.4:提取待識別情感語音信號的經(jīng)過步驟2.2選擇出的91維上下文語音情感特征。
[0054]步驟3.5:輸入步驟2.3訓練得到的基于上下文語音情感特征的語音情感識別模型進行識別，特到的識別結果表示為CP。
[0055]步驟4:根據(jù)基于傳統(tǒng)語音情感特征的語音情感識別模型的識別結果TP和基于上下文語音情感特征的語音情感識別模型的識別結果CP，采用融合算法融合兩個模型的識別結果，初步得到待識別語音信號所屬的情感類別以及該結果的置信度。
[0056]步驟5:采用基于情感上下文的推理規(guī)則，根據(jù)連續(xù)語音中待分析情感語句前后語句的情感狀態(tài)，對待分析情感語句所體現(xiàn)的情感狀態(tài)進行調(diào)整，得到待分析情感語句最終所屬的情感狀態(tài)。
[0057]相應地，本發(fā)明還公開了一種基于情感上下文的語音情感推理系統(tǒng)，包括:
[0058]訓練單元，用于在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型；
[0059]識別單元，用于對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，分別提取這些語句的上下文語音情感特征和傳統(tǒng)語音情感特征，然后分別采用訓練好的上下文模型和傳統(tǒng)模型對當前語句進行情感識別，得出當前語句在兩個模型上的決策向量.[0060]融合識別單元，用于將上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果；調(diào)整單元，用于從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。
[0061]下面結合附圖和【具體實施方式】對本發(fā)明做進一步闡述:
[0062]如圖1所示，為本發(fā)明一【具體實施方式】中基于情感上下文的情感推理系統(tǒng)框圖，主要分為四個階段:訓練階段、識別階段、融合識別階段和基于情感上下文推理規(guī)則的情感調(diào)整階段。
[0063]1、訓練階段
[0064]訓練階段建立基于傳統(tǒng)語音情感特征的語音情感識別模型和基于上下文語音情感特征的語音情感識別模型，共分為三步:
[0065](I)情感語音信號預處理。
[0066]這一步是采用傳統(tǒng)的語音信號預處理方法對情感語音信號進行預處理，包括預加重、加窗處理、分幀、端點檢測。
[0067](2)傳統(tǒng)語音情感特征的提取和基于傳統(tǒng)語音情感特征的語音情感識別模型訓練。
[0068](2-1)對當前情感語句提取包括美爾倒譜系數(shù)、基頻、時長、強度、振幅、音質(zhì)以及共振峰等語音的聲學和韻律特征，并在情感語句上分別提取這些特征的最大值、最小值以及變化范圍等統(tǒng)計特征。這些特征的提取方法不屬于本發(fā)明的部分，因此不做詳細敘述。提取的具體特征見表1所示。
[0069]表1傳統(tǒng)語音情感特征的描述
【權利要求】
1.一種基于情感上下文的語音情感推理方法，其特征在于，所述方法包括: 51、在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型； 52、對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，并提取所述情感語句的上下文語音情感特征和傳統(tǒng)語音情感特征.然后分別采用上下文模型和傳統(tǒng)模型進行識另O，得出這兩個模型對帶分析情感語句的決策向量； 53、采用基于情感交互矩陣的融合方法對上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果； 54、從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。
2.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S3包括: 在利用傳統(tǒng)模型和上下文模型對待分析情感語句決策向量的最大兩類進行融合時，弓丨入現(xiàn)有統(tǒng)計出的情感交互矩陣，并進行情感交互矩陣處理，得到情感上下文交互矩陣，上下文交互矩陣連同兩決策向量一起對情感語句的情感類別進行融合推理。
3.根據(jù)權利要求1所述的方法，其特征在于，所述步驟S4包括: 情感上下文推理規(guī)則利用人的情感表達具有連續(xù)性的特點，根據(jù)前后相鄰語句的情感類別對當前情感語句的情感類別進行調(diào)整。
4.根據(jù)權利要求1所述的方法，其特征在于，所述步驟SI中的相鄰情感語句為前后相鄰情感語句的前一句的后1/3有聲段部分和后一語句的整個語句。
5.根據(jù)權利要求4所述的 方法，其特征在于，所述上下文語音情感特征包括:上下文動態(tài)情感特征、上下文差分情感特征、上下文邊緣動態(tài)情感特征和上下文邊緣差分情感特征。
6.根據(jù)權利要求5所述的方法，其特征在于，所述上下文動態(tài)情感特征為相鄰情感語句的前一句的后1/3有聲段部分和后一句的整個有聲段中101維傳統(tǒng)語音情感特征中與變化率、平均變化和協(xié)方差相關的33維的語音情感動態(tài)特征。
7.根據(jù)權利要求5所述的方法，其特征在于，所述上下文差分情感特征為先對相鄰情感語句的前一句的后1/3有聲段和后一句的整個有聲段分別提取傳統(tǒng)的101維語音情感特征，然后再對二者做差分操作后得到的特征。
8.根據(jù)權利要求6所述的方法，其特征在于，所述上下文邊緣動態(tài)情感特征為從相鄰情感語句的前一句的后1/3有聲段部分與后一句的前1/3有聲段部分組成的邊緣相鄰句中提取的33維語音情感動態(tài)特征。
9.根據(jù)權利要求8所述的方法，其特征在于，所述下文邊緣差分情感特征為邊緣相鄰句中按上下文差分情感特征提取方法提取的特征。
10.一種如權利要求1所述的基于情感上下文的語音情感推理系統(tǒng)，其特征在于，所述系統(tǒng)包括: 訓練單元，用于在相鄰情感語句中提取上下文語音情感特征和傳統(tǒng)語音情感特征，按特征類別的不同分別建立上下文模型和傳統(tǒng)模型； 識別單元，用于對待分析連續(xù)語音劃分為情感相對獨立的情感語句序列，分別提取所述語句的上下文語音情感特征和傳統(tǒng)語音情感特征，然后分別采用訓練好的上下文模型和傳統(tǒng)模型對當前語句進行情感識別，得出當前語句在兩個模型上的決策向量；融合識別單元，用于將上下文模型和傳統(tǒng)模型對待分析連續(xù)語音的當前情感語句的決策結果進行融合，得到初步的識別結果； 調(diào)整單元，用于從整個待分析連續(xù)語音角度對每個語句的情感類別用情感上下文推理規(guī)則進行調(diào)整，得到待分析連續(xù)語音的情感類別序列。
【文檔編號】G10L25/63GK103810994SQ201310401319
【公開日】2014年5月21日 申請日期:2013年9月5日 優(yōu)先權日:2013年9月5日
【發(fā)明者】毛啟容, 白李娟, 王麗 申請人:江蘇大學