一種呼叫中心服務(wù)人員的情緒監(jiān)測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電子電路設(shè)計、無線通信、語音信號處理、機器學習等多種領(lǐng)域，具體涉及一種呼叫中心服務(wù)人員的情緒監(jiān)測方法。
【背景技術(shù)】
[0002]情緒狀態(tài)非常復雜，由多種明顯與不明顯的特征體現(xiàn)。主流的情緒識別方法主要有三種:表情、語音和脈搏。在現(xiàn)有的研究中，多數(shù)是采用其中一種特征來識別情緒，但是不同的情緒帶來的行為與生理反應的多樣性使其不可能由一種特征準確反映，因此多特征融合的方式是情緒識別的必然選擇。
[0003]語音情緒識別在情緒識別領(lǐng)域應用最為廣泛，常用的方法為提取語音的梅爾頻率倒譜系數(shù)(MFCC)、線性預測倒譜系數(shù)(LPCC)、基頻、短時能量等特征，由于語音特征數(shù)量很多，各種特征對不同的情緒有不同的影響，人工選取特征工作量巨大，而且不一定能選取最合適的特征。如果采用深度學習的方法，深度神經(jīng)網(wǎng)絡(luò)會從眾多特征中學習最有用的特征，從而避免人工選取特征的局限性。
[0004]目前應用最廣泛的心率檢測方法有三種:壓力法、心電位法和光電容積法。前兩種方式都需要穿戴復雜的檢測裝置，使被檢測者感到不適，而光電容積法正是解決這個問題的有效方法。根據(jù)郎伯-比爾(lamber-beer)定律，物質(zhì)在一定波長處的吸光度和他的濃度成正比，當恒定波長的光照射到人體組織上時，通過人體組織吸收、反射衰減后測量到的光強在一定程度上反映了被照射部位組織的結(jié)構(gòu)特征。因此選擇光電容積法作為脈搏檢測是一種非常有效的方法。
[0005]在無線傳輸方面，藍牙4.0顯然是最佳之選。藍牙4.0集傳統(tǒng)藍牙技術(shù)、高速技術(shù)和低耗能技術(shù)于一體，完全向下兼容，包含經(jīng)典藍牙技術(shù)規(guī)范和最高速度24Mbps的藍牙高速技術(shù)規(guī)范，更重要的是，超低的能耗使藍牙芯片用標準紐扣電池可運行一年乃至數(shù)年。

【發(fā)明內(nèi)容】

[0006]為解決現(xiàn)有技術(shù)中的缺點和不足，使呼叫中心服務(wù)人員提供更加優(yōu)質(zhì)的服務(wù)，本發(fā)明提出一種呼叫中心服務(wù)人員的情緒監(jiān)測方法，將語音信號和脈搏相結(jié)合，兩種特征互相補充，互相修正;使用光電容積法采集脈搏信號，傳感器直接安裝在耳麥上，同時將脈搏信號通過藍牙芯片發(fā)送到計算機，不僅考慮穿戴舒適度，還考慮到傳輸速度和能耗;分析過程采用深度學習的方法，避免了人工選取特征的復雜工作和局限性。
[0007]本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0008]—種呼叫中心服務(wù)人員的情緒監(jiān)測方法，包括語音信號分析和脈搏信號分析兩個過程；
[0009]在語音信號分析過程中，使用深度學習的方式；
[0010]脈搏信號分析過程使用光電容積法采集脈搏信號，計算為心率用作分析；
[0011]最后，將語音信號分析與心率分析進行融合，得到最后的情緒結(jié)果。
[0012]可選地，在語音信號分析過程中，使用深度學習的方式，具體步驟為:
[0013](11)建立深度學習網(wǎng)絡(luò)，使用標準語音情緒數(shù)據(jù)庫中的語音提取的基頻、短時能量、MFCC、LPCC特征對神經(jīng)網(wǎng)絡(luò)進行訓練，調(diào)整參數(shù)；
[0014](12)采集語音信號，將語音信號分段，提取語音信號的基頻、短時能量、MFCC、LPCC特征，輸入訓練好的深度神經(jīng)網(wǎng)絡(luò)中進行識別，得到識別結(jié)果。
[0015]可選地，脈搏信號分析過程使用光電容積法采集脈搏信號，計算為心率用作分析，具體步驟為:
[0016](21)設(shè)計光電脈搏傳感器電路，包括光電檢測電路和放大電路，安裝到耳麥中；
[0017](22)采集脈搏信號，將模擬信號轉(zhuǎn)換為數(shù)字信號，并計算出心率；
[0018](23)將心率發(fā)送到計算機，用作心率情緒分析。
[0019]可選地，使用反射式測量法對脈搏進行測量。
[0020]可選地，將語音信號分析與心率分析進行融合，融合的方式為:在某心率范圍下，出現(xiàn)特定的幾種情緒，當判斷的語音情緒不屬于該心率范圍內(nèi)所屬的情緒類別，則排除這個樣本。
[0021]本發(fā)明的有益效果是:
[0022](I)深度學習具有自動學習良好的特征，避免了人工選取特征的局限性，減少了復雜的人工操作，適應能力更強；
[0023](2)使用語音與心率兩種特征進行分析，避免了單一特征分析產(chǎn)生的偏差，而且兩種特征形成互補優(yōu)勢:語音信號包含更多的信息，但人為的克制可能會使語音信號不能完全反應其情緒，心率不能人為控制，但是信息量有限；
[0024](3)光電容積法檢測脈搏，電路設(shè)計簡單，傳感器體積小，可以很容易的安裝到耳麥上，被監(jiān)測的服務(wù)人員不需要復雜的操作，只需要像以前一樣正常工作即可，不會給服務(wù)人員帶來額外的緊張情緒；
[0025](4)藍牙4.0集傳統(tǒng)藍牙技術(shù)、高速技術(shù)和低耗能技術(shù)于一體，低耗能使藍牙芯片可以用標準紐扣電池運行一年乃至數(shù)年，無需考慮頻繁的更換電池。
【附圖說明】
[0026]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0027]圖1為本發(fā)明呼叫中心服務(wù)人員的情緒監(jiān)測方法的流程圖；
[0028]圖2為本發(fā)明光電脈搏傳感器一個實施例的電路原理圖；
[0029]圖3為本發(fā)明采集脈搏信號的流程圖；
[0030]圖4為本發(fā)明光電容積法反射式測量原理圖。
【具體實施方式】
[0031]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0032]如圖1所示，本發(fā)明提出了一種呼叫中心服務(wù)人員的情緒監(jiān)測方法，情緒識別分為語音信號分析和脈搏信號分析兩個過程。
[0033]在語音信號分析過程中，使用深度學習的方式，具體步驟為:
[0034](11)建立深度學習網(wǎng)絡(luò)，使用標準語音情緒數(shù)據(jù)庫中的語音提取的基頻、短時能量、MFCC、LPCC特征對神經(jīng)網(wǎng)絡(luò)進行訓練，調(diào)整參數(shù)；
[0035](12)采集語音信號，將語音信號分段，提取語音信號的基頻、短時能量、MFCC、LPCC特征，輸入訓練好的深度神經(jīng)網(wǎng)絡(luò)中進行識別，得到識別結(jié)果。
[0036]脈搏信號分析過程使用光電容積法采集脈搏信號，計算為心率用作分析，具體步驟為:
[0037](21)設(shè)計制作光電脈搏傳感器電路，電路主要部分包括光電檢測電路和放大電路，安裝到耳麥中。圖2示出了光電脈搏傳感器電路的一個具體實施例，但本發(fā)明的保護范圍并不限于該實施例。本發(fā)明使用反射式測量法對脈搏進行測量，其原理如圖4所示。
[0038](22)采集脈搏信號，采集過程如圖3所示，藍牙芯片(選用nRF51822)將模擬信號轉(zhuǎn)換為數(shù)字信號，并計算出心率。
[0039](23)藍牙芯片將心率發(fā)送到計算機，用作心率情緒分析。
[0040]最后，將語音信號分析與心率分析進行融合，得到最后的情緒結(jié)果。融合的方式為:在某心率范圍下，只能出現(xiàn)特定的幾種情緒，當判斷的語音情緒不屬于該心率范圍內(nèi)所屬的情緒類別，則排除這個樣本。
[0041]本發(fā)明呼叫中心服務(wù)人員的情緒監(jiān)測方法，使用了語音與脈搏兩種特征進行情緒監(jiān)測，兩種特征互相補充，互相修正，使分析結(jié)果更加可靠;光電容積法檢測脈搏信號，避免了被檢測者復雜的操作和穿戴的不適感，而且傳感器很容易安裝到耳麥上;深度學習的使用減少了人工選取特征的復雜操作和應用范圍的局限性;無線傳輸使用藍牙4.0技術(shù)，極低的功耗避免了頻繁更換電池的操作，使系統(tǒng)更容易維護。
[0042]本發(fā)明可以對呼叫中心服務(wù)人員的情緒狀態(tài)進行實時監(jiān)測，當發(fā)現(xiàn)服務(wù)人員情緒異常時，及時讓其停止工作，并且使其休息以調(diào)整心態(tài)，或者對其錯誤行為進行指正。這樣不僅能夠使呼叫中心提供最優(yōu)質(zhì)的服務(wù)，避免用戶不滿意投訴，還能夠?qū)ぷ魅藛T進行保護，避免其長時間工作引起的壓抑情緒的擴散。
[0043]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種呼叫中心服務(wù)人員的情緒監(jiān)測方法，其特點在于，包括語音信號分析和脈搏信號分析兩個過程； 在語音信號分析過程中，使用深度學習的方式； 脈搏信號分析過程使用光電容積法采集脈搏信號，計算為心率用作分析； 最后，將語音信號分析與心率分析進行融合，得到最后的情緒結(jié)果。2.如權(quán)利要求1所述的呼叫中心服務(wù)人員的情緒監(jiān)測方法，其特點在于，在語音信號分析過程中，使用深度學習的方式，具體步驟為: (11)建立深度學習網(wǎng)絡(luò)，使用標準語音情緒數(shù)據(jù)庫中的語音提取的基頻、短時能量、MFCC、LPCC特征對神經(jīng)網(wǎng)絡(luò)進行訓練，調(diào)整參數(shù)； (12)采集語音信號，將語音信號分段，提取語音信號的基頻、短時能量、MFCC、LPCC特征，輸入訓練好的深度神經(jīng)網(wǎng)絡(luò)中進行識別，得到識別結(jié)果。3.如權(quán)利要求1所述的呼叫中心服務(wù)人員的情緒監(jiān)測方法，其特點在于，脈搏信號分析過程使用光電容積法采集脈搏信號，計算為心率用作分析，具體步驟為: (21)設(shè)計光電脈搏傳感器電路，包括光電檢測電路和放大電路，安裝到耳麥中； (22)采集脈搏信號，將模擬信號轉(zhuǎn)換為數(shù)字信號，并計算出心率； (23)將心率發(fā)送到計算機，用作心率情緒分析。4.如權(quán)利要求3所述的呼叫中心服務(wù)人員的情緒監(jiān)測方法，其特點在于，使用反射式測量法對脈搏進行測量。5.如權(quán)利要求1所述的呼叫中心服務(wù)人員的情緒監(jiān)測方法，其特點在于，將語音信號分析與心率分析進行融合，融合的方式為:在某心率范圍下，出現(xiàn)特定的幾種情緒，當判斷的語音情緒不屬于該心率范圍內(nèi)所屬的情緒類別，則排除這個樣本。
【專利摘要】本發(fā)明提出了一種呼叫中心服務(wù)人員的情緒監(jiān)測方法，結(jié)合呼叫中心服務(wù)人員工作場景的特點，通過采集和分析服務(wù)人員的語音和脈搏信號，監(jiān)測服務(wù)人員的情緒狀態(tài)，使用光電容積法采集脈搏信號，傳感器可以直接安裝在耳麥上，絲毫不影響穿戴者的正常工作，而且通過語音和脈搏雙重特征分析情緒，可以使識別結(jié)果更加準確可靠。
【IPC分類】A61B5/0245, A61B5/16, A61B5/02, A61B5/00
【公開號】CN105496371
【申請?zhí)枴緾N201511003083
【發(fā)明人】張衛(wèi)山, 趙德海, 宮文娟, 盧清華, 李忠偉
【申請人】中國石油大學(華東)
【公開日】2016年4月20日
【申請日】2015年12月21日