本發(fā)明涉及數(shù)字人人機交互領(lǐng)域,特別涉及一種基于多模態(tài)生物特征識別的數(shù)字人交互方法及系統(tǒng)。
背景技術(shù):
1、隨著科技的不斷發(fā)展,新一代以數(shù)字人為代表的客服系統(tǒng)逐漸在智慧展廳、智能前臺和語音智能客服等領(lǐng)域嶄露頭角,有望逐步取代傳統(tǒng)的人工服務(wù)。
2、目前的數(shù)字人客服主要基于文本對答型,通過輸入文本與知識庫中的問答內(nèi)容進行匹配,并以文本形式輸出相應答案。更高級的是語音智能客服能夠通過語音識別和語義理解來提煉出用戶的問題和意圖,然后從相關(guān)范圍中找到最匹配的答案,并通過語音回復。
3、而最新的數(shù)字人客服則在語音客服的基礎(chǔ)上增加了虛擬人的動畫動作、手勢、語氣和表情等輸出,模擬人與人之間的互動行為,這種客服系統(tǒng)主要應用于需要真人接待的場景,如展廳等。
4、然而,無論是普及型的語音智能客服還是新一代的數(shù)字人智能客服,都普遍存在一個問題,即答非所問的現(xiàn)象。這種情況很可能是由于智能客服對用戶的語音識別出現(xiàn)錯誤,導致的語義理解或意圖理解產(chǎn)生偏差,最終使得用戶得到的回復與問題不符。因此,如何提升智能客服的服務(wù)質(zhì)量和精準性,成為了亟待解決的問題。
5、因此,現(xiàn)有技術(shù)還有待改進和提高。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供一種基于多模態(tài)生物特征識別的數(shù)字人交互方法及系統(tǒng),旨在解決現(xiàn)有技術(shù)中在數(shù)字人客服的服務(wù)場景中,容易出現(xiàn)語音識別錯誤和語義理解偏差導致的用戶滿意度低的問題。
2、本發(fā)明的第一方面,提供一種基于多模態(tài)生物特征識別的數(shù)字人交互方法,用于與目標客戶進行交互,包括:
3、接收目標接待信號,基于所述目標接待信號獲取知識庫中的目標接待話術(shù),所述目標接待信號為接待目標客戶的信號;
4、當識別到所述目標客戶到達目標位置,基于所述目標接待話術(shù)開啟所述目標位置對應的目標場景互動;
5、實時獲取所述目標客戶的互動狀態(tài),并基于所述互動狀態(tài)進行服務(wù)質(zhì)量分析,得到目標服務(wù)質(zhì)量分析結(jié)果;
6、基于所述目標服務(wù)質(zhì)量分析結(jié)果對所述目標接待話術(shù)進行優(yōu)化并將所述目標服務(wù)質(zhì)量分析結(jié)果放入服務(wù)質(zhì)量評價庫,以基于所述服務(wù)質(zhì)量評價庫優(yōu)化所述知識庫在一種實現(xiàn)方式中,所述基于所述目標接待信號獲取知識庫中的目標接待話術(shù),包括:
7、基于所述目標接待信號獲取所述目標客戶的目標身份信息,所述目標身份信息包括所述目標客戶的年齡和工作類型;
8、獲取所述知識庫中與所述目標身份信息匹配的接待話術(shù)作為所述目標接待話術(shù)。
9、在一種實現(xiàn)方式中,所述基于所述目標接待話術(shù)開啟所述目標位置對應的目標場景互動,包括:
10、基于所述目標位置調(diào)取知識庫中的目標互動內(nèi)容;
11、基于所述目標互動內(nèi)容對所述目標位置對應的產(chǎn)品的進行講解以及提問互動;
12、實時在所述目標位置的展示屏中動態(tài)展示所述目標互動內(nèi)容。
13、在一種實現(xiàn)方式中,所述實時獲取所述目標客戶的互動狀態(tài),包括:
14、對所述目標客戶進行聲紋識別、語音識別、情緒識別以及輔助識別,以采集所述目標客戶的目標互動數(shù)據(jù),所述目標互動數(shù)據(jù)包括每個互動階段對應的聲紋情緒、語音內(nèi)容、情緒表達結(jié)論和肢體表達結(jié)論;
15、基于所述目標互動數(shù)據(jù)獲取所述目標客戶的互動狀態(tài)。
16、在一種實現(xiàn)方式中,所述基于所述互動狀態(tài)進行服務(wù)質(zhì)量分析,包括:
17、基于目標互動階段對應的目標互動數(shù)據(jù)識別所述目標互動階段對應的正面情緒表達占比,若所述正面情緒表達占比大于第一預設(shè)值,則判定所述目標互動階段對應的所述服務(wù)質(zhì)量為優(yōu);
18、若所述正面情緒表達占比大于第二預設(shè)值且小于等于所述第一預設(shè)值,則判定所述目標互動階段對應的所述服務(wù)質(zhì)量為合格;
19、若所述正面情緒表達占比大于第三預設(shè)值且小于等于所述第二預設(shè)值,則判定所述目標互動階段對應的所述服務(wù)質(zhì)量為一般;
20、若所述正面情緒表達占比小于等于所述第三預設(shè)值,則判定所述目標互動階段對應的所述服務(wù)質(zhì)量為待優(yōu)化。
21、在一種實現(xiàn)方式中,所述基于所述目標服務(wù)質(zhì)量分析結(jié)果對所述目標接待話術(shù)進行優(yōu)化,包括:
22、基于所述目標服務(wù)質(zhì)量分析結(jié)果調(diào)整所述目標接待話術(shù),直至所述服務(wù)質(zhì)量分析結(jié)果的服務(wù)質(zhì)量為合格或優(yōu),記錄調(diào)整后的所述目標接待話術(shù);
23、將所述目標客戶的聲紋信息與調(diào)整后的所述目標接待話術(shù)進行匹配,并記錄在所述知識庫中,使得在對所述目標客戶進行其他客服服務(wù)時自動匹配調(diào)整后的所述目標接待話術(shù);
24、基于所述目標接待話術(shù)進行所述目標客戶接下來的接待。
25、在一種實現(xiàn)方式中,所述基于所述服務(wù)質(zhì)量評價庫優(yōu)化所述知識庫,包括:
26、基于所述服務(wù)質(zhì)量評價庫中不同的身份信息對應的服務(wù)質(zhì)量分析結(jié)果獲取服務(wù)提升經(jīng)驗庫;
27、基于所述服務(wù)提升經(jīng)驗庫對所述知識庫中不同身份信息對應的講解話術(shù)偏向進行優(yōu)化更新。
28、本發(fā)明的第二方面,一種基于多模態(tài)生物特征識別的數(shù)字人交互系統(tǒng),包括:
29、信號接收模塊,接收目標接待信號,基于所述目標接待信號獲取知識庫中的目標接待話術(shù),所述目標接待信號為接待目標客戶的信號;
30、互動模塊,用于當識別到所述目標客戶到達目標位置,基于所述目標接待話術(shù)開啟所述目標位置對應的目標場景互動;
31、分析模塊,用于實時獲取所述目標客戶的互動狀態(tài),并基于所述互動狀態(tài)進行服務(wù)質(zhì)量分析,得到目標服務(wù)質(zhì)量分析結(jié)果;
32、優(yōu)化模塊,用于基于所述目標服務(wù)質(zhì)量分析結(jié)果對所述目標接待話術(shù)進行優(yōu)化并將所述目標服務(wù)質(zhì)量分析結(jié)果放入服務(wù)質(zhì)量評價庫,以基于所述服務(wù)質(zhì)量評價庫優(yōu)化所述知識庫。
33、本發(fā)明的第三方面,提供一種終端,其中,所述終端包括:存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于多模態(tài)生物特征識別的數(shù)字人交互程序,所述基于多模態(tài)生物特征識別的數(shù)字人交互程序被所述處理器執(zhí)行時實現(xiàn)如上所述的基于多模態(tài)生物特征識別的數(shù)字人交互方法的步驟。
34、本發(fā)明的第四方面,提供一種存儲介質(zhì),其中,存儲介質(zhì)存儲有一個或者多個程序,該一個或者多個程序可被一個或者多個處理器執(zhí)行,以實現(xiàn)上述任一項所述的基于多模態(tài)生物特征識別的數(shù)字人交互方法的步驟。
35、有益效果:與現(xiàn)有技術(shù)相比,本發(fā)明提供了一種基于多模態(tài)生物特征識別的數(shù)字人交互方法及系統(tǒng)。本發(fā)明提供的基于多模態(tài)生物特征識別的數(shù)字人交互方法中,通過接收目標接待信號,基于所述目標接待信號獲取知識庫中的目標接待話術(shù),其中,所述目標接待信號為接待目標客戶的信號。然后,當識別到所述目標客戶到達目標位置,基于所述目標接待話術(shù)開啟所述目標位置對應的目標場景互動,在互動過程中,實時獲取所述目標客戶的互動狀態(tài),并基于所述互動狀態(tài)進行服務(wù)質(zhì)量分析,得到目標服務(wù)質(zhì)量分析結(jié)果,最后,基于所述目標服務(wù)質(zhì)量分析結(jié)果對所述目標接待話術(shù)進行優(yōu)化并將所述目標服務(wù)質(zhì)量分析結(jié)果放入服務(wù)質(zhì)量評價庫,以基于所述服務(wù)質(zhì)量評價庫優(yōu)化所述知識庫。本發(fā)明為用戶提供了一種基于多模態(tài)生物特征識別的數(shù)字人交互方法,解決了現(xiàn)有技術(shù)中數(shù)字人客服的服務(wù)場景中,容易出現(xiàn)語音識別錯誤和語義理解偏差導致的用戶滿意度低的問題,在提升數(shù)字人智能客服的人機交互體驗的同時,提升了數(shù)字人客服的服務(wù)質(zhì)量,為用戶帶來了更舒適數(shù)字人客服的交互方法,提升了參展體驗。