一種數(shù)據(jù)處理的方法、裝置以及設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)處理的方法、裝置及設(shè)備，所述方法包括采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息，然后將所采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配，以獲取與采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息，然后獲取與匹配得到的預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型，進(jìn)而得到交流對(duì)象的心理狀態(tài)類型，并輸出該交流對(duì)象的心理狀態(tài)類型。通過上述方式，本發(fā)明能夠使得用戶根據(jù)交流對(duì)象的心理狀態(tài)而及時(shí)調(diào)整交流措施，從而提高交流對(duì)象在交流過程中的滿意度。
【專利說明】一種數(shù)據(jù)處理的方法、裝置以及設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)據(jù)處理的方法、裝置以及設(shè)備。

【背景技術(shù)】
[0002] 隨著通信技術(shù)的發(fā)展，語音通信和視頻通信質(zhì)量獲得較大提高。目前大多數(shù)企業(yè)， 尤其服務(wù)類企業(yè)，都建立起遠(yuǎn)程服務(wù)中心，通過語音或者視頻向客戶提供遠(yuǎn)程服務(wù)。
[0003] 目前，服務(wù)人員在遠(yuǎn)程服務(wù)過程中，都是通過人為判斷對(duì)方情緒，并根據(jù)對(duì)方情緒 服務(wù)策略。在人們從多情緒中，微表情是一種靠人為注意很難發(fā)現(xiàn)的情緒，通常情況下，微 表情一閃而過，連清醒的作表情的人和觀察者都察覺不到。但微表情更能體現(xiàn)人們真實(shí)的 感受和動(dòng)機(jī)。若服務(wù)人員能夠及時(shí)察覺對(duì)方的微表情，并在對(duì)方產(chǎn)生不輸快情緒，安撫好對(duì) 方，防止服務(wù)不到位的情況的發(fā)生。
[0004] 其中，服務(wù)人員在提供服務(wù)時(shí)，又要時(shí)刻注意對(duì)方情緒變化，對(duì)服務(wù)人員來說是一 個(gè)沉重負(fù)擔(dān)。在同時(shí)服務(wù)較多人員，或者，服務(wù)時(shí)間過長時(shí)，服務(wù)人員容易出現(xiàn)疲憊，忽略對(duì) 方情緒的變化，從而沒有及時(shí)調(diào)整服務(wù)策略，進(jìn)而造成服務(wù)不到位的情況發(fā)生，影響服務(wù)質(zhì) 量。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明主要解決的技術(shù)問題是提供一種數(shù)據(jù)處理的方法、裝置及設(shè)備，能夠及時(shí) 調(diào)整交流措施，以提高交流對(duì)象的滿意度。
[0006] 本發(fā)明的第一方面是：提供一種數(shù)據(jù)處理方法，所述方法包括：采集交流現(xiàn)場中 交流對(duì)象的表現(xiàn)信息，所述表現(xiàn)信息包括交流對(duì)象在交流過程中的情態(tài)動(dòng)作信息和/或語 音信息；將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配， 以獲取與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息，所述數(shù)據(jù)庫還用于存儲(chǔ)在存儲(chǔ) 所述所有預(yù)設(shè)表現(xiàn)信息時(shí)，對(duì)每種所述預(yù)設(shè)表現(xiàn)信息預(yù)定義的預(yù)設(shè)心理狀態(tài)類型，所述預(yù) 設(shè)心理狀態(tài)類型為心理狀態(tài)的類型；獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心 理狀態(tài)類型，以獲取所述交流對(duì)象的心理狀態(tài)類型；輸出所述交流對(duì)象的心理狀態(tài)類型。
[0007] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式：所述將采集得到的所述表現(xiàn)信息與數(shù)據(jù) 庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配，以獲取與所述采集得到的表現(xiàn)信息相匹配的 預(yù)設(shè)表現(xiàn)信息的步驟包括：將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表 現(xiàn)信息進(jìn)行對(duì)比，以獲取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信 息，進(jìn)而獲得與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息。
[0008] 結(jié)合第一方面的第一種可能實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述采集交 流現(xiàn)場中交流對(duì)象的表現(xiàn)信息的步驟包括：采集交流現(xiàn)場中交流對(duì)象的圖像數(shù)據(jù)以獲取所 述交流對(duì)象在交流過程中的情態(tài)動(dòng)作信息，進(jìn)而獲取所述交流對(duì)象的表現(xiàn)信息；所述將采 集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比，以獲取與所述 采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信息的步驟包括：從所述交流對(duì)象 的圖像數(shù)據(jù)中獲取交流對(duì)象的面部預(yù)定點(diǎn)的特征數(shù)據(jù)；根據(jù)所述面部預(yù)定點(diǎn)的特征數(shù)據(jù)獲 得交流對(duì)象的表情圖像，并將所述交流對(duì)象的表情圖像與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù) 定表情圖像進(jìn)行對(duì)比，以獲取與所述交流對(duì)象的表情圖像的相似度大于設(shè)定閾值的預(yù)設(shè)表 情圖像，進(jìn)而得到與所述交流對(duì)象的表情圖像相匹配的預(yù)定表情圖像；所述獲取與匹配得 到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型的步驟包括：在所述數(shù)據(jù)庫中獲取在存 儲(chǔ)所述與所述交流對(duì)象的表情圖像相匹配的預(yù)定表情圖像時(shí)對(duì)所述預(yù)定表情圖像所定義 的預(yù)設(shè)表情類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
[0009] 結(jié)合第一方面的第一種可能實(shí)現(xiàn)方式的第二種可能實(shí)現(xiàn)方式，在第三種可能的實(shí) 現(xiàn)方式中，所述圖像數(shù)據(jù)為交流對(duì)象的當(dāng)前圖像數(shù)據(jù)，所述預(yù)設(shè)表情類型對(duì)應(yīng)為交流對(duì)象 的當(dāng)前預(yù)設(shè)表情類型。
[0010] 結(jié)合第一方面的第一種可能實(shí)現(xiàn)方式的第二種可能實(shí)現(xiàn)方式，在第四種可能的實(shí) 現(xiàn)方式中，所述圖像數(shù)據(jù)包括交流對(duì)象的當(dāng)前圖像數(shù)據(jù)和至少一個(gè)歷史圖像數(shù)據(jù)，所述預(yù) 設(shè)表情類型包括所述當(dāng)前圖像數(shù)據(jù)所對(duì)應(yīng)的當(dāng)前預(yù)設(shè)表情類型和所述歷史圖像數(shù)據(jù)所對(duì) 應(yīng)的歷史預(yù)設(shè)表情類型；所述采集交流現(xiàn)場中交流對(duì)象的圖像數(shù)據(jù)以獲取所述交流對(duì)象在 交流過程中的情態(tài)動(dòng)作信息的步驟包括：在設(shè)定周期內(nèi)的間隔設(shè)定時(shí)長的至少兩個(gè)時(shí)間 點(diǎn)采集交流現(xiàn)場中交流對(duì)象的至少兩個(gè)圖像數(shù)據(jù)，所述設(shè)定時(shí)長不大于所述設(shè)定周期的時(shí) 長，所述至少兩個(gè)時(shí)間點(diǎn)至少包括所述設(shè)定周期的時(shí)間終點(diǎn)，在所述設(shè)定周期的時(shí)間終點(diǎn) 采集到的交流對(duì)象的圖像數(shù)據(jù)即為所述當(dāng)前圖像數(shù)據(jù)，在其余所述時(shí)間點(diǎn)采集到的交流對(duì) 象的圖像數(shù)據(jù)即為所述歷史圖像數(shù)據(jù)；所述在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì) 象的表情圖像相匹配的預(yù)定表情圖像時(shí)對(duì)所述預(yù)定表情圖像所定義的預(yù)設(shè)表情類型的步 驟之后，包括：在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義表情值表中查詢得到與所述當(dāng)前預(yù)設(shè)表 情類型相對(duì)應(yīng)的當(dāng)前表情值，以及與所述歷史預(yù)設(shè)表情類型相對(duì)應(yīng)的歷史表情值；根據(jù)公 式：

【權(quán)利要求】
1. 一種數(shù)據(jù)處理方法，其特征在于，包括： 采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息，所述表現(xiàn)信息包括交流對(duì)象在交流過程中的情 態(tài)動(dòng)作?目息和/或語首?目息； 將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配，以獲 取與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息，所述數(shù)據(jù)庫還用于存儲(chǔ)在存儲(chǔ)所述 所有預(yù)設(shè)表現(xiàn)信息時(shí)，對(duì)每種所述預(yù)設(shè)表現(xiàn)信息預(yù)定義的預(yù)設(shè)心理狀態(tài)類型，所述預(yù)設(shè)心 理狀態(tài)類型為心理狀態(tài)的類型； 獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的所述預(yù)設(shè)心理狀態(tài)類型，以獲取所述交 流對(duì)象的心理狀態(tài)類型； 輸出所述交流對(duì)象的心理狀態(tài)類型。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配， 以獲取與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息的步驟包括： 將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比，以獲 取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信息，進(jìn)而獲得與所述采 集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息的步驟包括： 采集交流現(xiàn)場中交流對(duì)象的圖像數(shù)據(jù)以獲取所述交流對(duì)象在交流過程中的情態(tài)動(dòng)作 信息，進(jìn)而獲取所述交流對(duì)象的表現(xiàn)信息； 所述將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比， 以獲取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信息的步驟包括： 從所述交流對(duì)象的圖像數(shù)據(jù)中獲取交流對(duì)象的面部預(yù)定點(diǎn)的特征數(shù)據(jù)； 根據(jù)所述面部預(yù)定點(diǎn)的特征數(shù)據(jù)獲得交流對(duì)象的表情圖像，并將所述交流對(duì)象的表情 圖像與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)定表情圖像進(jìn)行對(duì)比，以獲取與所述交流對(duì)象的表 情圖像的相似度大于設(shè)定閾值的預(yù)設(shè)表情圖像，進(jìn)而得到與所述交流對(duì)象的表情圖像相匹 配的預(yù)定表情圖像； 所述獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型的步驟包括： 在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象的表情圖像相匹配的預(yù)定表情圖像 時(shí)對(duì)所述預(yù)定表情圖像所定義的預(yù)設(shè)表情類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于， 所述圖像數(shù)據(jù)為交流對(duì)象的當(dāng)前圖像數(shù)據(jù)，所述預(yù)設(shè)表情類型對(duì)應(yīng)為交流對(duì)象的當(dāng)前 預(yù)設(shè)表情類型。
5. 根據(jù)權(quán)利要求3所述的方法，其特征在于， 所述圖像數(shù)據(jù)包括交流對(duì)象的當(dāng)前圖像數(shù)據(jù)和至少一個(gè)歷史圖像數(shù)據(jù)，所述預(yù)設(shè)表情 類型包括所述當(dāng)前圖像數(shù)據(jù)所對(duì)應(yīng)的當(dāng)前預(yù)設(shè)表情類型和所述歷史圖像數(shù)據(jù)所對(duì)應(yīng)的歷 史預(yù)設(shè)表情類型； 所述采集交流現(xiàn)場中交流對(duì)象的圖像數(shù)據(jù)以獲取所述交流對(duì)象在交流過程中的情態(tài) 動(dòng)作信息的步驟包括： 在設(shè)定周期內(nèi)的間隔設(shè)定時(shí)長的至少兩個(gè)時(shí)間點(diǎn)采集交流現(xiàn)場中交流對(duì)象的至少兩 個(gè)圖像數(shù)據(jù)，所述設(shè)定時(shí)長不大于所述設(shè)定周期的時(shí)長，所述至少兩個(gè)時(shí)間點(diǎn)至少包括所 述設(shè)定周期的時(shí)間終點(diǎn)，在所述設(shè)定周期的時(shí)間終點(diǎn)采集到的交流對(duì)象的圖像數(shù)據(jù)即為所 述當(dāng)前圖像數(shù)據(jù)，在其余所述時(shí)間點(diǎn)采集到的交流對(duì)象的圖像數(shù)據(jù)即為所述歷史圖像數(shù) 據(jù)； 所述在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象的表情圖像相匹配的預(yù)定表情 圖像時(shí)對(duì)所述預(yù)定表情圖像所定義的預(yù)設(shè)表情類型的步驟之后，包括： 在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義表情值表中查詢得到與所述當(dāng)前預(yù)設(shè)表情類型相 對(duì)應(yīng)的當(dāng)前表情值，以及與所述歷史預(yù)設(shè)表情類型相對(duì)應(yīng)的歷史表情值； N-1 根據(jù)公式：姐=設(shè)￥ + 1叫*(1-句/(況-1)，計(jì)算在所述設(shè)定周期內(nèi)的綜合 /=1 表情值，其中，所述Μ為所述綜合表情值，N為在所述設(shè)定周期內(nèi)的所有所述時(shí)間點(diǎn)，Vc為所 述當(dāng)前表情值，Vhi為在第i個(gè)時(shí)間點(diǎn)采集到的所述歷史圖像數(shù)據(jù)所對(duì)應(yīng)的第i個(gè)歷史表情 值，d為所述當(dāng)前表情值在所述當(dāng)前表情值和歷史表情值兩種類型表情值中所占的比重； 在所述預(yù)定義表情值表中查詢得到與所述綜合表情值相對(duì)應(yīng)的預(yù)設(shè)表情類型，進(jìn)而得 到所述交流對(duì)象的心理狀態(tài)類型。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于， 所述在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義表情值表中查詢得到與所述當(dāng)前預(yù)設(shè)表情類 型相對(duì)應(yīng)的當(dāng)前表情值，以及與所述歷史預(yù)設(shè)表情類型相對(duì)應(yīng)的歷史表情值的步驟之后， 包括： 根據(jù)所述當(dāng)前表情值和歷史表情值獲取在所述設(shè)定周期內(nèi)交流對(duì)象的表情值變化曲 線. 所述輸出所述交流對(duì)象的心理狀態(tài)類型的步驟包括： 除了輸出所述交流對(duì)象的心理狀態(tài)類型之外，還輸出所述交流對(duì)象的表情值變化曲 線。
7. 根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息的步驟包括： 采集交流現(xiàn)場中交流對(duì)象的語音信息，進(jìn)而得到所述交流對(duì)象的表現(xiàn)信息。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于， 所述將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比， 以獲取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信息的步驟包括： 根據(jù)所述交流對(duì)象的語音信息獲得交流對(duì)象的音頻波形圖； 將所述交流對(duì)象的音頻波形圖與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)定音頻波形圖進(jìn)行 對(duì)比，以獲取與所述交流對(duì)象的音頻波形圖的相似度大于設(shè)定閾值的預(yù)定音頻波形圖，進(jìn) 而獲得與所述交流對(duì)象的音頻波形圖相匹配的預(yù)定音頻波形圖； 所述獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型的步驟包括： 在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象的音頻波形圖相匹配的預(yù)定音頻波 形圖時(shí)對(duì)所述預(yù)定音頻波形圖所定義的預(yù)設(shè)音頻類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài) 類型。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于， 所述語音信息為交流對(duì)象的當(dāng)前語音信息，所述預(yù)設(shè)音頻類型對(duì)應(yīng)為交流對(duì)象的當(dāng)前 預(yù)設(shè)音頻類型。
10. 根據(jù)權(quán)利要求8所述的方法，其特征在于， 所述語音信息包括交流對(duì)象的當(dāng)前語音信息和至少一個(gè)歷史語音信息，所述預(yù)設(shè)音頻 類型包括所述當(dāng)前語音信息所對(duì)應(yīng)的當(dāng)前預(yù)設(shè)音頻類型和所述歷史語音信息所對(duì)應(yīng)的歷 史預(yù)設(shè)音頻類型； 所述采集交流現(xiàn)場中交流對(duì)象的語音信息的步驟包括： 在設(shè)定周期內(nèi)的間隔設(shè)定時(shí)長的至少兩個(gè)時(shí)間點(diǎn)采集交流現(xiàn)場中交流對(duì)象的至少兩 個(gè)語音信息，所述設(shè)定時(shí)長不大于所述設(shè)定周期的時(shí)長，所述至少兩個(gè)時(shí)間點(diǎn)至少包括所 述設(shè)定周期的時(shí)間終點(diǎn)，在所述設(shè)定周期的時(shí)間終點(diǎn)采集到的交流對(duì)象的語音信息即為所 述當(dāng)前語音信息，在其余所述時(shí)間點(diǎn)采集到的交流對(duì)象的語音信息即為所述歷史語音信 息； 所述在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象的語音信息相匹配的預(yù)定音頻 波形圖時(shí)對(duì)所述預(yù)定音頻波形圖所定義的預(yù)設(shè)音頻類型的步驟之后，包括： 在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義音頻值表中查詢得到與所述當(dāng)前預(yù)設(shè)音頻類型相 對(duì)應(yīng)的當(dāng)前音頻值，以及與所述歷史預(yù)設(shè)音頻類型相對(duì)應(yīng)的歷史音頻值； 1-1 根據(jù)公式：尤=*/7 + I.V/?, ^ 1 -/>) / (> -1；),計(jì)算在所述設(shè)定周期內(nèi)的綜合音 頻值，其中，所述Κ為所述綜合音頻值，L為在所述設(shè)定周期內(nèi)的所有所述時(shí)間點(diǎn)，Sc為所 述當(dāng)前音頻值，Shi為在第i個(gè)時(shí)間點(diǎn)采集到的所述歷史語音信息所對(duì)應(yīng)的第i個(gè)歷史音頻 值，b為所述當(dāng)前音頻值在所述當(dāng)前音頻值和歷史音頻值兩種類型音頻值中所占的比重； 在所述預(yù)定義音頻值表中查詢得到與所述綜合音頻值相對(duì)應(yīng)的預(yù)設(shè)音頻類型，進(jìn)而獲 得所述交流對(duì)象的心理狀態(tài)類型。
11. 根據(jù)權(quán)利要求10所述的方法，其特征在于， 所述在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義音頻值表中查詢得到與所述當(dāng)前預(yù)設(shè)音頻類 型相對(duì)應(yīng)的當(dāng)前音頻值，以及與所述歷史預(yù)設(shè)音頻類型相對(duì)應(yīng)的歷史音頻值的步驟之后， 包括： 根據(jù)所述當(dāng)前音頻值和歷史音頻值獲取在所述設(shè)定周期內(nèi)交流對(duì)象的音頻值變化曲 線. 所述輸出所述交流對(duì)象的心理狀態(tài)類型的步驟包括： 除了輸出所述交流對(duì)象的心理狀態(tài)類型之外，還輸出所述交流對(duì)象的音頻值變化曲 線。
12. 根據(jù)權(quán)利要求7所述的方法，其特征在于， 所述將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比， 以獲取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè)表現(xiàn)信息的步驟包括： 利用語音識(shí)別技術(shù)從所述語音信息中提取交流對(duì)象語言中的關(guān)鍵字詞； 將所述交流對(duì)象語言中的關(guān)鍵字詞與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)定關(guān)鍵字詞進(jìn) 行對(duì)比，以獲取與所述交流對(duì)象語言中的關(guān)鍵字詞的相似度大于設(shè)定閾值的預(yù)定關(guān)鍵字 詞，進(jìn)而獲得與所述交流對(duì)象語言中的關(guān)鍵字詞相匹配的預(yù)定關(guān)鍵字詞； 所述獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型的步驟包括： 在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象語言中的關(guān)鍵字詞相匹配的預(yù)定關(guān) 鍵字詞時(shí)對(duì)所述預(yù)定關(guān)鍵字詞所定義的詞義類型，并統(tǒng)計(jì)所獲取的每種所述詞義類型所對(duì) 應(yīng)的匹配得到的所述預(yù)定關(guān)鍵字詞的數(shù)量； 在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義用詞占分值表中查詢與所獲取的每種所述詞義類 型相對(duì)應(yīng)的用詞占分值； 根據(jù)查詢得到的所述用詞占分值和所獲取的每種所述詞義類型所對(duì)應(yīng)的匹配得到的 所述預(yù)定關(guān)鍵字詞的數(shù)量，計(jì)算綜合用詞占分值； 在所述預(yù)定義用詞占分值表中查詢與所述綜合用詞占分值相對(duì)應(yīng)的詞義類型，進(jìn)而獲 得所述交流對(duì)象的心理狀態(tài)類型。
13. -種數(shù)據(jù)處理裝置，其特征在于，包括： 采集模塊，用于采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息，所述表現(xiàn)信息包括交流對(duì)象在 交流過程中的情態(tài)動(dòng)作信息和/或語音信息； 第一獲取模塊，用于將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn) 信息進(jìn)行匹配，以獲取與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息，所述數(shù)據(jù)庫還 用于存儲(chǔ)在存儲(chǔ)所述所有預(yù)設(shè)表現(xiàn)信息時(shí)，對(duì)每個(gè)所述預(yù)設(shè)表現(xiàn)信息預(yù)定義的預(yù)設(shè)心理狀 態(tài)類型，所述預(yù)設(shè)心理狀態(tài)類型為心理狀態(tài)的類型； 第二獲取模塊，用于獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類 型，以獲取所述交流對(duì)象的心理狀態(tài)類型； 輸出模塊，用于輸出所述交流對(duì)象的心理狀態(tài)類型。
14. 根據(jù)權(quán)利要求13所述的裝置，其特征在于， 所述第一獲取模塊具體用于將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有 預(yù)設(shè)表現(xiàn)信息進(jìn)行對(duì)比，以獲取與所述采集得到的表現(xiàn)信息的相似度大于設(shè)定閾值的預(yù)設(shè) 表現(xiàn)信息，進(jìn)而獲得與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表現(xiàn)信息。
15. 根據(jù)權(quán)利要求14所述的裝置，其特征在于， 所述采集模塊包括圖像采集單元，所述圖像采集單元用于采集交流現(xiàn)場中交流對(duì)象的 圖像數(shù)據(jù)以獲取所述交流對(duì)象在交流過程中的情態(tài)動(dòng)作信息，進(jìn)而獲取所述交流對(duì)象的表 現(xiàn)信息； 所述第一獲取模塊包括： 第一獲取單元，用于從所述交流對(duì)象的圖像數(shù)據(jù)中獲取交流對(duì)象的面部預(yù)定點(diǎn)的特征 數(shù)據(jù)； 第二獲取單元，用于根據(jù)所述面部預(yù)定點(diǎn)的特征數(shù)據(jù)獲得交流對(duì)象的表情圖像，并將 所述交流對(duì)象的表情圖像與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù)定表情圖像進(jìn)行對(duì)比，以獲取 與所述交流對(duì)象的表情圖像的相似度大于設(shè)定閾值的預(yù)設(shè)表情圖像，進(jìn)而得到與所述交流 對(duì)象的表情圖像相匹配的預(yù)定表情圖像； 所述第二獲取模塊包括第三獲取單元，所述第三獲取單元用于在所述數(shù)據(jù)庫中獲取在 存儲(chǔ)所述與所述交流對(duì)象的表情圖像相匹配的預(yù)定表情圖像時(shí)對(duì)所述預(yù)定表情圖像所定 義的預(yù)設(shè)表情類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
16. 根據(jù)權(quán)利要求15所述的裝置，其特征在于， 所述圖像采集單元所采集的所述圖像數(shù)據(jù)為交流對(duì)象的當(dāng)前圖像數(shù)據(jù)，所述第二獲取 模塊所獲取的所述預(yù)設(shè)表情類型對(duì)應(yīng)為交流對(duì)象的當(dāng)前預(yù)設(shè)表情類型。
17. 根據(jù)權(quán)利要求15所述的裝置，其特征在于， 所述圖像采集單元所獲取的圖像數(shù)據(jù)包括交流對(duì)象的當(dāng)前圖像數(shù)據(jù)和至少一個(gè)歷史 圖像數(shù)據(jù)，所述第二獲取模塊所獲取的所述預(yù)設(shè)表情類型包括所述當(dāng)前圖像數(shù)據(jù)所對(duì)應(yīng)的 當(dāng)前預(yù)設(shè)表情類型和所述歷史圖像數(shù)據(jù)所對(duì)應(yīng)的歷史預(yù)設(shè)表情類型； 所述圖像采集單元具體用于在設(shè)定周期內(nèi)的間隔設(shè)定時(shí)長的至少兩個(gè)時(shí)間點(diǎn)采集交 流現(xiàn)場中交流對(duì)象的至少兩個(gè)圖像數(shù)據(jù)，所述設(shè)定時(shí)長不大于所述設(shè)定周期的時(shí)長，所述 至少兩個(gè)時(shí)間點(diǎn)至少包括所述設(shè)定周期的時(shí)間終點(diǎn)，在所述設(shè)定周期的時(shí)間終點(diǎn)采集到的 交流對(duì)象的圖像數(shù)據(jù)即為所述當(dāng)前圖像數(shù)據(jù)，在其余所述時(shí)間點(diǎn)采集到的交流對(duì)象的圖像 數(shù)據(jù)即為所述歷史圖像數(shù)據(jù)； 所述第二獲取模塊還包括： 第四獲取單元，用于在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義表情值表中查詢得到與所述 當(dāng)前預(yù)設(shè)表情類型相對(duì)應(yīng)的當(dāng)前表情值，以及與所述歷史預(yù)設(shè)表情類型相對(duì)應(yīng)的歷史表情 值； N-1 第一計(jì)算單元，用于根據(jù)公式：似=〖々' + Y - 1)，計(jì)算在所述 /=1 設(shè)定周期內(nèi)的綜合表情值，其中，所述Μ為所述綜合表情值，Ν為在所述設(shè)定周期內(nèi)的所有 所述時(shí)間點(diǎn)，Vc為所述當(dāng)前表情值，Vhi為在第i個(gè)時(shí)間點(diǎn)采集到的所述歷史圖像數(shù)據(jù)所對(duì) 應(yīng)的第i個(gè)歷史表情值，d為所述當(dāng)前表情值在所述當(dāng)前表情值和歷史表情值兩種類型表 情值中所占的比重； 第五獲取單元，用于在所述預(yù)定義表情值表中查詢得到與所述綜合表情值相對(duì)應(yīng)的預(yù) 設(shè)表情類型，進(jìn)而得到所述交流對(duì)象的心理狀態(tài)類型。
18. 根據(jù)權(quán)利要求17所述的裝置，其特征在于，還包括： 第三獲取模塊，用于根據(jù)所述當(dāng)前表情值和歷史表情值獲取在所述設(shè)定周期內(nèi)交流對(duì) 象的表情值變化曲線； 其中，所述輸出模塊除了輸出所述交流對(duì)象的心理狀態(tài)類型之外，還輸出所述交流對(duì) 象的表情值變化曲線。
19. 根據(jù)權(quán)利要求14所述的裝置，其特征在于， 所述采集模塊包括語音采集單元，所述語音采集單元用于采集交流現(xiàn)場中交流對(duì)象的 語音信息，進(jìn)而得到所述交流對(duì)象的表現(xiàn)信息。
20. 根據(jù)權(quán)利要求19所述的裝置，其特征在于， 所述第一獲取模塊包括： 第六獲取單元，用于根據(jù)所述交流對(duì)象的語音信息獲得交流對(duì)象的音頻波形圖； 第七獲取單元，用于將所述交流對(duì)象的音頻波形圖與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的所有預(yù) 定音頻波形圖進(jìn)行對(duì)比，以獲取與所述交流對(duì)象的音頻波形圖的相似度大于設(shè)定閾值的預(yù) 定音頻波形圖，進(jìn)而獲得與所述交流對(duì)象的音頻波形圖相匹配的預(yù)定音頻波形圖； 所述第二獲取模塊包括第八獲取單元，所述第八獲取單元用于在所述數(shù)據(jù)庫中獲取在 存儲(chǔ)所述與所述交流對(duì)象的音頻波形圖相匹配的預(yù)定音頻波形圖時(shí)對(duì)所述預(yù)定音頻波形 圖所定義的預(yù)設(shè)音頻類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
21. 根據(jù)權(quán)利要求20所述的裝置，其特征在于， 所述語音采集單元所獲取的所述語音信息為交流對(duì)象的當(dāng)前語音信息，所述第八獲取 單元所獲取的所述預(yù)設(shè)音頻類型對(duì)應(yīng)為交流對(duì)象的當(dāng)前預(yù)設(shè)音頻類型。
22. 根據(jù)權(quán)利要求20所述的裝置，其特征在于， 所述語音采集單元所獲取的所述語音信息包括交流對(duì)象的當(dāng)前語音信息和至少一個(gè) 歷史語音信息，所述第八獲取單元所獲取的所述預(yù)設(shè)音頻類型包括所述當(dāng)前語音信息所對(duì) 應(yīng)的當(dāng)前預(yù)設(shè)音頻類型和所述歷史語音信息所對(duì)應(yīng)的歷史預(yù)設(shè)音頻類型； 所述語音采集單元具體用于在設(shè)定周期內(nèi)的間隔設(shè)定時(shí)長的至少兩個(gè)時(shí)間點(diǎn)采集交 流現(xiàn)場中交流對(duì)象的至少兩個(gè)語音信息，所述設(shè)定時(shí)長不大于所述設(shè)定周期的時(shí)長，所述 至少兩個(gè)時(shí)間點(diǎn)至少包括所述設(shè)定周期的時(shí)間終點(diǎn)，在所述設(shè)定周期的時(shí)間終點(diǎn)采集到的 交流對(duì)象的語音信息即為所述當(dāng)前語音信息，在其余所述時(shí)間點(diǎn)采集到的交流對(duì)象的語音 信息即為所述歷史語音信息； 所述第二獲取模塊還包括： 第九獲取單元，用于在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義音頻值表中查詢得到與所述 當(dāng)前預(yù)設(shè)音頻類型相對(duì)應(yīng)的當(dāng)前音頻值，以及與所述歷史預(yù)設(shè)音頻類型相對(duì)應(yīng)的歷史音頻 值； Z-1 第二計(jì)算單元，用于根據(jù)公式：尤=* Λ + 〇 -/)；)/ - 〇，計(jì)算在所述設(shè) i=\ 定周期內(nèi)的綜合音頻值，其中，所述K為所述綜合音頻值，L為在所述設(shè)定周期內(nèi)的所有所 述時(shí)間點(diǎn)，Sc為所述當(dāng)前音頻值，Shi為在第i個(gè)時(shí)間點(diǎn)采集到的所述歷史語音信息所對(duì)應(yīng) 的第i個(gè)歷史音頻值，b為所述當(dāng)前音頻值在所述當(dāng)前音頻值和歷史音頻值兩種類型音頻 值中所占的比重； 第十獲取單元，用于在所述預(yù)定義音頻值表中查詢得到與所述綜合音頻值相對(duì)應(yīng)的預(yù) 設(shè)音頻類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
23. 根據(jù)權(quán)利要求22所述的裝置，其特征在于，還包括： 第四獲取模塊，用于根據(jù)所述當(dāng)前音頻值和歷史音頻值獲取在所述設(shè)定周期內(nèi)交流對(duì) 象的音頻值變化曲線； 其中，所述輸出模塊除了輸出所述交流對(duì)象的心理狀態(tài)類型之外，還輸出所述交流對(duì) 象的音頻值變化曲線。
24. 根據(jù)權(quán)利要求19所述的裝置，其特征在于， 所述第一獲取模塊包括： 第十一獲取單元，用于利用語音識(shí)別技術(shù)從所述語音信息中提取交流對(duì)象語言中的關(guān) 鍵字詞； 第十二獲取單元，用于將所述交流對(duì)象語言中的關(guān)鍵字詞與所述數(shù)據(jù)庫中預(yù)先存儲(chǔ) 的所有預(yù)定關(guān)鍵字詞進(jìn)行對(duì)比，以獲取與所述交流對(duì)象語言中的關(guān)鍵字詞的相似度大于設(shè) 定閾值的預(yù)定關(guān)鍵字詞，進(jìn)而獲得與所述交流對(duì)象語言中的關(guān)鍵字詞相匹配的預(yù)定關(guān)鍵字 詞； 所述第二獲取模塊包括： 第十三獲取單元，用于在所述數(shù)據(jù)庫中獲取在存儲(chǔ)所述與所述交流對(duì)象語言中的關(guān)鍵 字詞相匹配的預(yù)定關(guān)鍵字詞時(shí)對(duì)所述預(yù)定關(guān)鍵字詞所定義的詞義類型，并統(tǒng)計(jì)所獲取的每 種所述詞義類型所對(duì)應(yīng)的匹配得到的所述預(yù)定關(guān)鍵字詞的數(shù)量； 第十四獲取單元，用于在所述數(shù)據(jù)庫中預(yù)先存儲(chǔ)的預(yù)定義用詞占分值表中查詢與所獲 取的每種所述詞義類型相對(duì)應(yīng)的用詞占分值； 第十五獲取單元，用于根據(jù)查詢得到的所述用詞占分值和所獲取的每種所述詞義類型 所對(duì)應(yīng)的匹配得到的所述預(yù)定關(guān)鍵字詞的數(shù)量，計(jì)算綜合用詞占分值； 第十六獲取單元，在所述預(yù)定義用詞占分值表中查詢與所述綜合用詞占分值相對(duì)應(yīng)的 詞義類型，進(jìn)而獲得所述交流對(duì)象的心理狀態(tài)類型。
25. -種數(shù)據(jù)處理設(shè)備，其特征在于，包括存儲(chǔ)器、處理器以及輸出裝置，所述存儲(chǔ)器、 輸出裝置分別通過總線與所述處理器連接； 所述存儲(chǔ)器用于存儲(chǔ)所述數(shù)據(jù)處理設(shè)備的數(shù)據(jù)； 所述處理器用于采集交流現(xiàn)場中交流對(duì)象的表現(xiàn)信息，所述表現(xiàn)信息包括交流對(duì)象在 交流過程中的情態(tài)動(dòng)作信息和/或語音信息，并將采集得到的所述表現(xiàn)信息與數(shù)據(jù)庫中預(yù) 先存儲(chǔ)的所有預(yù)設(shè)表現(xiàn)信息進(jìn)行匹配，以獲取與所述采集得到的表現(xiàn)信息相匹配的預(yù)設(shè)表 現(xiàn)信息，所述數(shù)據(jù)庫還用于存儲(chǔ)在存儲(chǔ)所述所有預(yù)設(shè)表現(xiàn)信息時(shí)，對(duì)每個(gè)所述預(yù)設(shè)表現(xiàn)信 息預(yù)定義的預(yù)設(shè)心理狀態(tài)類型，所述預(yù)設(shè)心理狀態(tài)類型為心理狀態(tài)的類型； 所述處理器還用于獲取與匹配得到的所述預(yù)設(shè)表現(xiàn)信息相對(duì)應(yīng)的預(yù)設(shè)心理狀態(tài)類型， 以獲取所述交流對(duì)象的心理狀態(tài)類型； 所述輸出裝置用于所述交流對(duì)象的心理狀態(tài)類型。
【文檔編號(hào)】G06F17/30GK104239304SQ201310226296
【公開日】2014年12月24日 申請(qǐng)日期:2013年6月7日 優(yōu)先權(quán)日:2013年6月7日
【發(fā)明者】周洪凱, 朱建平 申請(qǐng)人:華為技術(shù)有限公司