本發(fā)明涉及信息處理技術(shù)，尤其涉及用于問答交互日志的處理方法、裝置及系統(tǒng)。

背景技術(shù)：

客服系統(tǒng)隨著電子商務(wù)的發(fā)展愈趨普及。客戶可以通過客服系統(tǒng)詢問感興趣的相關(guān)信息，辦理業(yè)務(wù)等等。例如，用戶可通過客服系統(tǒng)了解與商品相關(guān)的信息，咨詢業(yè)務(wù)。

客服系統(tǒng)在使用過程中會存儲用戶詢問的用戶問句以及相應(yīng)的坐席答案，這些內(nèi)容作為質(zhì)檢數(shù)據(jù)保存以便后續(xù)檢查，以保證客戶滿意度。現(xiàn)有技術(shù)基本都是通過人工抽檢的方式進行操作。

質(zhì)檢人員通過對電話或者在線文本坐席的交互數(shù)據(jù)抽樣檢查，根據(jù)質(zhì)檢人員對業(yè)務(wù)的理解，判斷客服人員回答的問題是否正確，回答是否有不恰當?shù)恼Z氣。如果涉及到用戶賬戶信息或者基本業(yè)務(wù)的問題，需要在系統(tǒng)中查看來判斷客戶回答的是否正確。對于一些比較復(fù)雜的問答，需要查看范例文檔來判斷是否正確。

上述人工抽檢模式耗時、費力，質(zhì)檢效率和抽檢覆蓋面低，且難以迅速發(fā)現(xiàn)短板加以改善。

技術(shù)實現(xiàn)要素：

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構(gòu)想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關(guān)鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

根據(jù)本發(fā)明的一方面，提供了一種用于問答交互日志的處理方法，該問答交互日志包括用戶問句以及相應(yīng)的坐席答案，該處理方法包括：

對該問答交互日志執(zhí)行話術(shù)分析，以確定該坐席答案是否存在禁語和/或負面情感；

利用CRM數(shù)據(jù)庫對該問答交互日志執(zhí)行業(yè)務(wù)分析，以判斷該用戶問句是否與用戶辦理過的業(yè)務(wù)匹配且該坐席答案是否與提取的CRM數(shù)據(jù)一致；

利用問答知識庫對該問答交互日志執(zhí)行問答分析，以確定該坐席答案是否正確；以及

對未通過該話術(shù)分析、業(yè)務(wù)分析和問答分析中至少一項的問答交互日志進行標記以用于后續(xù)人工質(zhì)檢。

根據(jù)本發(fā)明的另一方面，提供了一種用于問答交互日志的處理裝置，該問答交互日志包括用戶問句以及相應(yīng)的坐席答案，該處理裝置包括：

話術(shù)分析單元，用于對該問答交互日志執(zhí)行話術(shù)分析，以確定該坐席答案是否存在禁語和/或負面情感；

業(yè)務(wù)分析單元，用于利用CRM數(shù)據(jù)庫對該問答交互日志執(zhí)行業(yè)務(wù)分析，以判斷該用戶問句是否與用戶辦理過的業(yè)務(wù)匹配且該坐席答案是否與提取的CRM數(shù)據(jù)一致；

問答分析單元，用于利用問答知識庫對該問答交互日志執(zhí)行問答分析，以確定該坐席答案是否正確；以及

標記單元，用于對未通過該話術(shù)分析、業(yè)務(wù)分析和問答分析中至少一項的問答交互日志進行標記以用于后續(xù)人工質(zhì)檢。

根據(jù)本發(fā)明的再一方面，提供了一種用于問答交互日志的處理系統(tǒng)，該問答交互日志包括用戶問句以及相應(yīng)的坐席答案，該處理系統(tǒng)包括：

CRM數(shù)據(jù)庫，用于存儲與客戶相關(guān)聯(lián)的CRM數(shù)據(jù)；

問答知識庫，用于存儲標準問以及與每個標準問相關(guān)聯(lián)的標準答案；以及

如前所述的處理裝置。

根據(jù)本發(fā)明的用于問答交互日志的處理方法，能夠自動地對不符合要求的問答交互日志進行標記，起到預(yù)檢的作用，以供人工進一步質(zhì)檢。以此方式，一是大大提高了質(zhì)檢效率，極大減輕了質(zhì)檢人員人工從海量交互日志中質(zhì)檢的工作量。另一方面，由于質(zhì)檢人員只能采用抽檢的方式進行質(zhì)檢，導致質(zhì)檢結(jié)果并不能完全反應(yīng)實情。根據(jù)本發(fā)明的方案，對所有的問答交互日志都進行了處理，避免了漏檢的情況。

附圖說明

在結(jié)合以下附圖閱讀本公開的實施例的詳細描述之后，能夠更好地理解本發(fā)明的上述特征和優(yōu)點。在附圖中，各組件不一定是按比例繪制，并且具有類似的相關(guān)特性或特征的組件可能具有相同或相近的附圖標記。

圖1是示出了根據(jù)本發(fā)明的一方面的用于問答交互日志的處理方法的流程圖；

圖2是示出了根據(jù)本發(fā)明的一方面的用于問答交互日志的處理裝置的框圖；

圖3是示出了根據(jù)一實施例的業(yè)務(wù)分析單元的框圖；

圖4是示出了根據(jù)一實施例的問答分析單元的框圖；以及

圖5是示出了根據(jù)本發(fā)明的一方面的用于問答交互日志的處理系統(tǒng)的框圖。

具體實施方式

以下結(jié)合附圖和具體實施例對本發(fā)明作詳細描述。注意，以下結(jié)合附圖和具體實施例描述的諸方面僅是示例性的，而不應(yīng)被理解為對本發(fā)明的保護范圍進行任何限制。

客服系統(tǒng)在使用過程中會產(chǎn)生大量的問答交互日志，記載了用戶問句以及相應(yīng)的坐席答案。根據(jù)本發(fā)明的一方面，提供了一種用于問答交互日志的處理方法，能夠自動地對不符合要求的問答交互日志進行標記，起到預(yù)檢的作用，以供人工進一步質(zhì)檢。以此方式，一是大大提高了質(zhì)檢效率，極大減輕了質(zhì)檢人員人工從海量交互日志中質(zhì)檢的工作量。另一方面，由于質(zhì)檢人員只能采用抽檢的方式進行質(zhì)檢，導致質(zhì)檢結(jié)果并不能完全反應(yīng)實情。根據(jù)本發(fā)明的方案，對所有的問答交互日志都進行了處理，避免了漏檢的情況。

圖1是示出了根據(jù)本發(fā)明的一方面的用于問答交互日志的處理方法100的流程圖。如圖1所示，處理方法100可包括如下步驟：

步驟101：對問答交互日志執(zhí)行預(yù)處理。

交互日志可以是語音格式。例如，客服系統(tǒng)可能是電話客服系統(tǒng)，由此產(chǎn)生的問答交互日志為語音的形式。

在語音格式的情況下，預(yù)處理可首先將語音形式的問答交互日志轉(zhuǎn)換為文本格式的問答交互日志。作為實例，可通過ASR(Automatic Speech Recognition，自動語音識別)執(zhí)行語音到文字的轉(zhuǎn)換。

較優(yōu)地，預(yù)處理還可包括對問答交互日志中無意義的問答數(shù)據(jù)進行過濾。

步驟102：對問答交互日志執(zhí)行話術(shù)分析，以確定坐席答案是否存在禁語和/或負面情感。

禁語的判斷可通過禁語詞庫來實現(xiàn)。在一實例中，提供有禁語詞庫，其中收錄了被標記為禁語的詞語，包括例如不文明用語、不符合國家法律法規(guī)的詞語等任何不恰當而應(yīng)被禁用的詞語。具體而言，可基于禁語詞庫檢索問答交互日志的坐席答案中是否存在被標記為禁語的詞語，若存在，則未通過話術(shù)分析。

除了禁語判斷之外，話術(shù)分析還可以判斷坐席答案是否存在負面情感，以此判斷客服的服務(wù)態(tài)度。情感分析一般從兩個方面來衡量，情感傾向方向和情感傾向度。

情感傾向方向也稱為情感極性，可以理解為用戶對某客體表達自身觀點所持的態(tài)度是支持、反對、中立，即通常所指的正面情感、負面情感、中性情感。情感傾向度是指主體對客體表達正面情感或負面情感時的強弱程度，不同的情感程度往往是通過不同的情感詞或情感語氣等來體現(xiàn)。

在一實例中，負面情感的判斷可通過情感詞典來實現(xiàn)。例如，可提供有情感詞典，其中收錄了被標記為帶有負面情感的詞語。具體而言，可基于情感詞典檢索問答交互日志的坐席答案中是否存在被標記為具有負面情感的文本，若存在，則未通過話術(shù)分析。

在另一實例中，負面情感的判斷可通過情感分類器來實現(xiàn)。在此實施例中，首先可基于機器學習的方法，利用大規(guī)模語料庫作為訓練集來訓練情感分類器。分類器的訓練方法是已知技術(shù)，在此不再贅述。

上述的情感分類和禁語判斷可以是以詞語、句子或段落為單元來執(zhí)行的。段落篇章級情感分析主要是針對某個主題或事件進行傾向性判斷，一般需要構(gòu)建對應(yīng)事件的情感詞典。句子級的情感分析大多是通過計算句子里包含的所有情感詞的平均值來得到。

話術(shù)分析可以單獨包括禁語判斷或情感判斷，也可以同時包括這兩者。例如，可先基于禁語詞庫檢索問答交互日志的所述坐席答案中是否存在被標記為禁語的詞語，若存在則未通過話術(shù)分析，否則繼續(xù)基于情感詞典檢索問答交互日志的坐席答案中是否存在被標記為具有負面情感的文本，若存在則未通過話術(shù)分析，否則通過所述話術(shù)分析。此種先禁語判斷再情感判斷的方式，既保證了分析的高效率，也保證了分析的高準確率。

步驟103：利用CRM數(shù)據(jù)庫對問答交互日志執(zhí)行業(yè)務(wù)分析，以判斷用戶問句是否與用戶辦理過的業(yè)務(wù)匹配且坐席答案是否與提取的CRM數(shù)據(jù)一致。

CRM(Customer relationship management，客戶關(guān)系管理)數(shù)據(jù)庫中存儲有CRM數(shù)據(jù)，CRM數(shù)據(jù)記錄了與客戶相關(guān)的業(yè)務(wù)數(shù)據(jù)。用戶在詢問與個人自身相關(guān)的個性化業(yè)務(wù)問題時，例如自己的訂購了什么套餐，余額查詢等，客服需要查詢CRM數(shù)據(jù)庫來回答。業(yè)務(wù)分析主要針對用戶提出的與用戶自身相關(guān)的個性化業(yè)務(wù)問題進行分析。

在一實例中，可首先對問答交互日志中的用戶問句進行分詞。在本發(fā)明中可采用任何合適的分詞算法對用戶問句進行分詞。常用的分詞算法可包括字符匹配法、理解法、統(tǒng)計法等等。

分詞后，可從CRM數(shù)據(jù)庫中提取與分詞結(jié)果相關(guān)的CRM數(shù)據(jù)。在一實例中，可通過將分詞結(jié)果與CRM數(shù)據(jù)庫中CRM數(shù)據(jù)進行匹配，以獲取與分詞結(jié)果相關(guān)的CRM數(shù)據(jù)。然后，從CRM數(shù)據(jù)庫中提取與分詞結(jié)果相關(guān)的CRM數(shù)據(jù)，以及判斷提取的CRM數(shù)據(jù)與坐席答案是否一致，如一致，則通過業(yè)務(wù)分析。

例如用戶問句可以是：余額查詢；

相應(yīng)的坐席答案可以是：48元。

根據(jù)上述實例，基于余額查詢從CRM數(shù)據(jù)庫中調(diào)取該用戶余額這個CRM字段對應(yīng)的數(shù)據(jù)：45元。

此時，由于坐席答案的48元與CRM數(shù)據(jù)45元不一致，則業(yè)務(wù)分析未通過。

在提取CRM數(shù)據(jù)時，也可能提取失敗，例如用戶問句并不是一個與用戶身份相關(guān)的業(yè)務(wù)問題，此時，可以返回Null，以表示業(yè)務(wù)分析無效。

步驟104：利用問答知識庫對問答交互日志執(zhí)行問答分析，以確定坐席答案是否正確。

問答知識庫中以問題-答案知識點的形式存儲了大量的業(yè)務(wù)知識點?！皹藴蕟枴笔怯脕肀硎灸硞€知識點的文字，主要目標是表達清晰，便于維護。例如，“彩鈴的資費”就是表達清晰的標準問描述。這里的“問”不應(yīng)被狹義地理解為“詢問”，而應(yīng)廣義地來理解一“輸入”，該“輸入”具有對應(yīng)的“輸出”。例如，對于用于控制系統(tǒng)的語義識別而言，用戶的一個指令，例如“打開收音機”也應(yīng)可以被理解為是一個“問”，此時對應(yīng)的“答”可以是用于執(zhí)行相應(yīng)控制的控制程序的調(diào)用。

在一實例中，可確定問答知識庫中是否存在與問答交互日志中的用戶問句相匹配的標準問。此判斷可通過語義相似度計算來執(zhí)行。例如，可將用戶問句與知識庫中的標準問執(zhí)行語義相似度計算，將具有最高語義相似度的標準問作為與之匹配的標準問。

語義相似度算法是指通過一定的方法，來計算兩個不同字句子之間的相似程度。通常會用一個百分比來衡量句子之間的語義相似程度。

常見的字符串相似度算法包括編輯距離算法(EditDistance)，n-gram算法，JaroWinkler算法以及Soundex算法等等。

編輯距離算法可將兩個句子的相似度問題，歸結(jié)為將其中一個句子字符串轉(zhuǎn)化成另一個句子字符串所要付出的代價。轉(zhuǎn)化的代價越高，說明兩個字符串的相似度越低。通?？梢赃x擇的轉(zhuǎn)化方式包含插入，替換以及刪除。

N-Gram算法則是基于這樣的一個假設(shè)：即在字符串中第n個詞的出現(xiàn)只與前面n-1個詞相關(guān)，而與其他任何詞都不相關(guān)，整個字符串出現(xiàn)的概率就是各個詞出現(xiàn)的概率的乘積。N-gram本身也代表目標字符串中長度為n的子串，舉例，“ARM”在“ARMY”中，便是一個3-gram。當兩個字符串中，相同的n-gram越多時，兩個字串就會被認為更加相似。

Jaro Winkler則是將n-gram算法更進了一步。將n-gram中的不匹配的部分同時進行了換位的考慮，使得能獲得更準確的相似程度。JaroWinkler在比較兩個較短字符串的情況下，能夠取得很好的結(jié)果。

例如，用戶問句可以為：我想問下目前88元4G套餐包含多少流量。

匹配的標準問可以為：4G套餐流量。

若存在匹配的標準問，則確定所匹配的標準問的所對應(yīng)標準答案與問答交互日志中的相應(yīng)坐席答案是否一致，若匹配則通過問答分析，否則未通過問答分析。

例如，與標準問“4G套餐流量”相對應(yīng)的標準答案為調(diào)用參數(shù)“88元”的一個函數(shù)返回值，例如2個G的流量。此時可將其與坐席答案相比對，即可知曉坐席答案正確與否。

問答分析針對的多是通用的業(yè)務(wù)問題，在針對余額查詢這一類與用戶身份密切相關(guān)的業(yè)務(wù)問題進行問答分析時，問答知識庫中一般不會有這種個性化的知識點，因此問答分析的結(jié)果為null，表示問答分析無效。

在一些實施例中，問答分析還可結(jié)合長文本分析算法，可通過將長文本分析方法確定用戶問句包括M個問題，并通過長文本分析方法將坐席答案劃分為M個子答案，在此基礎(chǔ)上進行針對每個問題及其對應(yīng)的子答案分別進行問答分析。只有當所有問題及其對應(yīng)的子答案都通過問答分析時，才能確定坐席答案正確。

步驟105：對未通過話術(shù)分析、業(yè)務(wù)分析和問答分析中至少一項的問答交互日志進行標記以用于后續(xù)人工質(zhì)檢。

通過對未通過話術(shù)分析、業(yè)務(wù)分析和問答分析中至少一項的問答交互日志進行標記，可以使得人工僅僅質(zhì)檢這些被標記了的問答交互日志，從而節(jié)省人力。

在一實例中，可以從被標記的問答交互日志提取客服信息，所述客服信息可以包括：時間信息、人員信息、被標記類型(即：未通過話術(shù)分析、未通過業(yè)務(wù)分析和/或未通過問答分析)、被標記次數(shù)等等，以便后續(xù)對相應(yīng)的客服人員進行針對性的培訓或處罰等。

上述的話術(shù)分析、業(yè)務(wù)分析和問答分析可根據(jù)用戶的選擇來選擇其中的任意一種、兩種或三種進行執(zhí)行。或者，可通過預(yù)先設(shè)置用戶問句與質(zhì)檢分析的關(guān)系，從而后續(xù)收到具體的用戶問句時生成實時的質(zhì)檢方案。例如，當收到用戶問句為與用戶身份相關(guān)的個性化業(yè)務(wù)問題時，可以執(zhí)行業(yè)務(wù)分析，而在用戶問句為與用戶身份無關(guān)的一般性業(yè)務(wù)問題時，可以執(zhí)行問答分析。

盡管為使解釋簡單化將上述方法圖示并描述為一系列動作，但是應(yīng)理解并領(lǐng)會，這些方法不受動作的次序所限，因為根據(jù)一個或多個實施例，一些動作可按不同次序發(fā)生和/或與來自本文中圖示和描述或本文中未圖示和描述但本領(lǐng)域技術(shù)人員可以理解的其他動作并發(fā)地發(fā)生。

圖2是示出了根據(jù)本發(fā)明的一方面的用于問答交互日志的處理裝置200的框圖。處理裝置200可包括預(yù)處理單元201、話術(shù)分析單元202、業(yè)務(wù)分析單元203、問答分析單元204、標記單元205。

預(yù)處理單元201可將語音格式的問答交互日志轉(zhuǎn)換為文本格式的問答交互日志并過濾無意義的問答數(shù)據(jù)。

話術(shù)分析單元202可用于對問答交互日志執(zhí)行話術(shù)分析，以確定坐席答案是否存在禁語和/或負面情感。在一實例中，話術(shù)分析單元202可基于禁語詞庫檢索問答交互日志的坐席答案中是否存在被標記為禁語的詞語，若存在，則未通過話術(shù)分析。在另一實例中，話術(shù)分析單元202可基于情感詞典檢索問答交互日志的坐席答案中是否存在被標記為具有負面情感的文本，若存在，則未通過話術(shù)分析。在再一實例中，話術(shù)分析單元202可基于以語料作為訓練集構(gòu)建而成的情感分類器對問答交互日志的坐席答案進行情感分類，當分類結(jié)果為負面情感時，則未通過話術(shù)分析。

上述話術(shù)分析單元202可以詞語、句子、或段落為單元來執(zhí)行話術(shù)分析。

業(yè)務(wù)分析單元203利用CRM數(shù)據(jù)庫對問答交互日志執(zhí)行業(yè)務(wù)分析，以判斷用戶問句是否與用戶辦理過的業(yè)務(wù)匹配且坐席答案是否與提取的CRM數(shù)據(jù)一致。

在一實例中，如圖3所示，業(yè)務(wù)分析單元203可包括分詞單元2031、CRM數(shù)據(jù)獲取單元2032、以及比較單元2033。分詞單元2031可對問答交互日志中的用戶問句進行分詞，CRM數(shù)據(jù)獲取單元2032可從CRM數(shù)據(jù)庫中提取與分詞結(jié)果相關(guān)的CRM數(shù)據(jù)，而比較單元2033可判斷提取的CRM數(shù)據(jù)與坐席答案是否一致，如一致，則通過業(yè)務(wù)分析。

問答分析單元204可利用問答知識庫對問答交互日志執(zhí)行問答分析，以確定坐席答案是否正確。

具體而言，問答分析單元204可確定問答知識庫中是否存在與問答交互日志中的用戶問句相匹配的標準問，若存在，則確定所匹配的標準問的所對應(yīng)標準答案與所述問答交互日志中的所述坐席答案是否一致，若匹配則通過問答分析。

在一實例中，如圖4所示，問答分析單元204可包括語義相似度計算單元2041以通過語義相似度計算來確定用戶問句的匹配。在另一實例中，問答分析單元204可包括長文本分析單元2042以將用戶問句劃分為M個問題，并將坐席答案劃分為M個子答案。

標記單元205可對未通過話術(shù)分析、業(yè)務(wù)分析和問答分析中至少一項的問答交互日志進行標記以用于后續(xù)人工質(zhì)檢。

在一實施例中，該處理裝置200還可包括提取單元以從被標記的問答交互日志提取客服信息。

根據(jù)本發(fā)明的另一方面，還提供了一種用于問答交互日志的處理系統(tǒng)，如圖5所示。處理系統(tǒng)500可包括CRM數(shù)據(jù)庫510、問答知識庫520以及處理裝置530。這里的處理裝置530可以與先前描述的處理裝置200具有類似的結(jié)構(gòu)。

圖5中的處理裝置530僅示出了業(yè)務(wù)分析單元531和問答分析單元532。業(yè)務(wù)分析單元531可利用CRM數(shù)據(jù)庫對問答交互日志執(zhí)行業(yè)務(wù)分析，以判斷用戶問句是否與用戶辦理過的業(yè)務(wù)匹配且坐席答案是否與提取的CRM數(shù)據(jù)一致。問答分析單元532可利用問答知識庫對問答交互日志執(zhí)行問答分析，以確定坐席答案是否正確。

提供對本公開的先前描述是為使得本領(lǐng)域任何技術(shù)人員皆能夠制作或使用本公開。對本公開的各種修改對本領(lǐng)域技術(shù)人員來說都將是顯而易見的，且本文中所定義的普適原理可被應(yīng)用到其他變體而不會脫離本公開的精神或范圍。由此，本公開并非旨在被限定于本文中所描述的示例和設(shè)計，而是應(yīng)被授予與本文中所公開的原理和新穎性特征相一致的最廣范圍。