智能交互系統(tǒng)中未登錄詞的識別方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機科學(xué)技術(shù)領(lǐng)域，尤其涉及一種智能交互系統(tǒng)中未登錄詞的識別方法和裝置。
【背景技術(shù)】
[0002]在智能交互系統(tǒng)中，無論是對問題建立索弓丨，還是計算用戶問題與問答庫中問題的相似度，都需要首先對句子進(jìn)行分詞，但是由于部分句子中存在未登錄詞，使得現(xiàn)有的分詞效果并不理想，因此也影響到后續(xù)對句子相似度的計算，導(dǎo)致智能交互系統(tǒng)智能化降低。
[0003]現(xiàn)有技術(shù)中，分詞的效果依賴于分詞算法和分詞詞典。目前，分詞算法已取得不錯的效果，很難有較大提升，而分詞詞典中的詞是否齊全，會直接影響到分詞的效果，若分詞詞典中不包含該詞，即出現(xiàn)未登錄詞，則該詞很難被正確的切分。
[0004]智能交互系統(tǒng)中，部分用戶使用搜索引擎時，會自覺的進(jìn)行關(guān)鍵詞查詢，即用空格、1、“”等特殊字符進(jìn)行查詢，搜索引擎可以通過用戶的查詢記錄進(jìn)行新詞識別，進(jìn)而擴充用戶詞典，實現(xiàn)更快、更準(zhǔn)確的查詢。問答系統(tǒng)中，用戶習(xí)慣于使用連續(xù)的句子進(jìn)行查詢，因此，無法用同樣的方法來識別未登錄詞。
[0005]基于此有必要提供一種智能交互系統(tǒng)中未登錄詞識別方法和裝置，以豐富用戶詞典，當(dāng)需要基于用戶詞典對用戶輸入的語句進(jìn)行分詞時，能夠改善分詞效果，提高智能交互系統(tǒng)的智能化水平。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的主要目的在于提供一種智能交互系統(tǒng)中未登錄詞識別方法，以豐富用戶詞典，當(dāng)需要基于用戶詞典對用戶輸入的語句進(jìn)行分詞時，能夠改善分詞效果，提高智能交互系統(tǒng)的智能化水平。
[0007]為實現(xiàn)上述目的，本發(fā)明提供了一種智能交互系統(tǒng)中未登錄詞的識別方法，所述智能交互系統(tǒng)中未登錄詞的識別方法包括如下步驟:
[0008]SlO:獲取用戶輸入的詞；
[0009]S20:判斷所述用戶輸入的詞的長度是否等于I或大于4，若是，則忽略所述用戶輸入的詞，否則執(zhí)行S30 ；
[0010]S30:判斷所述用戶輸入的詞是否為預(yù)設(shè)的分詞詞典或用戶詞典中存在的詞，若是，則忽略所述用戶輸入的詞，否則執(zhí)行S40 ;
[0011]S40:判斷所述用戶輸入的詞是否包含于所述分詞詞典或用戶詞典的某個詞中，若是，則忽略所述用戶輸入的詞，否則執(zhí)行S50 ;
[0012]S50:將所述用戶輸入的詞添加到用戶輸入詞詞典中；
[0013]S60:判斷所述用戶輸入的詞是否為網(wǎng)絡(luò)詞條中的詞，若是，則將所述用戶輸入的詞作為未登錄詞加入所述用戶詞典中，并將所述用戶輸入的詞從所述用戶輸入詞詞典中刪除，否則忽略所述用戶輸入的詞。
[0014]優(yōu)選地，所述步驟SlO包括:
[0015]Sll:獲取用戶輸入時文本框的變化內(nèi)容；
[0016]S12:將所述文本框的變化內(nèi)容作為用戶輸入的詞。
[0017]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別方法還包括如下步驟:
[0018]S70:統(tǒng)計所述用戶輸入詞詞典中每個詞的詞頻；
[0019]S80:若所述用戶輸入詞詞典中某詞的詞頻大于預(yù)設(shè)值，則將所述詞作為未登錄詞加入用戶詞典中，并將所述詞從所述用戶輸入詞詞典中刪除。
[0020]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別方法還包括如下步驟:
[0021]S90:建立用戶詞典，在所述用戶詞典中存儲用戶特定應(yīng)用領(lǐng)域的常用詞。
[0022]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別方法還包括如下步驟:
[0023]SlOO:建立用戶輸入詞詞典詞，在所述用戶輸入詞詞典中存儲可能的未登錄詞。
[0024]為實現(xiàn)上述目的，本發(fā)明還提供了一種智能交互系統(tǒng)中未登錄詞的識別裝置，所述智能交互系統(tǒng)中未登錄詞的識別裝置包括:
[0025]獲取模塊，用于獲取用戶輸入的詞；
[0026]—級識別模塊，用于判斷所述用戶輸入的詞的長度是否等于I或大于4，若是，則忽略所述用戶輸入的詞；
[0027]二級識別模塊，用于當(dāng)所述用戶輸入的詞的長度為大于I且小于等于4時，判斷所述用戶輸入的詞是否為預(yù)設(shè)的分詞詞典或用戶詞典中存在的詞，若是，則忽略所述用戶輸入的詞；
[0028]三級識別模塊，用于當(dāng)所述用戶輸入的詞不是所述分詞詞典或用戶詞典中存在的詞時，判斷所述用戶輸入的詞是否包含于所述分詞詞典或用戶詞典的某個詞中，若是，則忽略所述用戶輸入的詞；
[0029]用戶輸入詞詞典更新模塊，用于當(dāng)所述用戶輸入的詞未包含于所述分詞詞典或用戶詞典的某個詞中時，將所述用戶輸入的詞添作為可能的未登錄詞加到用戶輸入詞詞典中；
[0030]四級識別模塊，用于當(dāng)所述用戶輸入的詞為網(wǎng)絡(luò)詞條中的詞時，將所述用戶輸入的詞作為未登錄詞加入所述用戶詞典中，并將所述用戶輸入的詞從所述用戶輸入詞詞典中刪除，否則忽略所述用戶輸入的詞。
[0031]優(yōu)選地，所述獲取模塊具體用于:
[0032]獲取用戶輸入時文本框的變化內(nèi)容，將所述文本框的變化內(nèi)容作為用戶輸入的
!?r] ο
[0033]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別裝置還包括:
[0034]用戶輸入詞詞典詞頻統(tǒng)計模塊，用于統(tǒng)計所述用戶輸入詞詞典中每個詞的詞頻；
[0035]用戶詞典更新模塊，用于若所述用戶輸入詞詞典中詞的詞頻大于預(yù)設(shè)值，則將所述詞作為未登錄詞加入用戶詞典中，并將所述詞從所述用戶輸入詞詞典中刪除。
[0036]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別裝置還包括:
[0037]用戶詞典建立模塊，用于建立用戶詞典，在所述用戶詞典中存儲用戶特定應(yīng)用領(lǐng)域的常用詞和所述未登錄詞。
[0038]進(jìn)一步地，所述智能交互系統(tǒng)中未登錄詞的識別裝置還包括:
[0039]用戶輸入詞詞典詞建立模塊，用于建立用戶輸入詞詞典詞，在所述用戶輸入詞詞典中存儲可能的未登錄詞。
[0040]本發(fā)明采用上述技術(shù)方案，帶來的技術(shù)效果為:通過逐級識別用戶輸入的詞的長度是否等于I或大于4、是否為預(yù)設(shè)的分詞詞典或用戶詞典中存在的詞、是否包含于所述分詞詞典或用戶詞典的某個詞中，篩選出可能的未登錄詞加入用戶輸入詞詞典中做臨時記錄，當(dāng)進(jìn)一步識別出所述用戶輸入的詞為網(wǎng)絡(luò)詞條中的詞時，將所述用戶輸入的詞加入所述用戶詞典中，同時將其從所述用戶輸入詞詞典中刪除。本發(fā)明實施例通過逐級識別用戶輸入的詞，將可能的未登錄詞加入用戶詞典中，豐富了用戶詞典，當(dāng)需要基于所述用戶詞典對用戶輸入的語句進(jìn)行分詞時，能夠改善分詞效果，提高智能交互系統(tǒng)的智能化水平。
【附圖說明】
[0041]圖1為本發(fā)明智能交互系統(tǒng)中未登錄詞識別方法第一優(yōu)選實施例流程示意圖；
[0042]圖2為本發(fā)明智能交互系統(tǒng)中未登錄詞識別方法第二優(yōu)選實施例流程示意圖；
[0043]圖3為本發(fā)明智能交互系統(tǒng)中未登錄詞識別裝置第一優(yōu)選實施例結(jié)構(gòu)示意圖；
[0044]圖4為本發(fā)明智能交互系統(tǒng)中未登錄詞識別裝置第二優(yōu)選實施例結(jié)構(gòu)示意圖。
[0045]本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結(jié)合實施例，參照附圖做進(jìn)一步說明。
【具體實施方式】
[0046]應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0047]自然語言處理是計算機科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。在自然語言處理過程中，詞是最小的語言單位。漢語在詞之間沒有特定標(biāo)記，所以因此在進(jìn)行自動處理時，需要預(yù)先進(jìn)行中文分詞。而未登錄詞的大量存在已經(jīng)成為影響中文分詞效果的技術(shù)瓶頸。未登錄詞識別(UWI)是從語料中自動檢測和識別未在詞典中出現(xiàn)過的詞語的過程，是自然語言處理領(lǐng)域的一項重要基礎(chǔ)技術(shù)，在中文自動分詞、詞典編撰、信息抽取、信息檢索以及機器翻譯等領(lǐng)域都有著廣泛的應(yīng)用需求。
[0048]本發(fā)明的主要目的在于提供一種智能交互系統(tǒng)中未登錄詞識別方法，以豐富用戶詞典，當(dāng)需要基于用戶詞典對用戶輸入的語句進(jìn)行分詞時，能夠改善分詞效果，提高智能交互系統(tǒng)的智能化水平。