基于多語言的分詞方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明實(shí)施例涉及分詞技術(shù)領(lǐng)域，尤其涉及一種基于多語言的分詞方法和裝置。
【背景技術(shù)】
[0002]在搜索引擎、文本分析、數(shù)據(jù)挖掘等人工智能相關(guān)的工作中，對(duì)于沒有空格或者其他明顯標(biāo)志符號(hào)分割單詞的語言里，利用計(jì)算機(jī)進(jìn)行自然語言分析時(shí)，為方便獲取單詞，分詞是必須的一個(gè)基礎(chǔ)工作。以便對(duì)分詞后的其他處理工作進(jìn)行展開。
[0003]現(xiàn)有技術(shù)的分詞方法是獨(dú)立針對(duì)某一種語言設(shè)計(jì)的。即某種分詞方法只能對(duì)一種語言進(jìn)行分詞。其中，針對(duì)某一種語言的分詞方法包括:基于詞典的分詞方法，基于語法規(guī)則的方法及基于統(tǒng)計(jì)的分詞方法。
[0004]但是當(dāng)前很多應(yīng)用中會(huì)涉及到多種語言，對(duì)涉及到多種語言的應(yīng)用進(jìn)行分詞時(shí)，亟需一種基于多語言的分詞方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種基于多語言的分詞方法和裝置，該方法實(shí)現(xiàn)了對(duì)涉及到多種語言的應(yīng)用或文本統(tǒng)一進(jìn)行分詞，提高了分詞效率。
[0006]本發(fā)明實(shí)施例提供一種基于多語言的分詞方法，包括:
[0007]接收用戶發(fā)送的待分詞的文本，所述待分詞的文本中攜帶語句分隔符；
[0008]根據(jù)語句分隔符，識(shí)別所述待分詞的文本中每個(gè)語句的語言類別；
[0009]根據(jù)所述語言類別，在預(yù)存儲(chǔ)的語言類別和分詞方法的對(duì)應(yīng)關(guān)系中查找對(duì)應(yīng)的分詞方法；
[0010]采用所述語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞；
[0011]向用戶輸出所述待分詞的文本的分詞結(jié)果。
[0012]本發(fā)明實(shí)施例提供一種基于多語言的分詞裝置，包括:
[0013]接收模塊，用于接收用戶發(fā)送的待分詞的文本，所述待分詞的文本中攜帶語句分隔符;
[0014]識(shí)別模塊，用于根據(jù)語句分隔符，識(shí)別所述待分詞的文本中每個(gè)語句的語言類別；
[0015]查找模塊，用于根據(jù)所述語言類別，在預(yù)存儲(chǔ)的語言類別和分詞方法的對(duì)應(yīng)關(guān)系中查找對(duì)應(yīng)的分詞方法；
[0016]分詞模塊，用于采用所述語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞；
[0017]輸出模塊，用于向用戶輸出所述待分詞的文本的分詞結(jié)果。
[0018]本發(fā)明實(shí)施例提供一種基于多語言的分詞方法和裝置。該方法包括:接收用戶發(fā)送的待分詞的文本，待分詞的文本中攜帶語句分隔符；根據(jù)語句分隔符，識(shí)別待分詞的文本中每個(gè)語句的語言類別；根據(jù)語言類別，在預(yù)存儲(chǔ)的語言類別和分詞方法的對(duì)應(yīng)關(guān)系中查找對(duì)應(yīng)的分詞方法；采用語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞；向用戶輸出待分詞的文本的分詞結(jié)果。該方法實(shí)現(xiàn)了對(duì)涉及到多種語言的應(yīng)用或文本統(tǒng)一進(jìn)行分詞，提高了分詞效率。
【附圖說明】
[0019]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0020]圖1為本發(fā)明基于多語言的分詞方法實(shí)施例一的流程圖；
[0021]圖2為本發(fā)明基于多語言的分詞方法實(shí)施例二的第一流程圖；
[0022]圖3為本發(fā)明基于多語言的分詞方法實(shí)施例二的第二流程圖
[0023]圖4為本發(fā)明基于多語言的分詞裝置實(shí)施例一的結(jié)構(gòu)示意圖；
[0024]圖5為本發(fā)明基于多語言的分詞裝置實(shí)施例二的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0025]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0026]圖1為本發(fā)明基于多語言的分詞方法實(shí)施例一的流程圖，如圖1所示，本實(shí)施例的執(zhí)行主體為計(jì)算機(jī)，筆記本電腦，服務(wù)器等。具體可以通過軟件方式實(shí)現(xiàn)。本實(shí)施例提供的基于多語言的分詞方法包括:
[0027]步驟101，接收用戶發(fā)送的待分詞的文本，待分詞的文本中攜帶語句分隔符。
[0028]本實(shí)施例中，執(zhí)行主體可通過客戶端或分詞界面向用戶提供本實(shí)施例中基于多語言的分詞方法。在客戶端或分詞索界面中配置輸入欄或調(diào)取欄。用戶可通過在輸入欄中輸入待分詞的文本的方式或在調(diào)取欄中調(diào)入待分詞的文本的方式發(fā)送待分詞的文本。
[0029]其中，在待分詞的文本中攜帶語句分隔符，可預(yù)先設(shè)定語句分隔符的種類，如預(yù)先設(shè)定的語句分隔符可以為空格，換行，逗號(hào)，句號(hào)及冒號(hào)等。
[0030]本實(shí)施例中，待分詞的文本中可以包括多種語言，也可以只包括一種語言，本實(shí)施例中對(duì)此不做限定。
[0031]本實(shí)施例中，對(duì)于待分詞的多個(gè)文本，其多個(gè)文本的語言種類可以相同也可以不同，本實(shí)施中對(duì)此不做限定。
[0032]步驟102，根據(jù)語句分隔符，識(shí)別待分詞的文本中每個(gè)語句的語言類別。
[0033]本實(shí)施例中，可通過ISO國際標(biāo)準(zhǔn)規(guī)定的國家編碼IS0-3166和語言編碼IS0-639為標(biāo)準(zhǔn)，采用Langld工具包識(shí)別待分詞的文本中每個(gè)語句的語言類別。也可通過收集不同語言類別的文本語料，采用機(jī)器學(xué)習(xí)的方法進(jìn)行學(xué)習(xí)，得到優(yōu)化后的語言識(shí)別模型，將該待分詞的文本中每個(gè)語句輸入到優(yōu)化后的語言識(shí)別模型中，對(duì)每個(gè)語句的語言類別進(jìn)行識(shí)另IJ。本實(shí)施例中對(duì)此不做限定。
[0034]步驟103，根據(jù)語言類別，在預(yù)存儲(chǔ)的語言類別和分詞方法的對(duì)應(yīng)關(guān)系中查找對(duì)應(yīng)的分詞方法。
[0035]本實(shí)施例中，預(yù)先存儲(chǔ)了不同語言類別對(duì)應(yīng)的分詞方法，針對(duì)每種語言類別，其對(duì)應(yīng)的分詞方法為優(yōu)化后的最適合對(duì)該語言類別的語句進(jìn)行分詞的方法。
[0036]舉例說明為:對(duì)于中文的分詞，對(duì)應(yīng)的最適合分詞方法為基于中文分詞詞典和基于中文語料優(yōu)化后的條件隨機(jī)場(chǎng)模型相結(jié)合的分詞方法，對(duì)于日文的分詞，對(duì)應(yīng)的最適合分詞方法為基于日文詞典和基于日文語料優(yōu)化后的條件隨機(jī)場(chǎng)模型相結(jié)合的分詞方法等。
[0037]步驟104，采用語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞。
[0038]本實(shí)施例中，針對(duì)每個(gè)語句，采用語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞，每個(gè)語句的分詞可以同時(shí)進(jìn)行，也可按照語句在文本的先后順序進(jìn)行，本實(shí)施例中不做限定。
[0039]步驟105，向用戶輸出待分詞的文本的分詞結(jié)果。
[0040]本實(shí)施例中，首先根據(jù)每個(gè)語句的分詞結(jié)果，在每個(gè)語句的分詞之間添加分詞分隔符，然后將添加分詞分隔符后的語句組合，每個(gè)語句之間存在原有的語句分隔符，最后在語句分隔符后添加分詞分隔符。
[0041]其中，分詞分隔符可以用斜線表示，也可用空格表示，也可用斜線加空格表示，本實(shí)施例中不做限定。
[0042]舉例說明為:待分詞的文本為:“按今日最新消息稱日本野黨的礒崎希望辭職，原文為:野黨側(cè)礒崎氏?辭任爸求? 3。”此待分詞文本中預(yù)先設(shè)定的語句分隔符為逗號(hào)，冒號(hào)及句號(hào)。根據(jù)語句分隔符，識(shí)別的待分詞的文本的第一個(gè)語句為“按今日最新消息稱日本野黨的礒崎希望辭職”，第二語句為“原文為”，第三個(gè)語句為“野黨側(cè)礒崎氏Φ辭任奩求? 3 ”識(shí)別出的第一個(gè)語句為中文，第二個(gè)語句為中文，第三個(gè)語句為日文，采用中文對(duì)應(yīng)的分詞方法對(duì)第一個(gè)語句進(jìn)行分詞，得到的第一個(gè)語句的分詞結(jié)果表示為:“按/今日/最新消息/稱/日本野黨/的/礒崎/希望/辭職/”，采用中文對(duì)應(yīng)的分詞方法對(duì)第二個(gè)語句進(jìn)行分詞，得到的第二個(gè)語句的分詞結(jié)果表示為“原文/為/”，采用日文對(duì)應(yīng)的分詞方法對(duì)第三個(gè)語句進(jìn)行分詞，得到的第三個(gè)語句的分詞結(jié)果表示為“野黨/側(cè)/ /礒崎/氏/ Φ /辭任/爸/求? § /”，將添加分詞分隔符后的語句組合，每個(gè)語句之間存在原有的語句分隔符，最后在語句分隔符后添加分詞分隔符，則最終該待分詞文本的分詞結(jié)果可以表示為:“按/今日/最新消息/稱/日本野黨/的/礒崎/希望/辭職/，/原文/為/:/野黨/側(cè)/ /礒崎/氏/ ? /辭任/奩/求?各/。/”。
[0043]本實(shí)施例提供的基于多語言的分詞方法，通過接收用戶發(fā)送的待分詞的文本，待分詞的文本中攜帶語句分隔符；根據(jù)語句分隔符，識(shí)別待分詞的文本中每個(gè)語句的語言類別；根據(jù)語言類別，在預(yù)存儲(chǔ)的語言類別和分詞方法的對(duì)應(yīng)關(guān)系中查找對(duì)應(yīng)的分詞方法；采用語言類別對(duì)應(yīng)的分詞方法對(duì)相應(yīng)語言類別的語句進(jìn)行分詞；向用戶