基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機(jī)器翻譯技術(shù)領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法及裝 置。
【背景技術(shù)】
[0002] 近年來(lái)，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN)技術(shù)被廣泛應(yīng)用于機(jī)器 翻譯領(lǐng)域。與傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)相比，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯系統(tǒng)能夠充分 利用全局語(yǔ)義信息，翻譯質(zhì)量顯著提升。
[0003] 然而，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯技術(shù)也存在著明顯的不足之處：
[0004] -、詞表受限。
[0005] 通常，RNN翻譯模型僅能使用一個(gè)數(shù)量有限的單詞詞表（通常三萬(wàn)單詞以?xún)?nèi)），導(dǎo) 致詞表外單詞（0ut-〇f-vocabulary，00V)無(wú)法翻譯。
[0006] 二、RNN翻譯模型僅支持雙語(yǔ)語(yǔ)句對(duì)進(jìn)行訓(xùn)練，難以利用可有效提高翻譯結(jié)果流利 度的目標(biāo)語(yǔ)言單語(yǔ)語(yǔ)料進(jìn)行訓(xùn)練。
[0007] 三、無(wú)法增加或豐富更多的特征。
[0008] 具體來(lái)說(shuō)，傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯方法是基于多種特征執(zhí)行翻譯處理的，對(duì)于每一 個(gè)翻譯單元（單詞、短語(yǔ)、翻譯規(guī)則等）均計(jì)算每個(gè)特征的得分，最終結(jié)合多個(gè)特征的得分 來(lái)確定最優(yōu)翻譯結(jié)果。然而，這些能夠提高翻譯質(zhì)量的特征無(wú)法直接為RNN翻譯模型所用。
[0009] 四、漏詞現(xiàn)象嚴(yán)重，易生成較短翻譯結(jié)果，影響翻譯結(jié)果的可讀性。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明實(shí)施例的目的在于，提供一種基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法及裝置，結(jié)合 多種翻譯特征執(zhí)行翻譯，以提高翻譯結(jié)果的翻譯準(zhǔn)確性。
[0011] 為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明的實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方 法，包括：獲取源語(yǔ)言的語(yǔ)句；將所述源語(yǔ)言的語(yǔ)句進(jìn)行編碼，得到向量序列；基于所述向 量序列逐詞地預(yù)測(cè)目標(biāo)語(yǔ)言中相應(yīng)的候選詞；根據(jù)預(yù)測(cè)得到的候選詞生成目標(biāo)語(yǔ)言的語(yǔ) 句，其中，在任一所述候選詞的預(yù)測(cè)處理中，從預(yù)設(shè)的翻譯詞表中獲取多個(gè)初選詞，并且基 于對(duì)數(shù)線(xiàn)性模型計(jì)算每個(gè)所述初選詞的翻譯概率，以根據(jù)所述翻譯概率從所述多個(gè)初選詞 選取所述候選詞，所述對(duì)數(shù)線(xiàn)性模型根據(jù)神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯特征和統(tǒng)計(jì)機(jī)器翻譯模 型的翻譯特征建立的。
[0012] 優(yōu)選地，所述從預(yù)設(shè)的翻譯詞表中獲取多個(gè)初選詞，并且基于對(duì)數(shù)線(xiàn)性模型計(jì)算 每個(gè)所述初選詞的翻譯概率，以根據(jù)所述翻譯概率從所述多個(gè)初選詞選取所述候選詞的處 理包括：從預(yù)設(shè)的翻譯詞表中獲取M個(gè)詞語(yǔ)作為初選詞，M為正整數(shù)；根據(jù)所述向量序列和 在獲取M個(gè)初選詞之前預(yù)測(cè)出的候選詞，計(jì)算每個(gè)所述初選詞的神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯 特征；計(jì)算每個(gè)所述初選詞的統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征；根據(jù)計(jì)算得到的神經(jīng)網(wǎng)絡(luò)翻 譯模型的翻譯特征和統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征，結(jié)合所述對(duì)數(shù)線(xiàn)性模型計(jì)算每個(gè)所述 初選詞的翻譯概率值；對(duì)計(jì)算得到的M個(gè)翻譯概率值進(jìn)行排序，并將與前N位的翻譯概率值 相應(yīng)的初選詞選取為所述候選詞，N為正整數(shù)，且N < M。
[0013] 優(yōu)選地，所述基于所述向量序列逐詞地預(yù)測(cè)目標(biāo)語(yǔ)言中相應(yīng)的候選詞的處理還包 括：依據(jù)所述神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯特征標(biāo)記所述候選詞之間的關(guān)聯(lián)關(guān)系，所述根據(jù)預(yù) 測(cè)得到的候選詞生成目標(biāo)語(yǔ)言的語(yǔ)句的處理包括：根據(jù)具有關(guān)聯(lián)關(guān)系的所有候選詞生成目 標(biāo)語(yǔ)言的語(yǔ)句。
[0014] 優(yōu)選地，所述統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征包括雙向單詞翻譯模型特征。
[0015] 優(yōu)選地，所述統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征還包括N元語(yǔ)言模型特征和/或詞懲 罰特征。
[0016] 優(yōu)選地，所述將所述源語(yǔ)言的語(yǔ)句進(jìn)行編碼得到向量序列的處理包括：對(duì)源語(yǔ)言 的語(yǔ)句進(jìn)行分詞，將分得的多個(gè)分詞分別轉(zhuǎn)換成與每個(gè)所述分詞對(duì)應(yīng)的詞向量，由多個(gè)分 詞各自對(duì)應(yīng)的詞向量得到所述向量序列。
[0017] 優(yōu)選地，所述獲取源語(yǔ)言的語(yǔ)句的處理包括以下處理之一：接收文本數(shù)據(jù)，并將所 述文本數(shù)據(jù)作為所述源語(yǔ)言的語(yǔ)句；接收語(yǔ)音數(shù)據(jù)，對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別得到經(jīng) 語(yǔ)音識(shí)別的文本數(shù)據(jù)，并將所述經(jīng)語(yǔ)音識(shí)別的文本數(shù)據(jù)作為所述源語(yǔ)言的語(yǔ)句；接收?qǐng)D片 數(shù)據(jù)，對(duì)所述圖片數(shù)據(jù)進(jìn)行光學(xué)字符識(shí)別OCR得到經(jīng)OCR識(shí)別的文本數(shù)據(jù)，并將所述經(jīng)OCR 識(shí)別的文本數(shù)據(jù)作為所述源語(yǔ)言的語(yǔ)句。
[0018] 本發(fā)明的實(shí)施例還提供了一種基于神經(jīng)網(wǎng)絡(luò)模型的翻譯裝置，包括：語(yǔ)句獲取模 塊，用于獲取源語(yǔ)言的語(yǔ)句；語(yǔ)句編碼模塊，用于將所述源語(yǔ)言的語(yǔ)句進(jìn)行編碼得到向量序 列；候選詞預(yù)測(cè)模塊，用于基于所述向量序列逐詞地預(yù)測(cè)目標(biāo)語(yǔ)言中相應(yīng)的候選詞；語(yǔ)句 生成模塊，用于根據(jù)預(yù)測(cè)得到的候選詞生成目標(biāo)語(yǔ)言的語(yǔ)句，其中，在任一所述候選詞的預(yù) 測(cè)處理中，從預(yù)設(shè)的翻譯詞表中獲取多個(gè)初選詞，并且基于對(duì)數(shù)線(xiàn)性模型計(jì)算每個(gè)所述初 選詞的翻譯概率，以根據(jù)所述翻譯概率從所述多個(gè)初選詞選取所述候選詞，所述對(duì)數(shù)線(xiàn)性 模型根據(jù)神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯特征和統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征建立的。
[0019] 優(yōu)選地，所述候選詞預(yù)測(cè)模塊包括：初選詞獲取單元，用于從預(yù)設(shè)的翻譯詞表中獲 取M個(gè)詞語(yǔ)作為初選詞，M為正整數(shù)；神經(jīng)網(wǎng)絡(luò)模型特征計(jì)算單元，用于根據(jù)所述向量序列 和在獲取M個(gè)初選詞之前預(yù)測(cè)出的候選詞，計(jì)算每個(gè)所述初選詞的神經(jīng)網(wǎng)絡(luò)翻譯模型的翻 譯特征；統(tǒng)計(jì)機(jī)器模型特征計(jì)算單元，用于計(jì)算每個(gè)所述初選詞的統(tǒng)計(jì)機(jī)器翻譯模型的翻 譯特征；翻譯概率計(jì)算單元，用于根據(jù)計(jì)算得到的神經(jīng)網(wǎng)絡(luò)翻譯模型的翻譯特征和統(tǒng)計(jì)機(jī) 器翻譯模型的翻譯特征，結(jié)合所述對(duì)數(shù)線(xiàn)性模型計(jì)算每個(gè)所述初選詞的翻譯概率值；候選 詞選取單元，用于對(duì)計(jì)算得到的M個(gè)翻譯概率值進(jìn)行排序，并將與前N位的翻譯概率值相應(yīng) 的初選詞選取為所述候選詞，N為正整數(shù)，且N < M。
[0020] 優(yōu)選地，所述候選詞預(yù)測(cè)模塊還包括：候選詞關(guān)聯(lián)單元，用于依據(jù)所述神經(jīng)網(wǎng)絡(luò)翻 譯模型的翻譯特征標(biāo)記所述候選詞之間的關(guān)聯(lián)關(guān)系，所述語(yǔ)句生成模塊，用于根據(jù)具有關(guān) 聯(lián)關(guān)系的所有候選詞生成目標(biāo)語(yǔ)言的語(yǔ)句。
[0021] 優(yōu)選地，所述統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征包括雙向單詞翻譯模型特征。
[0022] 優(yōu)選地，所述統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征還包括N元語(yǔ)言模型特征和/或詞懲 罰特征。
[0023] 優(yōu)選地，所述語(yǔ)句編碼模塊用于對(duì)源語(yǔ)言的語(yǔ)句進(jìn)行分詞，將分得的多個(gè)分詞分 別轉(zhuǎn)換成與每個(gè)所述分詞對(duì)應(yīng)的詞向量，由多個(gè)分詞各自對(duì)應(yīng)的詞向量得到所述向量序 列。
[0024] 優(yōu)選地，所述語(yǔ)句獲取模塊包括以下單元之一：文本數(shù)據(jù)接收單元，用于接收文本 數(shù)據(jù)，并將所述文本數(shù)據(jù)作為所述源語(yǔ)言的語(yǔ)句；語(yǔ)音數(shù)據(jù)接收及識(shí)別單元，用于接收語(yǔ)音 數(shù)據(jù)，對(duì)所述語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別得到經(jīng)語(yǔ)音識(shí)別的文本數(shù)據(jù)，并將所述經(jīng)語(yǔ)音識(shí)別的 文本數(shù)據(jù)作為所述源語(yǔ)言的語(yǔ)句；圖片數(shù)據(jù)接收及識(shí)別單元，用于接收?qǐng)D片數(shù)據(jù)，對(duì)所述圖 片數(shù)據(jù)進(jìn)行光學(xué)字符識(shí)別OCR得到經(jīng)OCR識(shí)別的文本數(shù)據(jù)，并將所述經(jīng)OCR識(shí)別的文本數(shù) 據(jù)作為所述源語(yǔ)言的語(yǔ)句。
[0025] 本發(fā)明實(shí)施例提供的基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法及裝置，對(duì)獲取到的源語(yǔ)言的 語(yǔ)句進(jìn)行編碼得到向量序列，再基于向量序列逐詞地預(yù)測(cè)目標(biāo)語(yǔ)言中相應(yīng)的候選詞，在任 一所述候選詞的預(yù)測(cè)處理過(guò)程中，利用對(duì)數(shù)線(xiàn)性模型，將統(tǒng)計(jì)機(jī)器翻譯模型的翻譯特征引 入神經(jīng)網(wǎng)絡(luò)翻譯模型，從而計(jì)算從預(yù)設(shè)的翻譯詞表中獲取的每個(gè)初選詞的翻譯概率，由此 基于翻譯概率計(jì)算結(jié)果從多個(gè)初選詞中選取候選詞，最終根據(jù)預(yù)測(cè)的候選詞自動(dòng)地生成目 標(biāo)語(yǔ)言的語(yǔ)句，極大地提高了翻譯的準(zhǔn)確性、可讀性及流暢性。同時(shí)，生成的翻譯結(jié)果長(zhǎng)度 適宜，降低了漏詞率。
【附圖說(shuō)明】
[0026] 圖1是示出本發(fā)明實(shí)施例一的基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法的流程圖；
[0027] 圖2是示出本發(fā)明實(shí)施例一的基于神經(jīng)網(wǎng)絡(luò)模型的翻譯方法中神經(jīng)網(wǎng)絡(luò)翻譯模 型的應(yīng)用場(chǎng)景示例性示意圖；
[0028] 圖3是示出本發(fā)明實(shí)施例一的基于神經(jīng)