專利名稱：情感語音翻譯裝置及處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種語言翻譯裝置和一種語言翻譯處理方法，特別是一種以源語言形 式的輸入語音數(shù)據(jù)變換成目的語言的聲音而進(jìn)行的利用輸入源語言的語音情感信息在機(jī) 器翻譯處理過程的裝置以及處理方法。
背景技術(shù)：
近年來，伴隨著計(jì)算機(jī)硬件以及軟件性能的提高，語音識(shí)別，語音合成和機(jī)器翻譯 技術(shù)得到了飛速發(fā)展，并逐步實(shí)現(xiàn)了高速化以及高精度化。另外隨著國際間的交流和合作 日益頻繁和緊密，多國語言之間的交流特別是多國語言之間的語音翻譯已經(jīng)是非常重要。 因此綜合語音識(shí)別，語音合成和機(jī)器翻譯這三項(xiàng)技術(shù)的多國語言之間的語音翻譯裝置的研 發(fā)開始得到了廣泛的重視。在語音翻譯裝置中，主要公開出如下的技術(shù)為了改變目的語言 的合成語音的單調(diào)性，從輸入的源語言語音之中抽取情感特征，并轉(zhuǎn)換為目的語言的情感 特征，然后應(yīng)用在語音合成之中，從而合成出與輸入的源語言語音相類似的情感語音(例 如參照專利文獻(xiàn)1)?；蛘邚脑凑Z言的輸入聲音抽取說話者的韻律特征，測量與目的語言聲 音的類似性，并映射成目的語言所對(duì)應(yīng)的韻律特征并應(yīng)用在語音合成之中，從而合成出與 源語言聲音的韻律比較類似的目的語言聲音(例如參照專利文獻(xiàn)2)。以上所述的技術(shù)是通過測量輸入的源語言的語音的韻律特征，并控制目的語言的 聲音合成部而實(shí)現(xiàn)的。但是以往的這些方法沒有利用語音的非語言信息(例如情感信息) 在機(jī)器翻譯過程中來提高翻譯的精度。專利文獻(xiàn)1 申請(qǐng)?zhí)?專利號(hào)01116524專利文獻(xiàn)2 申請(qǐng)?zhí)?專利號(hào)20081017618
發(fā)明內(nèi)容
為了解決上述的技術(shù)問題，本發(fā)明的目的是提供一種高效、實(shí)時(shí)、全面的情感語音 翻譯裝置及處理方法。本發(fā)明的目的在于提供一種聲音翻譯系統(tǒng)，利用所輸入的源語言聲音的情感信息 在機(jī)器翻譯處理過程之中，以提高翻譯的正確性以及場景恰當(dāng)性，同時(shí)把源語言的情感特 征轉(zhuǎn)換成對(duì)應(yīng)的目的語言的情感特征，然后使用在目的語言的語音合成之中，能輸出附帶 情感特征的語音。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是情感語音翻譯裝置，包括一輸入處理部，接受第1語言的源聲音的輸入，根據(jù)上述源聲音生成作為上述第1 語言的文本和對(duì)應(yīng)的情感信息；一翻譯部，參考第1語言的情感信息把第1語言的文本翻譯成最適合的第2語言 的對(duì)譯文；還包括
一情感信息處理部，將上述第1語言的情感信息轉(zhuǎn)換成對(duì)應(yīng)的第2語言的情感信 息，并把該轉(zhuǎn)換信息作為翻譯部的輸入信息，并作用于翻譯處理過程中。進(jìn)一步作為優(yōu)選的實(shí)施方式，還包括語音合成部，將上述翻譯出的第2語言的文 本生成對(duì)應(yīng)的第2語言的語音。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述輸入處理部包括接收源語言語音輸入的聲音特 征抽取部和聲音識(shí)別部，所述聲音特征抽取部的輸出端連接有聲音情感解析部，所述聲音 情感解析部的輸出端連接有輸出源語言情感特征的情感特征修正部，所述聲音識(shí)別部的輸 出端連接有語言解析部，所述語言解析部的輸出端連接有輸出源語言解析結(jié)果的語言修正 變更部，所述語言修正變更部的另一輸入端連接有翻譯結(jié)果對(duì)象顯示修正單元。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述翻譯部包括接收源語言解析結(jié)果和源語言情感 特征的源語言文脈解析部，所述情感信息處理部包括情感特征參數(shù)匹配映射部，所述源語 言文脈解析部的輸入端連接有語言解析詞典、輸出端連接有目標(biāo)語言文脈候補(bǔ)生成部，目 標(biāo)語言文脈候補(bǔ)生成部的輸入端連接有翻譯用詞典、輸出端連接有輸出目的語言翻譯結(jié)果 的目標(biāo)語言文脈最優(yōu)候補(bǔ)選擇部，所述情感特征參數(shù)匹配映射部的輸入端與源語言文脈解 析部的另一輸入端連接，情感特征參數(shù)匹配映射部根據(jù)情感特征變換規(guī)則輸出目的語言情 感特征，其輸出端與目標(biāo)語言文脈最優(yōu)候補(bǔ)選擇部連接。情感語音翻譯處理方法，情感語音翻譯裝置接收基于第1語言的源聲音的輸入， 將上述輸入的內(nèi)容變換成第2語言而以聲音形式輸出，包括以下步驟P1、接收上述源聲音的輸入的步驟；P2、根據(jù)上述源聲音生成作為基于上述第1語言的文本的源語言文本以及上述源 聲音的情感信息的步驟；P3、生成將上述源語言文本從上述第1語言變換成上述第2語言的對(duì)譯文的步 驟；P3、根據(jù)上述情感變換信息，將上述源聲音的情感信息變換成上述輸出的聲音的 情感信息的步驟；P4、根據(jù)上述輸出的聲音的情感信息合成聲音，輸出上述對(duì)譯文的步驟。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟Pl至P4進(jìn)一步細(xì)化為以下步驟Si、開始；S2、源語言語音輸入處理，同時(shí)執(zhí)行步驟S3和步驟S4 ；S3、源語言輸入信息翻譯成目的語言對(duì)應(yīng)信息；S4、輸入源語言情感信息轉(zhuǎn)化為目的語言情感信息；S5、結(jié)合步驟S3和S4，目的語言翻譯結(jié)果輸出；S6、結(jié)束。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S2至S5進(jìn)一步細(xì)化為以下步驟S21、對(duì)輸入的源語言語音進(jìn)行識(shí)別處理；S22、抽取源語言情感特征向量參數(shù)；S23、結(jié)合源語言標(biāo)準(zhǔn)情感特征庫，計(jì)算源語言的情感特征以及與標(biāo)準(zhǔn)情感特征的 差分向量；S24、在情感變換數(shù)據(jù)庫里是否有對(duì)應(yīng)的變換規(guī)則，如果有則執(zhí)行步驟S25，如果沒有則執(zhí)行步驟S27 ；S25、根據(jù)情感特征變換規(guī)則，計(jì)算目的語言的對(duì)應(yīng)情感特征差分向量；S26、根據(jù)目的語言標(biāo)準(zhǔn)情感特征庫，計(jì)算目的語言的情感韻律模式，結(jié)束；S27、錯(cuò)誤處理，結(jié)束。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S23進(jìn)一步包括以下步驟S231、輸入處理部保存包括上述第1語言的標(biāo)準(zhǔn)的情感信息的第1標(biāo)準(zhǔn)情感信息、 以及包括上述第2語言的標(biāo)準(zhǔn)的情感信息的第2標(biāo)準(zhǔn)情感信息；S232、情感信息處理部根據(jù)上述第1標(biāo)準(zhǔn)情感信息，取得上述源聲音的情感信息 與上述第1語言的標(biāo)準(zhǔn)的情感信息之問的差分信息；S233、情感信息處理部根據(jù)上述對(duì)譯文以及上述源聲音的情感信息的差分信息， 從上述情感變換信息，檢索上述第2語言的情感信息；S234、情感信息處理部根據(jù)上述第2標(biāo)準(zhǔn)情感信息，取得上述檢索出的第2語言的 情感信息與上述第2語言的標(biāo)準(zhǔn)情感信息之問的差分信息；S235、情感信息處理部根據(jù)上述取得的第2語言的情感信息的差分信息，生成上 述輸出的聲音的情感信息。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S5進(jìn)一步細(xì)化為情感信息處理部通過將 上述源語言文本分割成設(shè)定的發(fā)音單元，并針對(duì)每個(gè)上述分割出的發(fā)音單元取得上述第2 語言的情感信息的差分信息，從而生成為上述輸出的聲音的情感信息。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S22進(jìn)一步細(xì)化為情感信息處理部是通 過對(duì)包括基頻包絡(luò)、基頻最大值，基頻最小值、基頻最大值與最小值的差，停頓的持續(xù)長度， 音量、重音、語速，音素或音節(jié)的元音區(qū)間的持續(xù)長度特征參數(shù)進(jìn)行數(shù)值化后的向量來表
7J\ ο進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟S234中從上述情感變換信息檢索上述第2 語言的情感信息的步驟是將表示上述源聲音的情感信息的向量與表示上述第1語言的情 感信息的向量的距離作為檢索上述第2語言的韻律信息的檢索參數(shù)。進(jìn)一步作為優(yōu)選的實(shí)施方式，所述步驟P2包括以下步驟P21、解析包含在上述源聲音中的發(fā)音單元的步驟；P22、根據(jù)上述發(fā)音單元的解析結(jié)果，生成上述源聲音的情感信息的步驟；P23、根據(jù)上述源聲音的韻律信息，生成上述源語言文本的步驟。進(jìn)一步作為優(yōu)選 的實(shí)施方式，所述步驟P3包括以下步驟P31、顯示包括上述對(duì)譯文以及所對(duì)應(yīng)的情感信息的變換結(jié)果的步驟；P32、接受上述變換結(jié)果的修正的步驟；P33、使上述修正后的變換結(jié)果反映到上述情感變換信息的步驟。本發(fā)明的有益效果是本發(fā)明情感語音翻譯裝置由于在翻譯過程中同時(shí)提取情感 信息，情感信息作用于最終的翻譯結(jié)果，使翻譯輸出的目標(biāo)語音更貼近源語音的意思和情 感，用戶使用本翻譯裝置會(huì)更加方便、舒適，很容易就能準(zhǔn)確理解被翻譯者的意思、感情和 思想，本發(fā)明翻譯裝置翻譯效果理想，性價(jià)比高。本發(fā)明的另一個(gè)有益效果是本發(fā)明情感語音翻譯處理方法，通過在翻譯的同時(shí) 提取源語音的情感信息，使翻譯出的目標(biāo)語音帶有情感因素，更加貼近源語音的意思和情感表達(dá)，達(dá)到了很好的翻譯效果。


下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
圖1是本發(fā)明的第1實(shí)施方式的聲音翻譯裝置的結(jié)構(gòu)圖2是本發(fā)明的第1實(shí)施方式的各結(jié)構(gòu)的處理的關(guān)系圖3是本發(fā)明的第1實(shí)施方式的處理流程圖4是本發(fā)明的第1實(shí)施方式的輸入處理部的結(jié)構(gòu)圖5是本發(fā)明的第1實(shí)施方式的翻譯部以及情感信息處理部的結(jié)構(gòu)圖6是本發(fā)明的第1實(shí)施方式的情感情感信息處理流程圖7是本發(fā)明的第2實(shí)施方式的聲音翻譯裝置的包括輸入部以及輸出部的圖8是本發(fā)明的第2實(shí)施方式的聲音翻譯裝置的輸入輸出畫面的一個(gè)例子的圖。
符號(hào)說明
1聲音翻譯裝置
2處理器
3主存儲(chǔ)器
4存儲(chǔ)部
5輸入部
6輸出部
10輸入處理部
20翻譯部
30情感信息處理部
40語音合成部
50情感特征變換用類 據(jù)
60語言解析辭典
70翻譯用辭典
110聲音特征抽取部
120聲音識(shí)別部
130聲音情感解析部
140語言解析部
150情感特征修正部
160語言修正變更部
170翻譯結(jié)果對(duì)象顯示修正單元
210源語言文脈解析部
220目標(biāo)語言文脈候補(bǔ)生成部
230目標(biāo)語言文脈最優(yōu)候補(bǔ)選擇
310情感參數(shù)匹配映射部
320情感特征變換規(guī)則
330源語言標(biāo)準(zhǔn)情感特征庫
8
340目的語言標(biāo)準(zhǔn)情感特征庫1501源語言語種選擇輸入口1502目的語言語種選擇輸入口1503翻譯按鈕1504播放按鈕1505更新按鈕1506源語言識(shí)別結(jié)果顯示1507目的語言翻譯即轉(zhuǎn)換候補(bǔ)I1508目的語言翻譯即轉(zhuǎn)換候補(bǔ)II1509其它目的語言翻譯即轉(zhuǎn)換候補(bǔ)1510候補(bǔ)選擇按鈕I1511候補(bǔ)選擇按鈕IISl處理流程開始S2源語言語音輸入處理S3源語言輸入信息翻譯成目的語言對(duì)應(yīng)信息S4輸入源語言情感信息轉(zhuǎn)化為目的語言情感信息S5目的語言翻譯結(jié)果輸出S6處理流程結(jié)束S21對(duì)輸入的源語言語音進(jìn)行識(shí)別處理S22抽取源語言情感特征向量參數(shù)S23計(jì)算源語言的情感特征以及與標(biāo)準(zhǔn)情感特征的差分向量S24判斷在情感變換DB是否有對(duì)應(yīng)的規(guī)則S25計(jì)算目的語言的對(duì)應(yīng)情感特征向量S26計(jì)算目的語言的情感韻律模式S27錯(cuò)誤處理DlO輸入輸出觸摸顯示面板D20Mic 接口D30輸入語音音量控制旋鈕D40Speaker 接口D50輸出語音音量控制旋鈕D60USB 接口
具體實(shí)施例方式(第1實(shí)施方式)圖1是本發(fā)明的第1實(shí)施方式的聲音翻譯裝置的結(jié)構(gòu)圖。聲音翻譯裝置1具有處理器2，主存儲(chǔ)器3，存儲(chǔ)部4，輸入部5以及輸出部6。另外 在本發(fā)明的第1實(shí)施方式中，構(gòu)成為有聲音翻譯裝置1的所有功能，但作為聲音翻譯系統(tǒng)， 也可構(gòu)成為針對(duì)每個(gè)功能由不同的計(jì)算機(jī)來進(jìn)行處理，也可以構(gòu)成為為了保存向存儲(chǔ)部4 保存的數(shù)據(jù)而包括其它存儲(chǔ)裝置。
(a)處理器2通過處理存儲(chǔ)在主存儲(chǔ)器3中的程序，執(zhí)行各項(xiàng)處理。(b)主存儲(chǔ)器3存儲(chǔ)由處理器2，輸入部5以及輸出部6所執(zhí)行的輸入處理部10， 翻譯部20，情感信息處理部30，語音合成部40的程序。輸入處理部10對(duì)輸入的語音進(jìn)行處理，翻譯部20對(duì)所輸入的的源語言語音數(shù)據(jù) 進(jìn)行翻譯，另外翻譯部20包括同一語言之間的方言變換。情感信息處理部30對(duì)輸入的源語言的語音數(shù)據(jù)進(jìn)行解析，從而計(jì)算出所對(duì)應(yīng)的 情感特征。進(jìn)一步把該情感特征用于翻譯部20的翻譯處理過程之中，同時(shí)利用情感匹配數(shù) 據(jù)庫把源語言的輸入語音的情感特征轉(zhuǎn)換為目的語言所對(duì)應(yīng)的情感特征。語音合成部40根據(jù)由翻譯部20和情感信息處理部30所得到的目的語言數(shù)據(jù)，合 成為目的語言的語音。(c)存儲(chǔ)部4保存本發(fā)明的聲音翻譯處理所需要的程序以及數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)部 4中的程序和數(shù)據(jù)在執(zhí)行時(shí)被載入主存儲(chǔ)器3。存儲(chǔ)在存儲(chǔ)器4中的數(shù)據(jù)中包括情感特征 變換用數(shù)據(jù)50，言語解析辭典60，翻譯用辭典70。情感特征變換用數(shù)據(jù)50包括了 情感特征變換規(guī)則320，源語言標(biāo)準(zhǔn)情感特征庫 330，目的語言標(biāo)準(zhǔn)情感特征庫340。(d)輸入部5接受聲音信息以及文本信息等輸入。具體而言，包括接受聲音的輸入 的麥克風(fēng)、以及接受文本信息等的輸入的鍵盤等。(e)輸出部6輸出聲音信息以及文本信息等具體而言，包括輸出聲音信息的揚(yáng)聲 器、以及顯示翻譯結(jié)果等的通用顯示器等。圖2是說明基于本發(fā)明的第1實(shí)施方式的各結(jié)構(gòu)的處理的關(guān)系的圖。(a)在本發(fā)明的聲音翻譯裝置1中，由輸入處理部10接受輸入語言(第1語言) 的源語音數(shù)據(jù)。通過使用語音識(shí)別技術(shù)，輸入處理部將所輸入的源語音數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的 文本；同時(shí)解析輸入的源語音的情感特征，并將上述文本和情感信息向翻譯部20以及情感 信息處理部30提交變換結(jié)果。在后面，使用圖4對(duì)輸入處理部10的結(jié)構(gòu)進(jìn)行詳細(xì)說明。(b)翻譯部20將從源語音數(shù)據(jù)轉(zhuǎn)換為基于源語言的文本以及對(duì)應(yīng)的情感信息翻 譯成目的語言(第2語言)。在利用翻譯部執(zhí)行的翻譯處理中，可以利用一般的轉(zhuǎn)換方式、 基于規(guī)則方式、統(tǒng)計(jì)性語言模型方式、中間語言方式等機(jī)械翻譯系統(tǒng)中利用的所有方法。(c)情感信息處理部30根據(jù)保存在情感特征變換用數(shù)據(jù)50中保存的數(shù)據(jù)，對(duì)輸 入的源語言的語音數(shù)據(jù)的情感特征模式進(jìn)行解析，生成目的語言的語音數(shù)據(jù)的情感特征模 式。在后面，使用圖5對(duì)翻譯部20以及情感信息處理部30的結(jié)構(gòu)進(jìn)行詳細(xì)說明。(d)聲音合成部40根據(jù)利用由翻譯部20得到的翻譯結(jié)果以及由情感信息處理部 30得到的情感特征模式合成目的語言的語音。然后，從輸出部6輸出所合成的目的語言語
曰°圖3是示出本發(fā)明的第1實(shí)施方式的數(shù)據(jù)處理流程圖。(a)源語言語音輸入處理S2是利用輸入處理部10對(duì)輸入的源語言語音數(shù)據(jù)進(jìn)行 處理。主要的處理包括了 通過使用語音識(shí)別技術(shù)，將所輸入的源語音數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的文 本；同時(shí)解析輸入的源語音的情感特征，以供后續(xù)的翻譯部20以及情感信息處理部30所 需。在后面，使用圖4對(duì)源語言語音輸入處理S2進(jìn)行詳細(xì)說明。(b)源語言輸入信息翻譯成目的言語對(duì)應(yīng)信息S3利用翻譯部20把經(jīng)過語言語音輸入處理Sl所得到的源語言的文本以及對(duì)應(yīng)的情感信息翻譯成目的語言。該處理過程的 主要特點(diǎn)是利用從輸入源語言情感信息轉(zhuǎn)化為目的語言情感信息S4得到的輸入的源語言 語音數(shù)據(jù)的情感信息在翻譯過程之中，以提高翻譯的準(zhǔn)確度。(c)輸入源語言情感信息轉(zhuǎn)化為目的語言情感信息S4主要的處理是對(duì)輸入的源 語言的語音數(shù)據(jù)的情感特征模式進(jìn)行解析，并依據(jù)情感特征變換規(guī)則320生成目的語言的 語音數(shù)據(jù)的情感特征模式。同時(shí)把分析得到的情感特征輸入到源語言輸入信息翻譯成目的 言語對(duì)應(yīng)信息S3，以提高翻譯的準(zhǔn)確度。(d)目的語言翻譯結(jié)果輸出S5利用聲音合成部40把翻譯部20得到的翻譯結(jié)果以 及由情感信息處理部30得到的情感特征模式合成出目的語言的語音。再從輸出部6輸出 所合成的目的語言語音。同時(shí)該處理還可以利用通用顯示裝置把翻譯出的文本信息以文本 的模式輸出。圖4是示出本發(fā)明的第1實(shí)施方式的輸入處理部10的結(jié)構(gòu)的圖。輸入處理部10構(gòu)成為包括聲音特征抽取部110、聲音識(shí)別部120、語音情感解析部 130、語言解析部140，情感特征修正部150，語言修正變更部160以及翻譯結(jié)果對(duì)象修正顯 示單元170。(a)輸入處理部10首先輸入源語言的語音，利用聲音識(shí)別部120取得源語言的語 言文本以及音素或音節(jié)的分段識(shí)別結(jié)果。音素或音節(jié)分段是指通過使用語音識(shí)別技術(shù)對(duì)輸 入的源語言的語音數(shù)據(jù)進(jìn)行識(shí)別處理，從而得到每個(gè)音素或音節(jié)所對(duì)應(yīng)的起始和終結(jié)時(shí)間 并利用一定的格式進(jìn)行標(biāo)注保存，用于后續(xù)的語音信息處理。即所謂的對(duì)所輸入的聲音進(jìn) 行每個(gè)音素或音節(jié)的分割處理。(b)輸入處理部10利用聲音特征抽取部110，根據(jù)所輸入的源語言的語音數(shù)據(jù)以 及利用聲音識(shí)別部120取得的音素或音節(jié)分段識(shí)別結(jié)果，抽取出輸入的源語言語音數(shù)據(jù)的 與情感相關(guān)的特征參數(shù)。與情感相關(guān)的特征參數(shù)具體而言是指，基頻包絡(luò)、基頻最大值，基 頻最小值、基頻最大值與最小值的差，停頓的持續(xù)長度，音量、重音、語速，音素或音節(jié)的元 音區(qū)間的周期長度等物理特征參數(shù)。(c)利用語言解析部140，對(duì)聲音識(shí)別部120所得到的源語言的語音識(shí)別結(jié)果，即 音素或音節(jié)分段信息進(jìn)行言語解析。該解析過程主要包括了對(duì)音素或音節(jié)分段信息進(jìn)行處 理，得到與音素或音節(jié)分段信息對(duì)應(yīng)的文本信息。同時(shí)，在上述的語言解析部的處理過程之 中，可以利用聲音情感解析部130所抽取的與情感相關(guān)的特征參數(shù)。例如，利用基頻包絡(luò)的 特征來判斷音節(jié)的聲調(diào)或重音，或者利用停頓的持續(xù)長度等信息來判斷詞或短語的邊界。(d)輸入處理部10利用聲音情感解析部130，根據(jù)聲音特征抽取部110所抽取的 與情感相關(guān)的特征參數(shù)進(jìn)行解析，同時(shí)利用語言解析部所得到的語言解析結(jié)果，解析判斷 輸入的源語言的語音數(shù)據(jù)所對(duì)應(yīng)的情感特征以及該情感特征與中性情感參照特征的距離 尺度。同時(shí)可以把該解析結(jié)果反饋回語言解析部140。(e)在輸入處理部10中，可以利用情感特征修正部150來修正利用聲音情感解析 部解析出的源語言輸入語音的情感特征。另外，可以利用語言修正變更部160接受源語言 的文本信息的輸入，并且能修正利用語言解析部140得到的語言文本的解析結(jié)果。情感特 征修正部150以及語言修正變更部160接受來自包括⑶I的翻譯結(jié)果對(duì)象顯示修正單元 170的輸入，修正解析結(jié)果。在后面，使用圖6對(duì)⑶I的一個(gè)例子進(jìn)行敘述。
圖5是示出本發(fā)明的第1實(shí)施方式的翻譯部20以及情感信息處理部30的結(jié)構(gòu)的 圖。(a)在翻譯部20中，首先將包括輸入處理部10取得的源語言的輸入語音對(duì)應(yīng)的 文本的源語言解析結(jié)果以及源語言情感信息設(shè)為輸入。接下來參照使用語言解析辭典60， 使用源語言文脈解析部210對(duì)輸入的源語言解析結(jié)果即進(jìn)行文脈解析。作為解析方法，包 含語素解析，語法解析，句法分析，意思解析處理等與機(jī)器翻譯自然語言處理相關(guān)的處理手 法。接下來通過參照使用翻譯用辭典70，目標(biāo)語言文脈候補(bǔ)生成部220針對(duì)源語言文脈解 析部所產(chǎn)生的每一個(gè)源語言文脈信息生成一系列的目的語言文脈翻譯結(jié)果候補(bǔ)。所謂的文 脈信息主要是指語法詞及其對(duì)應(yīng)的詞性，在文中的位置信息，前后的語法關(guān)系，以及例如該 詞出現(xiàn)的頻率等相關(guān)的概率統(tǒng)計(jì)信息。(b)感情參數(shù)匹配映射部310通過參照情感變換規(guī)則320把輸入的源語言與情感 相關(guān)的特征參數(shù)轉(zhuǎn)換為對(duì)應(yīng)的目標(biāo)語言的情感特征參數(shù)?；蛘呖梢栽谠摬酷槍?duì)輸入的源語 言情感特征參數(shù)分析判斷輸入的源語言的情感特征模式類型以及與事先設(shè)定的標(biāo)準(zhǔn)情感 特征模式所對(duì)應(yīng)的情感特征參數(shù)所對(duì)應(yīng)的距離、然后根據(jù)情感匹配數(shù)據(jù)庫或者規(guī)則來計(jì)算 出對(duì)應(yīng)的目標(biāo)語言的情感特征模式以及與目標(biāo)語言的標(biāo)準(zhǔn)情感特征模式所對(duì)應(yīng)的距離的 目標(biāo)語言情感特征參數(shù)。所謂的情感變換規(guī)則320可以通過人工制定，也可以通過概率統(tǒng) 計(jì)手法對(duì)收集的樣本數(shù)據(jù)來生成。(c)在目標(biāo)語言文脈最優(yōu)候補(bǔ)選擇230這個(gè)處理模塊，把從目標(biāo)語言文脈候補(bǔ)生 成部220所得到目標(biāo)語言文脈的候補(bǔ)序列以及情感參數(shù)匹配映射部310所得到的目的語 言情感特征，通過一種最優(yōu)算法來決定目的語言的翻譯結(jié)果即最佳的目標(biāo)語言候補(bǔ)文脈序 列。這個(gè)過程可以使用規(guī)則方法，最優(yōu)決定算法，最大似然度，以及概率統(tǒng)計(jì)手法等人工智 能領(lǐng)域所能用到的所有手法。再進(jìn)一步具體說明，在源語言為英語、目的語言為漢語的情況下，測量出所輸入的 英語源聲音的情感模式并計(jì)算出與對(duì)應(yīng)的標(biāo)準(zhǔn)情感模式之間的差分，在翻譯部利用所測量 出的差情感模式以及與對(duì)應(yīng)的標(biāo)準(zhǔn)情感模式之間的差分值取得與英語源語言情感相匹配 的漢語翻譯結(jié)果，同時(shí)生成與英語源輸入語音相對(duì)應(yīng)的附帶情感特征的漢語語音。另外，作為另一例子，在源語言為日語、目的語言為中文的情況下，測量出所輸入 的日語語音的情感特征中反映的整體性的情感模式特征與標(biāo)準(zhǔn)情感模式的差分。根據(jù)所測 量出的差分值，可以生成所對(duì)應(yīng)的恰當(dāng)?shù)那楦心Ｊ降臐h語語音。圖6是示出本發(fā)明的第1實(shí)施方式的情感特征轉(zhuǎn)換流程圖。在第一個(gè)步驟“對(duì)輸入的源語言語音數(shù)據(jù)進(jìn)行識(shí)別處理S21”利用輸入處理部10 中的聲音識(shí)別部120對(duì)輸入的語音進(jìn)行識(shí)別處理，取得輸入語音所對(duì)應(yīng)的語言文本以及音 素或音節(jié)的分段識(shí)別結(jié)果。在接下來的第二個(gè)步驟“抽取源語言情感特征向量參數(shù)S22”利 用聲音特征抽取部110把輸入的語音數(shù)據(jù)的與情感相關(guān)的物理特征參數(shù)抽取出來。同時(shí)結(jié) 合步驟S21所得到的語音識(shí)別生成與輸入語音的分段信息對(duì)應(yīng)的情感特征向量。該向量的 內(nèi)容包含語音的分段信息，基頻包絡(luò)、基頻最大值，基頻最小值、基頻最大值與最小值的差， 停頓的持續(xù)長度，音量、重音、語速，音素或音節(jié)的元音區(qū)間的周期長度等物理特征參數(shù)。在 第三個(gè)步驟“計(jì)算源語言的情感特征 及與標(biāo)準(zhǔn)情感特征的差分向量S23”把步驟S22計(jì)算 得到輸入語音的情感特征向量與對(duì)應(yīng)的具有相同結(jié)構(gòu)的源語言標(biāo)準(zhǔn)情感特征庫330進(jìn)行
12比較運(yùn)算，從而得到情感特征差分向量。把通過步驟S22和S23所得到的情感特征向量和情 感差分向量作為索引，在步驟“判斷在情感變換DB是否有對(duì)應(yīng)的規(guī)則S24”對(duì)情感特征變換 規(guī)則320里面進(jìn)行查詢處理。如果在情感特征變換規(guī)則320沒有找到對(duì)應(yīng)的規(guī)則，則執(zhí)行 “錯(cuò)誤處理S27”。如果在情感特征變換規(guī)則320里找到對(duì)應(yīng)的規(guī)則，則根據(jù)變換規(guī)則，在步 驟“計(jì)算目的語言的對(duì)應(yīng)情感特征向量S25”計(jì)算出目的語言所對(duì)應(yīng)的情感特征差分向量。 根據(jù)這個(gè)目的語言的情感特征差分向量，在步驟“計(jì)算目的語言的情感韻律模式S26”計(jì)算 出相對(duì)應(yīng)的目的語言的情感特征向量。并根據(jù)這個(gè)計(jì)算出來的情感特征向量，生成目的語言所對(duì)應(yīng)的情感韻律。從而結(jié) 束整個(gè)韻律特征變換的處理過程。聲音合成部50輸入翻譯部20翻譯出的目的語言的字符串，根據(jù)情感信息處理部 30所得到的目的語言的情感特征合成聲音而從輸出部6輸出。聲音合成處理利用既有的的 技術(shù)，而在此不進(jìn)行詳細(xì)敘述。根據(jù)本發(fā)明的第1實(shí)施方式，根據(jù)所輸入的源語言的情感特征，可以更精確的把 源語言的文本翻譯為目的語言文本，同時(shí)把源語言的情感特重轉(zhuǎn)換為對(duì)應(yīng)的目的語言的情 感特征模式，合成所輸出的聲音信息，從而可以實(shí)現(xiàn)以自然的發(fā)聲輸出的聲音翻譯。(第2實(shí)施方式)在本發(fā)明的第1實(shí)施方式中，對(duì)根據(jù)預(yù)先輸入的情感匹配數(shù)據(jù)庫40的翻譯輸入語 音的情況進(jìn)行了說明，但在本發(fā)明的第2實(shí)施方式中，對(duì)通過由利用者進(jìn)行追加和更新數(shù) 據(jù)，而使情感匹配數(shù)據(jù)庫具備學(xué)習(xí)功能的情況進(jìn)行說明。另外，在本發(fā)明的第2實(shí)施方式中，針對(duì)與本發(fā)明的第1實(shí)施方式共同的內(nèi)容，恰 當(dāng)省略說明。圖7是說明本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1的輸入部5以及輸出部6的 圖。本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1包括輸入輸出畫面D10，麥克風(fēng)的輸入部 D20，麥克風(fēng)的音量調(diào)整部D30，揚(yáng)聲器輸出部D40，以及揚(yáng)聲器的音量調(diào)整部D50。輸入輸出畫面DlO可為觸摸面板，是受理情感匹配數(shù)據(jù)庫40的記錄的顯示、變更 以及追加的⑶I接口。DlO也可以為普通屏幕，該裝置可通過D60為USB接口，用于連接外 部輸入設(shè)備，例如鼠標(biāo)鍵盤。輸入輸出畫面DlO如上所述，還可以作為向第1實(shí)施方式的情 感特征修正部150以及語言修正變更部160輸入修正項(xiàng)目的⑶I。在聲音翻譯裝置1中，向麥克風(fēng)的輸入部D20連接麥克風(fēng)，使用麥克風(fēng)的音量調(diào)整 部D30調(diào)整音量。進(jìn)而，向揚(yáng)聲器輸出部D40連接揚(yáng)聲器，而使用揚(yáng)聲器的音量調(diào)整部D50
調(diào)整音量。圖8示出了本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1的輸入輸出畫面DlO的一個(gè) 例子的圖。輸入輸出畫面DlO具備源語言種類選擇按鈕1501、目的語言種類選擇按鈕1502、 翻譯按鈕1503、播放按鈕1504、更新按鈕1505，源語言輸入顯示部1506、目的語言變換結(jié)采 顯示部1506、目的語言轉(zhuǎn)換選擇部1507 1509、以及目的語言轉(zhuǎn)換結(jié)果選擇1510何1511。源語言種類選擇按鈕1501選擇從聲音翻譯裝置1的麥克風(fēng)的輸入部D20輸入的 源語言聲音的源語言的種類。目的語言種類選擇按鈕1502選擇要把輸入的源語言翻譯成的目的語言的種類。翻譯按鈕1503執(zhí)行翻譯以及情感轉(zhuǎn)換處理工作。播放按鈕1504執(zhí)行播放輸入的 源語言語音信息，或希望輸出的目的語言的聲音信息，或者以先后次序播放以上兩種源語 言以及目的語言的語音信息。播放的種類可以在系統(tǒng)配置或者點(diǎn)擊按鈕方式等方法來配置 或者選擇。源語言輸入顯示部1506顯示利用輸入處理部10對(duì)從聲音翻譯裝置1的麥克風(fēng)的 輸入部D20輸入的源語言聲音進(jìn)行處理而得到的結(jié)果。在源語言輸入顯示部1506中，可以變更源語言語音所對(duì)應(yīng)的源語言的文脈解析 結(jié)果以及情感特征模式。通過變更源語言輸入顯示部1506所顯示的內(nèi)容，并操作翻譯按鈕1503，可以利用 翻譯部20以及情感信息處理部30將修正后的源語言的文脈解析結(jié)果以及情感特征模式聲 音內(nèi)容轉(zhuǎn)換成對(duì)應(yīng)的目的語言最佳候補(bǔ)序列并將該最佳候補(bǔ)序列依次顯示在目的語言翻 譯即轉(zhuǎn)換結(jié)果顯示部1507，1508以及1509。最佳候補(bǔ)序列的顯示順序?yàn)閺纳喜康?507至 1509，依次為通過第1實(shí)施方式所采用的最佳候補(bǔ)決定方法所得到的最佳候補(bǔ)。另外，在目的語言翻譯即轉(zhuǎn)換結(jié)果顯示部1507，1508以及1509可以人工操作修改 這些候補(bǔ)序列的內(nèi)容，另外還可以通過選擇按鈕1501何1511等選擇按鈕來選擇最佳候補(bǔ)。如果操作更新按鈕1505，則可以使在源語言輸入顯示部1506和/或目的語言變換 結(jié)呆顯示部1507上變更的內(nèi)容反映到情感匹配數(shù)據(jù)庫40。根據(jù)本發(fā)明的第2實(shí)施方式，通過修正基于輸入處理部10，翻譯部20的以及情感 信息處理部30的處理結(jié)果，可以使情感匹配數(shù)據(jù)庫40學(xué)習(xí)到修正事項(xiàng)，而進(jìn)一步提高處理 的精度。以上是對(duì)本發(fā)明的較佳實(shí)施進(jìn)行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實(shí)施 例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可作出種種的等同變形或替 換，這些等同的變型或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。
權(quán)利要求
情感語音翻譯裝置，包括一輸入處理部(10)，接受第1語言的源聲音的輸入，根據(jù)上述源聲音生成作為上述第1語言的文本和對(duì)應(yīng)的情感信息；一翻譯部(20)，參考第1語言的情感信息把第1語言的文本翻譯成最適合的第2語言的對(duì)譯文；其特征在于還包括一情感信息處理部(30)，將上述第1語言的情感信息轉(zhuǎn)換成對(duì)應(yīng)的第2語言的情感信息，并把該轉(zhuǎn)換信息作為翻譯部的輸入信息，并作用于翻譯處理過程中。
2.根據(jù)權(quán)利要求1所述的情感語音翻譯裝置，其特征在于還包括語音合成部(40)，將 上述翻譯出的第2語言的文本生成對(duì)應(yīng)的第2語言的語音。
3.根據(jù)權(quán)利要求1所述的情感語音翻譯裝置，其特征在于所述輸入處理部(10)包括 接收源語言語音輸入的聲音特征抽取部(110)和聲音識(shí)別部(120)，所述聲音特征抽取部 (110)的輸出端連接有聲音情感解析部(130)，所述聲音情感解析部(130)的輸出端連接有 輸出源語言情感特征的情感特征修正部(150)，所述聲音識(shí)別部(120)的輸出端連接有語 言解析部(140)，所述語言解析部(140)的輸出端連接有輸出源語言解析結(jié)果的語言修正 變更部(160)，所述語言修正變更部(160)的另一輸入端連接有翻譯結(jié)果對(duì)象顯示修正單 元(170)。
4.根據(jù)權(quán)利要求1或3所述的情感語音翻譯裝置，其特征在于所述翻譯部(20)包括 接收源語言解析結(jié)果和源語言情感特征的源語言文脈解析部(210)，所述情感信息處理部 (30)包括情感特征參數(shù)匹配映射部(310)，所述源語言文脈解析部(210)的輸入端連接有 語言解析詞典(60)、輸出端連接有目標(biāo)語言文脈候補(bǔ)生成部(220)，目標(biāo)語言文脈候補(bǔ)生 成部(220)的輸入端連接有翻譯用詞典(70)、輸出端連接有輸出目的語言翻譯結(jié)果的目標(biāo) 語言文脈最優(yōu)候補(bǔ)選擇部(230)，所述情感特征參數(shù)匹配映射部(310)的輸入端與源語言 文脈解析部(210)的另一輸入端連接，情感特征參數(shù)匹配映射部(310)根據(jù)情感特征變換 規(guī)則輸出目的語言情感特征，其輸出端與目標(biāo)語言文脈最優(yōu)候補(bǔ)選擇部(230)連接。
5.情感語音翻譯處理方法，情感語音翻譯裝置接收基于第1語言的源聲音的輸入，將 上述輸入的內(nèi)容變換成第2語言而以聲音形式輸出，其特征在于包括以下步驟P1、接收上述源聲音的輸入的步驟；P2、根據(jù)上述源聲音生成作為基于上述第1語言的文本的源語言文本以及上述源聲音 的情感信息的步驟；P3、生成將上述源語言文本從上述第1語言變換成上述第2語言的對(duì)譯文的步驟；P3、根據(jù)上述情感變換信息，將上述源聲音的情感信息變換成上述輸出的聲音的情感 信息的步驟；P4、根據(jù)上述輸出的聲音的情感信息合成聲音，輸出上述對(duì)譯文的步驟。
6.根據(jù)權(quán)利要求5所述的情感語音翻譯處理方法，其特征在于所述步驟Pl至P4進(jìn) 一步細(xì)化為以下步驟S1、開始；S2、源語言語音輸入處理，同時(shí)執(zhí)行步驟S3和步驟S4；S3、源語言輸入信息翻譯成目的語言對(duì)應(yīng)信息；·54、輸入源語言情感信息轉(zhuǎn)化為目的語言情感信息；·55、結(jié)合步驟S3和S4,目的語言翻譯結(jié)果輸出；·56、結(jié)束ο
7.根據(jù)權(quán)利要求6所述的情感語音翻譯處理方法，其特征在于所述步驟S2至S5進(jìn) 一步細(xì)化為以下步驟·521、對(duì)輸入的源語言語音進(jìn)行識(shí)別處理；·522、抽取源語言情感特征向量參數(shù)；·523、結(jié)合源語言標(biāo)準(zhǔn)情感特征庫，計(jì)算源語言的情感特征以及與標(biāo)準(zhǔn)情感特征的差分向量；·524、在情感變換數(shù)據(jù)庫里是否有對(duì)應(yīng)的變換規(guī)則，如果有則執(zhí)行步驟S25，如果沒有則 執(zhí)行步驟S27 ；·525、根據(jù)情感特征變換規(guī)則，計(jì)算目的語言的對(duì)應(yīng)情感特征差分向量；·526、根據(jù)目的語言標(biāo)準(zhǔn)情感特征庫，計(jì)算目的語言的情感韻律模式，結(jié)束；·527、錯(cuò)誤處理，結(jié)束。
8.根據(jù)權(quán)利要求7所述的情感語音翻譯處理方法，其特征在于所述步驟S23進(jìn)一步 包括以下步驟·5231、輸入處理部保存包括上述第1語言的標(biāo)準(zhǔn)的情感信息的第1標(biāo)準(zhǔn)情感信息、以及 包括上述第2語言的標(biāo)準(zhǔn)的情感信息的第2標(biāo)準(zhǔn)情感信息；·5232、情感信息處理部根據(jù)上述第1標(biāo)準(zhǔn)情感信息，取得上述源聲音的情感信息與上 述第1語言的標(biāo)準(zhǔn)的情感信息之問的差分信息；·5233、情感信息處理部根據(jù)上述對(duì)譯文以及上述源聲音的情感信息的差分信息，從上 述情感變換信息，檢索上述第2語言的情感信息；·5234、情感信息處理部根據(jù)上述第2標(biāo)準(zhǔn)情感信息，取得上述檢索出的第2語言的情感 信息與上述第2語言的標(biāo)準(zhǔn)情感信息之問的差分信息；·5235、情感信息處理部根據(jù)上述取得的第2語言的情感信息的差分信息，生成上述輸 出的聲音的情感信息。
9.根據(jù)權(quán)利要求6所述的情感語音翻譯處理方法，其特征在于所述步驟S5進(jìn)一步細(xì) 化為情感信息處理部通過將上述源語言文本分割成設(shè)定的發(fā)音單元，并針對(duì)每個(gè)上述分 割出的發(fā)音單元取得上述第2語言的情感信息的差分信息，從而生成為上述輸出的聲音的 情感信息。
10.根據(jù)權(quán)利要求7所述的情感語音翻譯處理方法，其特征在于所述步驟S22進(jìn)一步 細(xì)化為情感信息處理部是通過對(duì)包括基頻包絡(luò)、基頻最大值，基頻最小值、基頻最大值與 最小值的差，停頓的持續(xù)長度，音量、重音、語速，音素或音節(jié)的元音區(qū)間的持續(xù)長度特征參 數(shù)進(jìn)行數(shù)值化后的向量來表示。
11.根據(jù)權(quán)利要求8所述的情感語音翻譯處理方法，其特征在于所述步驟S234中從 上述情感變換信息檢索上述第2語言的情感信息的步驟是將表示上述源聲音的情感信息 的向量與表示上述第1語言的情感信息的向量的距離作為檢索上述第2語言的韻律信息的 檢索參數(shù)。
12.根據(jù)權(quán)利要求5所述的情感語音翻譯處理方法，其特征在于所述步驟P2包括以下步驟P21、解析包含在上述源聲音中的發(fā)音單元的步驟； P22、根據(jù)上述發(fā)音單元的解析結(jié)果，生成上述源聲音的情感信息的步驟； P23、根據(jù)上述源聲音的韻律信息，生成上述源語言文本的步驟。 13.根據(jù)權(quán)利要求5所述的情感語音翻譯處理方法，其特征在于所述步驟P3包括以 下步驟P31、顯示包括上述對(duì)譯文以及所對(duì)應(yīng)的情感信息的變換結(jié)果的步驟； P32、接受上述變換結(jié)果的修正的步驟；P33、使上述修正后的變換結(jié)果反映到上述情感變換信息的步驟。
全文摘要
本發(fā)明公開了一種情感語音翻譯裝置及處理方法。裝置包括一輸入處理部，接受第1語言的源聲音的輸入，根據(jù)上述源聲音生成作為上述第1語言的文本和對(duì)應(yīng)的情感信息；一翻譯部，參考第1語言的情感信息把第1語言的文本翻譯成最適合的第2語言的對(duì)譯文；還包括一情感信息處理部，將上述第1語言的情感信息轉(zhuǎn)換成對(duì)應(yīng)的第2語言的情感信息，并把該轉(zhuǎn)換信息作為翻譯部的輸入信息，并作用于翻譯處理過程中。本發(fā)明裝置及處理方法使翻譯輸出的目標(biāo)語音更貼近源語音的意思和情感，用戶很容易就能準(zhǔn)確理解被翻譯者的意思、感情和思想，本發(fā)明翻譯裝置翻譯效果理想，性價(jià)比高。本發(fā)明作為一種情感語音翻譯裝置及處理方法廣泛應(yīng)用于翻譯過程中。
文檔編號(hào)G10L15/06GK101937431SQ20101025794
公開日2011年1月5日 申請(qǐng)日期2010年8月18日 優(yōu)先權(quán)日2010年8月18日
發(fā)明者布樹輝, 布社輝, 顏小洋 申請(qǐng)人:華南理工大學(xué)