混合式、離線/在線語音翻譯系統(tǒng)的制作方法
【專利說明】
【背景技術(shù)】
[0001]語音到語音翻譯(STS)系統(tǒng)通常以兩個不同的形式中的一個遞送:通過互聯(lián)網(wǎng)在線地或者嵌入用戶的設備上離線地(例如，智能手機或者其他合適的計算設備)。在線版本具有以下優(yōu)勢，其可以得益于大型服務器(云)上的重要處理資源，并且提供饋送至服務供應商的數(shù)據(jù)使得改進和用戶化成為可能。然而，在線處理需要持續(xù)的網(wǎng)絡連通性，由于漫游成本或者隱私/安全性擔憂使得不能在所有地點保證網(wǎng)絡連通性或者在有些情況下不希望存在網(wǎng)絡連通性。如可替換的配置，語音到語音翻譯器，諸如Jibbig0語音翻譯應用，可以在嵌入在智能手機本身上的軟件本地運行時遞送，并且在翻譯app的初始下載之后不需要網(wǎng)絡連通性。這樣的離線嵌入語音翻譯能力對于以下許多情形是優(yōu)選的配置，即如果大部分實際情況不需要語言支持，當網(wǎng)絡不可用、間歇性的或者過于昂貴時。大部分旅行者會經(jīng)歷這樣的間歇性的或者不存在的連通性，例如，在航線飛行期間、遠距離的地理位置、建筑物、或者僅僅因為數(shù)據(jù)漫游被關閉以避免在外國旅行時的相關聯(lián)的漫游費用。
[0002]這樣的語音翻譯服務或軟件遞送的方式還具有以下含義，即軟件可以/必須以領域相關或者領域獨立的方式操作的程度以及其是否可以適應于用戶的環(huán)境。STS系統(tǒng)通常將對于一個領域相當好地工作，但是對于另一個領域不太好(領域相關的)，如果它們已緊密優(yōu)化并且調(diào)諧為特定使用領域，或者它們通過對于所有領域不相上下地良好地工作來試圖領域獨立。任何一個解決方案都限制所有特定情況的性能。
[0003]用戶通常在他的/她的計算設備上運行在線客戶端程序。這個設備通常數(shù)字化并且能編碼語音，然后將樣本或者系數(shù)通過通信線路發(fā)送至服務器。然后服務器執(zhí)行繁重的計算的語音識別和/或翻譯并且將結(jié)果經(jīng)由通信線路發(fā)送回用戶，并且結(jié)果顯示在用戶設備上。不同的在線設計已建議將處理鏈的不同的部分移出至服務器并且在設備上進行或多或少的計算工作。在語音識別、翻譯和翻譯系統(tǒng)中，用戶的設備可以簡單到僅為麥克風，或者模數(shù)轉(zhuǎn)換器，或者提供更復雜的功能，諸如噪聲抑制、編碼為系數(shù)、一個或多個語音識別途徑、或者一個或多個語言處理步驟。相反離線設計的全部應用在設備本身上作為嵌入式應用運行。所有的計算在設備本地完成并且在使用期間不需要客戶端和服務器之間的傳輸。
[0004]通常，在線設計具有以下優(yōu)勢，即其僅需要非常簡單的客戶端并且因此應用可以在非常簡單的計算設備或者移動電話上運行，同時所有繁重的計算和處理在大型計算服務器上完成。對于語音和機器翻譯，這意味著可以使用更高級的但是計算密集的算法，并且可以使用最新的背景信息。其還具有以下優(yōu)勢，即服務的開發(fā)者或操作者可以在服務器上維護/改善服務或能力，不需要用戶下載或升級新系統(tǒng)版本。
[0005]在線設計的缺點是其關鍵取決于網(wǎng)絡連通性的事實。然而，當用戶移動和旅行至遠距離的地點時，連接性會是間歇性的和/或非常昂貴的(漫游)，并且因此在許多方面不可用。對于語音和語音翻譯系統(tǒng)，這個需要經(jīng)常是不可接受的。與文本或電子郵件傳輸不同，語音不允許連通性的臨時失效，因為其不允許在沒有丟失信息或者實時性能的情況下的語音流的相應的中斷。因此在線設計必須確保連續(xù)的、實時的傳輸并且因此必須確保使用期間的連續(xù)的連通性。

【發(fā)明內(nèi)容】

[0006]在一個總體方面中，本發(fā)明針對一種混合式語音翻譯系統(tǒng)，借此無線啟動客戶端計算設備(例如，智能手機或平板電腦)可以將輸入單詞短語(例如，輸入語音話語或輸入文本)本地地從一種語言翻譯成另一種，例如，在“離線”模式，以及在有無線網(wǎng)絡連通性時的“在線”模式下，使遠程計算機(例如，后端語音翻譯服務器系統(tǒng))執(zhí)行翻譯并且將其經(jīng)由無線網(wǎng)絡發(fā)送回到客戶端計算設備以便由客戶端計算設備輸出(例如，經(jīng)由揚聲器和/或經(jīng)由文本顯示字段能聽見地)。在各種實施方式中，客戶端計算設備的用戶可以在模式之間轉(zhuǎn)換或者轉(zhuǎn)換可以是基于用戶偏好或設置對于用戶自動的和顯而易見的。此外，后端語音翻譯服務器系統(tǒng)可以基于隨時間的用戶數(shù)據(jù)的分析適配由客戶端計算設備在離線模式下使用的各個識別和翻譯模型，從而利用比后端語音翻譯服務器系統(tǒng)更小的，但是更高效和更快速的同時還要適合于用戶的領域的模型配置客戶端計算設備。
[0007]根據(jù)本發(fā)明的實施方式具體地在針對語音翻譯系統(tǒng)和語音翻譯方法的所附權(quán)利要求中公開，其中一個權(quán)利要求種類中提到的任何特征，例如，方法，可以在另一個權(quán)利要求種類中被要求保護并且以下列出的實施方式是僅出于形式原因選擇的。然而從慎重參考回任何先前的權(quán)利要求或?qū)嵤┓绞降玫降娜魏沃黝}(具體地，多個從屬關系)同樣可以被要求保護，使得公開權(quán)利要求和其特征的任何組合并且可以與所附權(quán)利要求中選擇的從屬關系無關地要求保護。還公開了以下列出的實施方式的特征的任何組合，與在其中提到的反向引用無關。
[0008]在根據(jù)本發(fā)明的實施方式中，一種語音翻譯系統(tǒng)包括:
[0009]-后端語音翻譯服務器系統(tǒng)；以及
[0010]-客戶端計算設備，被配置為經(jīng)由無線網(wǎng)絡與后端語音翻譯服務器系統(tǒng)通信，其中客戶端計算設備包括:
[0011]-麥克風；
[0012]-處理器，連接至麥克風；
[0013]-存儲器，連接至處理器，存儲由處理器執(zhí)行的指令；以及
[0014]-揚聲器，連接至處理器，其中:
[0015]-客戶端計算設備用于經(jīng)由揚聲器輸出輸入單詞短語從第一語言至第二語言的翻譯；并且
[0016]-存儲器存儲指令使得:
[0017]在第一操作模式下，當處理器執(zhí)行指令時，處理器將輸入單詞短語翻譯成第二語言以便輸出至用戶；并且
[0018]在第二操作模式下:
[0019]-客戶端計算設備經(jīng)由無線網(wǎng)絡將有關由客戶端計算設備接收的第一語言的輸入單詞短語的數(shù)據(jù)發(fā)送至后端語音翻譯服務器系統(tǒng)；
[0020]-后端語音翻譯服務器系統(tǒng)基于經(jīng)由無線網(wǎng)絡從客戶端計算設備接收的數(shù)據(jù)確定第一語言的輸入單詞短語的第二語言的翻譯；并且
[0021]-后端語音翻譯系統(tǒng)經(jīng)由無線網(wǎng)絡發(fā)送有關第一語言的輸入單詞短語的第二語言的翻譯的數(shù)據(jù)到客戶端計算系統(tǒng)，使得客戶端計算設備輸出第一語言的輸入單詞短語的第二語言的翻譯。
[0022]客戶端計算設備可具有允許用戶在第一操作模式和第二操作模式之間切換的用戶界面。
[0023]客戶端計算設備可以基于無線網(wǎng)絡的連接狀態(tài)自動選擇使用第一操作模式或第二操作模式。
[0024]可替換地，客戶端計算設備可以基于客戶端計算設備的用戶的用戶偏好設置自動選擇使用第一操作模式或第二操作模式。
[0025]在根據(jù)本發(fā)明的另一實施方式中，輸入單詞短語通過以下中的一個被輸入至客戶端計算:
[0026]-由客戶端計算設備的麥克風獲取的輸入語音話語；或者在客戶端計算設備的用戶界面上經(jīng)由文本輸入字段輸入的文本。
[0027]客戶端計算設備可以經(jīng)由揚聲器能聽見地輸出翻譯。
[0028]在本發(fā)明的語音翻譯系統(tǒng)中，在第一操作模式下，客戶端計算設備可以將用于識別第一語言的語音話語并且將識別的語音話語翻譯成第二語言以便經(jīng)由客戶端計算設備的揚聲器輸出的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型存儲在存儲器中。
[0029]在第二操作模式下，后端語音翻譯服務器系統(tǒng)可包括用于基于經(jīng)由無線網(wǎng)絡從客戶端計算設備接收的數(shù)據(jù)確定第一語言的語音話語的第二語言的翻譯的后端聲音模型、后端語言模型、后端翻譯模型和后端語音合成模型。
[0030]優(yōu)選地，本地聲音模型可以不同于后端聲音模型；
[0031]本地語言模型可以不同于后端語言模型；
[0032]本地翻譯模型可以不同于后端翻譯模型；并且
[0033]本地語音合成模型可以不同于所述后端語音合成模型。
[0034]此外，后端語音翻譯服務器系統(tǒng)可以被編程為:隨時間檢測由客戶端計算設備接收的用于從第一語言翻譯成第二語言的語音話語，并且基于隨時間監(jiān)測的由客戶端計算設備接收的用于從第一語言翻譯成第二語言的語音話語更新客戶端計算設備的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型中的至少一個，其中對客戶端計算設備的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型中的至少一個的更新經(jīng)由無線網(wǎng)絡從后端語音翻譯服務器系統(tǒng)發(fā)送至客戶端計算設備。
[0035]客戶端計算設備的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型可以基于用戶的翻譯查詢的分析更新。
[0036]客戶端計算設備可包括用于確定客戶端計算設備的位置的GPS系統(tǒng)。
[0037]后端語音翻譯服務器系統(tǒng)可以進一步被編程為基于客戶端計算設備的位置更新客戶端計算設備的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型中的至少一個，其中對客戶端計算設備的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型中的至少一個的更新經(jīng)由無線網(wǎng)絡從后端語音翻譯服務器系統(tǒng)發(fā)送至客戶端計算設備。
[0038]此外，后端語音翻譯服務器系統(tǒng)可以是是多個后端語音翻譯服務器系統(tǒng)中的一個，并且客戶端計算設備可被配置為經(jīng)由無線網(wǎng)絡與多個后端語音翻譯服務器系統(tǒng)中的每個通信。
[0039]在第二操作模式下，多個后端語音翻譯服務器系統(tǒng)中的每個可以基于經(jīng)由無線網(wǎng)絡從客戶端計算設備接收的數(shù)據(jù)確定第一語言的語音話語的第二語言的翻譯；并且多個后端語音翻譯服務器系統(tǒng)中的一個從多個后端語音翻譯服務器系統(tǒng)中選擇翻譯中的一個以便發(fā)送至所述客戶端計算設備。
[0040]可替換地，多個后端語音翻譯服務器系統(tǒng)中的一個將來自多個后端語音翻譯服務器系統(tǒng)的翻譯中的兩個或多個合并以生成合并的翻譯以便發(fā)送至客戶端計算設備。
[0041]根據(jù)本發(fā)明的另一方面，公開了一種語音翻譯方法，該語音翻譯方法包括:
[0042]-在第一操作模式下:
[0043]-由客戶端計算設備接收第一語言的第一輸入單詞短語；
[0044]-由客戶端計算設備將第一輸入單詞短語翻譯成第二語言；并且
[0045]-由客戶端計算設備輸出第二語言的第一輸入單詞短語；
[0046]-由客戶端計算設備從第一操作模式轉(zhuǎn)換成第二操作模式；
[0047]-在第二操作模式下:
[0048]-由客戶端計算設備接收第一語言的第二輸入單詞短語；
[0049]-由客戶端計算設備經(jīng)由無線網(wǎng)絡將有關第二輸入單詞短語的數(shù)據(jù)發(fā)送至后端語音翻譯服務器系統(tǒng)；
[0050]-由客戶端計算設備經(jīng)由無線網(wǎng)絡從后端語音翻譯服務器系統(tǒng)接收有關第二輸入單詞短語從第一語言至第二語言的由后端語音翻譯服務器系統(tǒng)完成的翻譯的數(shù)據(jù)；并且
[0051]-由客戶端計算設備輸出第二語言的第二輸入單詞短語。
[0052]在本發(fā)明的另一實施方式中，在第一操作模式下，客戶端計算設備將用于識別第一語言的輸入語音話語并且將識別的輸入語音話語翻譯成第二語言以便經(jīng)由揚聲器輸出的本地聲音模型、本地語言模型、本地翻譯模型和本地語音合成模型存儲在存儲器中，并且在第二操作模式下，后端語音翻譯服務