8放大并且提供至收發(fā)器206。收發(fā)器206或基帶處理器202可將進入信號解調(diào)到基帶。
[0082]應用處理器204可以執(zhí)行操作系統(tǒng)以及軟件應用(例如，經(jīng)由app商店18下載的)，包括本文中描述的離線和在線語音識別和/或翻譯功能。應用處理器204還可以執(zhí)行觸摸屏界面232的軟件。應用處理器204也可與應用RAM 212和非易失性數(shù)據(jù)存儲器(例如，ROM) 216通信。RAM212可以存儲，由處理器204執(zhí)行的，尤其，經(jīng)由app商店18下載的離線和在線語音翻譯的應用軟件，包括離線處理的必要的自動語言識別、機器翻譯和語音合成模塊，以及在線處理的與后端語音翻譯服務器系統(tǒng)16通信的軟件。
[0083]應用處理器204可另外與諸如組合的W1-FI/藍牙收發(fā)器218的其他硬件設備通信。W1-FI/藍牙收發(fā)器218可處理與LAN的射頻(RF)通信(例如，根據(jù)W1-FI標準、或者任何合適的標準)或者處理設備200與另一無線設備之間的直接RF通信(例如，根據(jù)藍牙標準或者任何合適的標準)。在各種實施方式中，設備200還可包括全球定位系統(tǒng)(GPS) 222，其經(jīng)由GPS天線223與基于衛(wèi)星的GPS系統(tǒng)通信以為應用處理器204提供描述設備12的地理位置的信息。觸摸屏232既可以可視形式提供對設備12的用戶的輸出，又可接收來自用戶的輸入。輸入可以以表示用戶的屏幕觸摸的信號的形式。音頻編解碼器模塊224可提供用于解碼和播放音頻信號的硬件和/或軟件。在某些實施方式中，編解碼器224還可包括數(shù)模轉(zhuǎn)換器。音頻輸出信號可被提供至設備揚聲器16和/或可接收一組耳機的插口(未示出)和/或用于播放音頻輸出信號的揚聲器?？山?jīng)由設備麥克風18提供音頻輸入信號。設備還可包括數(shù)碼相機240。
[0084]在特定實施方式中，可包括各種其他傳感器。磁傳感器226可感測設備附近的磁場。例如，各種app和/或系統(tǒng)功能可使用磁傳感器226來實現(xiàn)羅盤(compass)。加速計(accelerometer) 228和陀螺儀230可提供描述設備的運動的數(shù)據(jù)。例如，來自加速計228和陀螺儀230的數(shù)據(jù)可用于確定觸摸屏232的顯示器的方位(例如，縱向?qū)Ρ葯M向)。設備200可由電池234供電，電池234可以進而由電源管理集成電路(PMIC) 236來管理。例如，I/O收發(fā)器238可根據(jù)通用串行總線(USB)或者任何其他合適的標準管理設備與其他設備之間的有線通信。連接器239可便于有線連接。在某些實施方式中，經(jīng)由連接器239和I/O收發(fā)器238的連接可提供用于為電池234充電的電源。
[0085]如上所述，在各種實施方式中，用戶可以在在線模式和離線模式之間切換，諸如通過激活用戶控制器40，如圖2A和圖2B的實例所示。在線處理優(yōu)選地提供比在線處理更大量語言模型中的詞匯，但是在線處理可以提供提高的用戶保密和安全，因為用戶輸入話語的數(shù)據(jù)不經(jīng)由無線網(wǎng)絡14和互聯(lián)網(wǎng)發(fā)送。翻譯app軟件還可以允許客戶端計算設備12根據(jù)各種實施方式自動在在線和離線模式之間切換。例如，用戶可以規(guī)定app的設定使得如果無線網(wǎng)絡14可用(例如，具有合適的數(shù)據(jù)速率/連接速度的網(wǎng)絡連通性)，則使用在線操作模式；否則使用離線操作模式。因此，對于這樣的實施方式，如圖5的示例性流程圖中所示，如果客戶端計算設備14處于無線通信模式(例如，WIFI或手機網(wǎng)絡，諸如3G或4G)(步驟50)，則執(zhí)行存儲器中存儲的app軟件的客戶端計算設備12的處理器，可以檢查WiFi網(wǎng)絡的數(shù)據(jù)速率/連接轉(zhuǎn)速(步驟52)，并且如果其在臨界數(shù)據(jù)速率/連接速度以上，則使用在線模式(步驟54);否則使用離線模式(步驟56)。這樣，用戶具有自動連續(xù)翻譯能力并且離線模式或在線模式中的任意一種的使用對于用戶是顯而易見的?？蛻舳擞嬎阍O備12可以可視地顯示在給定時間使用的模式(諸如利用上述云和非云圖標)。
[0086]在其他實施方式中，執(zhí)行存儲器中存儲的app軟件的客戶端計算設備12的處理器可以基于其他因素在在線操作模式和離線操作模式之間自動切換，諸如:成本(例如，如果適用漫游收費，或者如果沒有網(wǎng)絡連通性，則使用離線操作模式；否則使用在線模式)；質(zhì)量(例如，更好的翻譯、聲音或語言模型，例如，使用特定離線揚聲器或者使用在線一般領域獨立模型)；位置(例如，基于GPS坐標，如通過GPS系統(tǒng)222確定的)；隱私(例如，只要確保無線網(wǎng)絡可用則使用在線模式)；和/或時間(例如，一天中的規(guī)定時間期間的規(guī)定模式)。在各種實施方式中，客戶端計算設備14的用戶可以通過其設置配置app以建立在在線操作模式和離線操作模式之間自動轉(zhuǎn)換的可適用的標準。例如，根據(jù)各種實施方式，用戶可以選擇:總是使用離線模式(在這樣的情況下從未使用在線模式)；優(yōu)選最快速的服務(在這樣的情況下只要無線網(wǎng)絡的連接轉(zhuǎn)速超過閾值則使用在線模式)；最精確的翻譯(在這樣的情況下每當在線模式可用時則使用在線模式)；限制成本(在這樣的情況下，例如，當可適用漫游收費時使用離線模式)。這樣的用戶偏好會受到隱私(數(shù)據(jù)傳輸)、質(zhì)量(語音翻譯模型的大小和性能)、或者成本(數(shù)據(jù)漫游)因素的影響。
[0087]混合式離線/在線翻譯系統(tǒng)的另一方面是使得在離線模式的客戶端計算設備12上可用的語言對。因為客戶端計算設備12的存儲容量限制，所以在大多數(shù)情況下將所有可用語言對下載至客戶端計算設備12是不切實際的。因此，客戶端計算設備12的用戶優(yōu)選地僅將用戶需要的選擇的語言對下載至客戶端計算設備12。例如，在各種實施方式中，用戶可以通過app商店18選擇或購買可用的離線語言對。在各種實施方式中，用戶可以購買包括幾個語言對的包(諸如地理區(qū)域的語言，諸如歐洲、東南亞等，或者相同的語言的不同版本，諸如西班牙語的墨西哥版本和西班牙版本，葡萄牙語的葡萄牙版本和巴西版本等)，在這樣的情況下包中的所有語言對的軟件app是下載至客戶端計算設備18的可用的。例如，圖4A示出用戶可以選擇購買的各個翻譯語言對的示例屏幕鏡頭；并且圖4B示出翻譯語言對的包的示例屏幕鏡頭(在這個實例中，世界包)。如果用戶希望將語言對從客戶端計算設備移動至相同的存儲器，則用戶能夠，在各種實施方式中，在不損失它們的可用性的情況下移動那個語言對和與其相對應的模型。就是說，用戶可以日后再次下載模型。
[0088]在一個實施方式中，選擇下載的語言對在用戶的左邊，并且用戶選擇將要安裝在離線翻譯的客戶端計算設備上的語言對。如果用戶期望安裝選擇的語言對，但是沒有令人滿意的網(wǎng)絡連通性，則客戶端計算設備存儲該語言對并且當網(wǎng)絡連通性下一次可用時向用戶請求并且公布提醒消息以下載該語言對。提醒消息詢問用戶是否他/她希望下載所選擇的語言對的離線版本并且如果由用戶確認，則開始下載。
[0089]在另一個實施方式中，客戶端計算設備12本身可以管理用戶的離線翻譯對。例如，客戶端計算設備12可以保留有關全世界使用的語言的數(shù)據(jù)，并且可以自動下載與用戶的位置有關的離線語言對。例如，如果GPS系統(tǒng)22示出用戶處于西班牙，則可以下載西班牙語的西班牙版本等。另外，離線語言對可以基于，例如，用戶的日歷數(shù)據(jù)(例如，旅行)或者指示用戶對世界的特定區(qū)域有興趣或者打算去世界的特定區(qū)域旅行的網(wǎng)絡搜索數(shù)據(jù)自動下載。
[0090]對用戶的位置(例如，基于GPS數(shù)據(jù))和/或興趣(例如，基于互聯(lián)網(wǎng)搜索數(shù)據(jù)和/或語音翻譯查詢)的訪問還提供其語言行為中的語音翻譯系統(tǒng)的用戶化?？梢詢?yōu)選某些單詞、位置名和食物類型。具體地，名字(位置名，個人名)很可能是或多或少相關的并且可能取決于位置(例如，日本的川崎和山本，對照西班牙的馬丁尼茲或同薩雷斯等)。識別和翻譯模型的模型參數(shù)，最主要的它們的詞匯和可能的翻譯，可以因此基于用戶的位置和興趣調(diào)整。在在線模式下，這些均可以使用建立的自適應算法在使用期間動態(tài)地完成。但是在離線系統(tǒng)中，不是所有的單詞都應當被存儲并且存儲器必須被保留以實現(xiàn)移動設備上的效率。因此，在各種實施方式中，當網(wǎng)絡連通性可用時，系統(tǒng)可以從后端語音翻譯系統(tǒng)16下載用戶化的參數(shù)模型即使對于離線/嵌入式系統(tǒng)，并且轉(zhuǎn)入和轉(zhuǎn)出詞匯條目、語言模型以及修改的概率聲音參數(shù)。
[0091]語音翻譯系統(tǒng)的最大存儲密集方面通常由機器翻譯引擎的翻譯表和語言模型、識別引擎的聲音和語言模型以及語音合成引擎的語音參數(shù)給出。至減少客戶端計算設備12上的本地化的離線翻譯app的模型的大小，可以使用根據(jù)模型類型的不同的技術。具有作為諸如聲音模型和語言模型的模型參數(shù)的概率的模型可以通過量化概率的值范圍使得值范圍可以僅利用固定數(shù)量的值點從連續(xù)空間映射至離散空間來減少。根據(jù)量化因數(shù)，存儲器需求可以減少至僅一個字節(jié)或者幾位。存諸如翻譯表和語言模型的存儲單詞的短語的模型，可以使用諸如前綴樹的存儲技術有效實現(xiàn)。此外，可以使用存儲器映射技術，該技術僅在要求時將模型的小部分動態(tài)地加載到RAM 212/214中，而不需要的部分仍然在非易失性存儲器216中未觸動過。
[0092]另外，用于將語言模型和/或翻譯模型減少至規(guī)定大小使得它們在離線客戶端計算設備上運行的更復雜的方法是使用特定修剪/擴展直觀推斷，該直觀推斷或者消除詞匯和單詞N元語法或者通過添加附加信息擴大基本模型。消除可以以機會主義的方式完成使得用戶的很可能的單詞和表述仍然被表示即使資源限制，例如，通過將詞匯限制為僅用戶特定的子集并且僅選擇由這些詞匯覆蓋或者由從用戶的查詢自動收集的用戶特定信息覆蓋的一般模型的那些部分并且選擇與用戶的查詢緊密相關的一般模型的那些部分。在另一方面的擴展可以通過僅選擇特定用戶來完成-例如，基于用戶說話風格-和/或領域特定-例如，旅游使用或者人道主義使用和/或特定情況-例如，基于GPS位置-和/或通常與服務器上的任何以上特定信息無關，僅將這些(delta德耳塔Λ)信息從服務器傳遞至設備并且將這些信息應用至設備上存儲的基本模型。
[0093]例如，參考圖6的流程圖，在步驟60后端語音翻譯服務器系統(tǒng)16可以分析用戶數(shù)據(jù)以確定，在步驟62，是否用戶的離線語言模型和/或翻譯表應當被更新，例如除去很少使用的單詞或表達，同時保留用戶普遍使用的單詞和表達或者在服務器上提取普遍使用的翻譯和表達并且將它們應用至客戶端計算設備上存儲的基本模型。如上所述的，后端語音翻譯服務器系統(tǒng)16可以分析用戶的翻譯查詢(例如，要翻譯的表述)和/或互聯(lián)網(wǎng)瀏覽歷史，以確定普通(和不普遍)使用的單詞和表達。因此，在各種實施方式中，離線模式中的用戶的翻譯查詢可以由客戶端計算設備12保存和存儲，并且在網(wǎng)狀連通時段期間上傳至后端語音翻譯服務器系統(tǒng)16使得它們可以由后端語音翻譯服務器系統(tǒng)16分析。相似地，用戶的互聯(lián)網(wǎng)瀏覽歷史(例如，收藏夾數(shù)據(jù))可以在網(wǎng)狀連通時段期間上傳端語音翻譯服務器系統(tǒng)16使得它們可以由后端語音翻譯服務器系統(tǒng)16分析以確定用戶普遍(和不普遍)使用的單詞和表達。如果，通過后端語音翻譯服務器系統(tǒng)對于用戶數(shù)據(jù)的分析，后端語音翻譯服務器系統(tǒng)16確定客戶端計算設備的離線處理軟件的語言模型和/或翻譯表應當更新，則更新軟件(例如，模型)在步驟64被下載至客戶端計算設備(例如，從后端語音翻譯服務器系統(tǒng)16)。同樣可以僅下載更新客戶端計算設備上的模型所需要的(德耳塔Λ)信息，而不是下載全部模型。
[0094]相似地，用戶特定信息還可以具有減少聲音模型的大小的用途，例如，通過由更小的特定用戶的一個代替更多的一般聲音模型。根據(jù)特定用戶數(shù)據(jù)