多語言深神經網絡的制作方法
【專利說明】多語言深神經網絡
[0001]背景
[0002]計算機實現(xiàn)的識別系統(tǒng)已被設計成執(zhí)行各種識別任務。這樣的任務包括分析視頻信號以標識在這樣的信號中捕捉到的人類、分析視頻信號以標識由人類執(zhí)行的姿勢、分析視頻信號以識別其中的對象、分析手寫樣本以標識該手寫樣本中包括的字符、分析音頻信號以確定在音頻信號中捕捉到的講話者的身份、分析音頻信號以識別所講詞語、分析音頻信號以識別音頻信號中的講話者的語言、分析音頻信號以識別音頻信號中的講話者的口音/方目，以及其他任務。
[0003]對于自動語音識別(ASR)系統(tǒng)，這樣的系統(tǒng)正變得日益普遍。例如，移動電話當前配備有配置成識別由其用戶闡明的所講命令的ASR系統(tǒng)，從而允許用戶在向移動電話闡明語音命令的同時執(zhí)行其他任務。游戲控制臺也配備有同樣配置成識別某些所講命令的ASR系統(tǒng)，從而允許這樣的游戲控制臺的用戶與游戲控制器交互而無需使用手持式游戲控制器。另外，可通過電話訪問的客戶服務中心采用相對穩(wěn)健的ASR系統(tǒng)結合獲得所需信息來輔助用戶。因此，用戶可以通過電話訪問客戶服務中心并闡明一個或多個語音命令以獲得所需信息(或要被定向到可幫助用戶獲得信息的操作者)。
[0004]可以理解，ASR系統(tǒng)的性能依賴于可供用于訓練ASR系統(tǒng)的經標記的訓練數據的量。對于許多語言，存在相對少量的經標記的訓練數據當前可供用于訓練ASR系統(tǒng)，而對于其他語言，存在相對大量的訓練數據來用于訓練ASR系統(tǒng)。因此，對于某些語言，ASR系統(tǒng)被相對差地訓練并且因而不準確，并且在大詞匯語音識別(LVSR)任務方面有困難。
[0005]概述
[0006]以下是在本文更詳細描述的主題的簡要概述。本概述不旨在成為關于權利要求的范圍的限制。
[0007]本文描述了涉及使用多語言訓練數據來訓練的自動語音識別(ASR)系統(tǒng)的各種技術。更具體而言，ASR系統(tǒng)可包括深神經網絡(DNN)，其中DNN包括接收從捕捉到的第一語言的話語提取的特征向量的輸入層。DNN還包括多個隱藏層，其中該多個隱藏層中的每一隱藏層包括相應多個節(jié)點。隱藏層中的每一節(jié)點被配置成對其相應輸入執(zhí)行線性或非線性變換，其中該輸入基于緊接該隱藏層之下的層中的節(jié)點的輸出。即，該多個隱藏層中的各隱藏層一個壓一個地堆疊，使得對隱藏層中的節(jié)點的輸入基于緊接這一隱藏層之下的層中的節(jié)點的輸出。
[0008]各隱藏層具有與其相關聯(lián)的若干參數，諸如各獨立層中各節(jié)點之間的權重，其中該權重表示突觸強度以及權重偏置。在一示例性實施例中，這樣的權重參數的值可以基于多語言訓練數據(同時跨多語言訓練數據中表示的各語言)來學習。DNN進一步包括被配置成輸出表示目標語言中使用的語音元素的建模單元上的概率分布的至少一個softmax層。例如，這樣的語音單元可以是語素(senone)(隱馬爾科夫模型中的綁定三音素(triphone)或五音素(quintone)狀態(tài))。在一示例性實施例中，DNN可包括非分層的多個softmax層，需要由ASR系統(tǒng)識別的每一語言一個softmax層。在另一實施例中，DNN可包括單個softmax層，其中取決于捕捉到的話語的語言，該softmax層的突觸被選擇性地激活和停用。在其他實施例中，DNN可包括單個softmax層來表示跨多種語言的共享語音符號集合。
[0009]DNN的各隱藏層，具有基于多語言訓練數據學習的參數值，可被重用(共享)以允許識別系統(tǒng)關于不同語言來執(zhí)行識別任務。例如，對于其中沒有足夠量的訓練數據的新目標語言，多個隱藏層(具有基于不帶目標語言的多語言(源)訓練數據學習的參數值)可被重用，且目標語言的softmax層可被添加到DNN(softmax層的參數是基于目標語言的可用訓練數據學習的)。經修改的DNN允許相對于僅基于目標語言的訓練數據來訓練的DNN (或ASR系統(tǒng)中使用的其他類型的模型)的經改進的識別。在其他實施例中，如果存在目標語言可用的相對大量的訓練數據(例如，九小時或更多)，則整個模型可基于目標語言的這樣的訓練數據來被調節(jié)(而非只是將softmax層添加到DNN)。在這樣的實施例中，目標語言也可以是源語言。
[0010]在被訓練之后，ASR系統(tǒng)可被采用來識別多種語言的語音，只要多種語言中的每一語言的聲學數據已被用來訓練DNN的至少一個softmax層。通過共享DNN中的各隱藏層并使用上述聯(lián)合訓練策略，相對于使用僅來自各單獨語言中的每一者的聲學(訓練)數據來訓練的單語言ASR系統(tǒng)，跨DNN可解碼的所有語言的識別準確度可被改進。
[0011]以上概述呈現(xiàn)了簡化概述，以提供對本文討論的系統(tǒng)和/或方法的一些方面的基本理解。本概述并不是對此處所討論的系統(tǒng)和/或方法的全面綜述。并不旨在標識關鍵/重要元素，也不描繪這樣的系統(tǒng)和/或方法的范圍。其唯一目的是以簡化形式呈現(xiàn)一些概念，作為稍后呈現(xiàn)的更詳細說明的序言。
[0012]附圖簡述
[0013]圖1是包括共享隱藏層多語言深神經網絡(SHL-MDNN)的示例性識別系統(tǒng)的功能框圖。
[0014]圖2解說了示例性DNN。
[0015]圖3解說了包括針對相應多種語言的多個softmax層的示例性MDNN。
[0016]圖4解說了包括單個softmax層的示例性MDNN。
[0017]圖5是促成學習MDNN的參數的值的示例性系統(tǒng)的功能框圖。
[0018]圖6是促成學習MDNN的softmax層的參數的值的示例性系統(tǒng)的功能框圖。
[0019]圖7是解說用于通過利用MDNN來標識捕捉到的所講話語中的詞語的示例性方法的流程圖。
[0020]圖8是解說用于學習MDNN的參數的值的示例性方法的流程圖。
[0021]圖9是解說用于學習MDNN中的softmax層的參數的值的示例性方法的流程圖。
[0022]圖10是不例性計算系統(tǒng)。
[0023]詳細描述
[0024]現(xiàn)在參考附圖來描述涉及利用多語言訓練數據來訓練深神經網絡(DNN)以及通過利用使用多語言訓練數據訓練的DNN來執(zhí)行識別任務的各種技術，在所有附圖中相同的參考標號被用來引用相同的元素。在以下描述中，為解釋起見，闡明了眾多具體細節(jié)以提供對一個或多個方面的全面理解。然而，顯然這(些)方面可以在沒有這些具體細節(jié)的情況下實施。在其他實例中，以框圖形式示出公知的結構和設備以便于描述一個或多個方面。另夕卜，要理解，被描述為由特定系統(tǒng)組件執(zhí)行的功能性可由多個組件執(zhí)行。類似地，例如，一組件可被配置成執(zhí)行被描述為由多個組件執(zhí)行的功能。
[0025]此外，術語“或”意指包括性“或”而非排斥性“或”。即，除非另有指定或從上下文顯而易見，否則短語“X采用A或B”意指任何自然的包括性排列。S卩，短語“X采用A或B”箱由以下實例中任何實例得到滿足:X米用A ；X米用B ;或X米用A和B兩者。另外，本申請和所附權利要求書中所使用的冠詞“一”和“某” 一般應當被解釋成表示“一個或多個”，除非另外聲明或者可從上下文中清楚看出是指單數形式。
[0026]此外，如本文所使用的，術語“組件”和“系統(tǒng)”旨在包含用使得在被處理器執(zhí)行時執(zhí)行特定功能性的計算機可執(zhí)行指令配置的計算機可讀數據存儲。計算機可執(zhí)行指令可包括例程、功能等等。還要理解組件或系統(tǒng)可以位于單個設備上或跨若干設備分布。而且，此處所用的術語“示例性”旨在表示用作某些事物的圖示或示例，而不意圖指示優(yōu)選。
[0027]現(xiàn)在參考圖1，解說了可被用來識別多種不同語言的所講詞語的示例性識別系統(tǒng)100。識別系統(tǒng)100可被任何合適的計算設備來包括，這些計算設備包括但不限于臺式計算設備、移動計算設備(如移動電話、便攜式媒體播放器、平板(板式)計算設備、膝上型計算設備)等等。在其他實施例中，識別系統(tǒng)100可被包括在服務器中或跨各服務器分布，使得識別系統(tǒng)100可通過網絡連接來訪問(例如，用戶采用移動計算設備來聯(lián)系客戶服務中心)。本文闡明的示例將識別系統(tǒng)100描述為自動語音識別(ASR)系統(tǒng)。然而，將理解，識別系統(tǒng)100可被用來執(zhí)行其他類型的識別任務。例如，識別系統(tǒng)100可被用來執(zhí)行語義標簽，其中可查明輸入文本的語義含義。
[0028]在一示例性實施例中，識別系統(tǒng)100可被配置成識別多種語言的詞語，其中該多種語言包括目標語言。識別系統(tǒng)100包括接收輸入信號(聲學信號)的接收器組件102，其中輸入信號包括所講話語，所講話語包括用目標語言闡述的詞語。
[0029]識別系統(tǒng)100還包括從接收器組件102接收到的輸入信號提取特征的提取器組件104，由此生成輸入信號的至少一個幀的特征向量。