一種自適應(yīng)語言訓(xùn)練方法和平臺(tái)的制作方法
【專利摘要】本發(fā)明公開了一種自適應(yīng)語言訓(xùn)練方法和平臺(tái)，以實(shí)現(xiàn)對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行評(píng)價(jià)。該方法包括：調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別；語音識(shí)別模塊對(duì)任意語音信息進(jìn)行識(shí)別，向評(píng)價(jià)模塊輸入識(shí)別結(jié)果；評(píng)價(jià)模塊進(jìn)行語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果；調(diào)度模塊將識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給用戶。本發(fā)明使得系統(tǒng)在對(duì)用戶表述進(jìn)行評(píng)價(jià)時(shí)只需獲得參考回答文本和期望關(guān)鍵詞文本即可，能夠客觀、準(zhǔn)確地反映用戶的語言運(yùn)用能力，利于提高用戶的語言表述能力。
【專利說明】一種自適應(yīng)語言訓(xùn)練方法和平臺(tái)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語音識(shí)別領(lǐng)域，具體涉及一種自適應(yīng)語言訓(xùn)練方法和平臺(tái)。
【背景技術(shù)】
[0002]隨著社會(huì)發(fā)展，人與人之間的語言交流在社會(huì)生活的各個(gè)方面扮演著越來越重要的角色，語言交流過程中的諸多問題也日益受到重視。以言語障礙兒童為例，相關(guān)機(jī)構(gòu)近年在北京等多地對(duì)幾萬名學(xué)生進(jìn)行測(cè)查，發(fā)現(xiàn)言語和語音障礙兒童的出現(xiàn)率為普通小學(xué)
6.42%，盲校9.24%，弱智學(xué)校30.10%，語言障礙的發(fā)生率較高，這些兒童均需要進(jìn)行專業(yè)的言語康復(fù)訓(xùn)練；又如，香港等地警局警署為規(guī)范警員用語，均已開展警員出警用語規(guī)范性訓(xùn)練等語言交流訓(xùn)練。但是，這些語言交流訓(xùn)練均面臨專業(yè)語言訓(xùn)練機(jī)構(gòu)和訓(xùn)練師數(shù)量較少的難題
[0003]目前，計(jì)算機(jī)輔助訓(xùn)練已經(jīng)廣泛地應(yīng)用于各行各業(yè)，語言交流訓(xùn)練也成為其中的一種。對(duì)于語言訓(xùn)練及評(píng)價(jià)，國內(nèi)外已經(jīng)進(jìn)行了大量的研究。目前比較典型的語言訓(xùn)練系統(tǒng)可以從音素級(jí)別和句子級(jí)別評(píng)估訓(xùn)練用戶的發(fā)音質(zhì)量?，F(xiàn)有的一種語言訓(xùn)練方法是朗讀性語言表述訓(xùn)練及評(píng)價(jià)，也即文本相關(guān)語言表述訓(xùn)練及評(píng)價(jià)。具體地，首先給出期望的語言表述朗讀文本，用戶按照指定文本進(jìn)行語言表述，系統(tǒng)通過強(qiáng)制對(duì)齊技術(shù)，將語音信號(hào)與隱馬爾可夫模型(Hidden Markov Model，HMM)識(shí)別系統(tǒng)的解碼路徑對(duì)齊?；趶?qiáng)制對(duì)齊的結(jié)果，提取反映發(fā)音質(zhì)量的評(píng)價(jià)特征。在評(píng)價(jià)時(shí)，系統(tǒng)將不同的評(píng)價(jià)特征進(jìn)行組合，其中包括線性回歸、非線性回歸(人工神經(jīng)網(wǎng)絡(luò)、回歸樹模型)等，得到最終的綜合評(píng)價(jià)結(jié)果。在上述現(xiàn)有的語言訓(xùn)練方法中，系統(tǒng)使用有限個(gè)特定訓(xùn)練場景對(duì)用戶進(jìn)行訓(xùn)練，所有訓(xùn)練場景預(yù)包含在系統(tǒng)中，用戶根據(jù)需要選擇系統(tǒng)中合適的訓(xùn)練場景進(jìn)行訓(xùn)練。
[0004]然而，上述現(xiàn)有的朗讀性語言表述訓(xùn)練及評(píng)價(jià)存在的缺點(diǎn)也是顯而易見的，其中主要包括:
[0005]I)對(duì)用戶表述進(jìn)行評(píng)價(jià)時(shí)必須預(yù)先知道用戶表述文本，否則無法評(píng)價(jià)。用戶必須按照系統(tǒng)預(yù)定義的的文本進(jìn)行語言表述，若用戶在表述時(shí)出現(xiàn)修改或重復(fù)等與預(yù)定義文本不一致的情況，系統(tǒng)對(duì)用戶表述的評(píng)價(jià)準(zhǔn)確度將會(huì)急劇下降；
[0006]2)難以達(dá)到對(duì)用戶理解、表達(dá)與運(yùn)用語言能力進(jìn)行全面訓(xùn)練的目的。語言訓(xùn)練不僅僅局限于發(fā)音準(zhǔn)確度與表述流利度，還應(yīng)對(duì)理解、表達(dá)與運(yùn)用語言的能力進(jìn)行訓(xùn)練。但上述現(xiàn)有的朗讀性語言訓(xùn)練限定了用戶表述內(nèi)容，因此無法對(duì)用戶的理解、表達(dá)與運(yùn)用語言能力進(jìn)行有針對(duì)性的訓(xùn)練；
[0007]3)沒有語法規(guī)范度方面的評(píng)價(jià)。上述現(xiàn)有的朗讀性語言表述訓(xùn)練只停留在音素和聲學(xué)層面，用戶不能進(jìn)行自發(fā)性表述，因此無法對(duì)用戶表述進(jìn)行語法規(guī)范度方面的評(píng)價(jià)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明實(shí)施例提供一種自適應(yīng)語言訓(xùn)練方法和平臺(tái)，以實(shí)現(xiàn)對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)。[0009]本發(fā)明實(shí)施例提供一種自適應(yīng)語言訓(xùn)練方法，所述方法包括:
[0010]調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別；
[0011]所述語音識(shí)別模塊對(duì)所述任意語音信息進(jìn)行識(shí)別，向評(píng)價(jià)模塊輸入識(shí)別結(jié)果；
[0012]所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果；
[0013]所述調(diào)度模塊將所述識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給所述用戶。
[0014]本發(fā)明另一實(shí)施例提供一種自適應(yīng)語言訓(xùn)練平臺(tái)，所述平臺(tái)包括調(diào)度模塊、語音識(shí)別模塊和評(píng)價(jià)模塊；
[0015]所述調(diào)度模塊，用于調(diào)用所述語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別；
[0016]所述語音識(shí)別模塊，用于對(duì)所述任意語音信息進(jìn)行識(shí)別，向所述評(píng)價(jià)模塊輸入識(shí)別結(jié)果；
[0017]所述評(píng)價(jià)模塊，用于根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果；
[0018]所述調(diào)度模塊還用于將所述識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給所述用戶。
[0019]從上述本發(fā)明實(shí)施例可知，一方面，由于調(diào)度模塊可以調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別，因此，用戶無需按照系統(tǒng)預(yù)定義的文本進(jìn)行語言表述即可進(jìn)行自發(fā)性語言表述，系統(tǒng)在對(duì)用戶表述進(jìn)行評(píng)價(jià)時(shí)只需獲得參考回答文本和期望關(guān)鍵詞文本即可，也因?yàn)闊o需限定用戶表述的內(nèi)容，因此能全面地對(duì)用戶的理解、表達(dá)與運(yùn)用語言能力進(jìn)行有針對(duì)性的訓(xùn)練，另一方面，由于評(píng)價(jià)模塊可以根據(jù)識(shí)別結(jié)果對(duì)任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)識(shí)別結(jié)果和與場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，因此，相比音素和聲學(xué)層面的朗讀性語言表述訓(xùn)練，能夠更加客觀、準(zhǔn)確地反映用戶的語言運(yùn)用能力，更有利于提高用戶的語目表述能力。
【專利附圖】

【附圖說明】
[0020]圖1是本發(fā)明實(shí)施例提供的自適應(yīng)語言訓(xùn)練方法的基本流程示意圖；
[0021]圖2是本發(fā)明實(shí)施例提供的調(diào)度模塊工作流程示意圖；
[0022]圖3是本發(fā)明實(shí)施例提供的場景控制模塊的場景控制流程示意圖；
[0023]圖4是本發(fā)明實(shí)施例提供的場景控制模塊的訓(xùn)練流程示意圖；
[0024]圖5是本發(fā)明實(shí)施例提供的場景拓展接口模塊實(shí)現(xiàn)場景拓展的過程示意圖；
[0025]圖6是本發(fā)明實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0026]圖7是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0027]圖8是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；[0028]圖9是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0029]圖ΙΟ-a是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0030]圖ΙΟ-b是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0031]圖10-c是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0032]圖ΙΟ-d是本發(fā)明另一實(shí)施例提供的自適應(yīng)語言訓(xùn)練平臺(tái)邏輯結(jié)構(gòu)示意圖；
[0033]圖11是本發(fā)明實(shí)施例提供的與自適應(yīng)語言訓(xùn)練平臺(tái)相應(yīng)的系統(tǒng)軟件架構(gòu)示意圖。
【具體實(shí)施方式】
[0034]本發(fā)明實(shí)施例提供一種自適應(yīng)語言訓(xùn)練方法，包括:調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別；所述語音識(shí)別模塊對(duì)所述任意語音信息進(jìn)行識(shí)別，向評(píng)價(jià)模塊輸入識(shí)別結(jié)果；所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果；所述調(diào)度模塊將所述識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給所述用戶。本發(fā)明實(shí)施例還提供相應(yīng)的自適應(yīng)語言訓(xùn)練平臺(tái)。以下分別進(jìn)行詳細(xì)說明。
[0035]本發(fā)明實(shí)施例的自適應(yīng)語言訓(xùn)練方法的基本流程可參考圖1，主要包括如下步驟SlOl至步驟S104:
[0036]S101，調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別。
[0037]首先對(duì)本發(fā)明實(shí)施例中的系統(tǒng)數(shù)據(jù)庫和場景數(shù)據(jù)庫進(jìn)行說明。首先說明，系統(tǒng)數(shù)據(jù)庫和場景數(shù)據(jù)庫屬于系統(tǒng)的軟件架構(gòu)中核心處理層的范疇，其中，系統(tǒng)數(shù)據(jù)庫主要負(fù)責(zé)記錄系統(tǒng)的多種數(shù)據(jù)信息，可供系統(tǒng)在需要時(shí)進(jìn)行增、刪、查、改等操作。系統(tǒng)數(shù)據(jù)庫使用單機(jī)離線版輕量級(jí)數(shù)據(jù)庫實(shí)現(xiàn)，主要記錄的信息包括注冊(cè)用戶信息、登錄信息、場景數(shù)據(jù)信息、識(shí)別任務(wù)記錄、識(shí)別結(jié)果、評(píng)價(jià)結(jié)果等信息。系統(tǒng)數(shù)據(jù)庫響應(yīng)邏輯控制層的操作指令，對(duì)核心處理層中其他子模塊透明。系統(tǒng)數(shù)據(jù)庫在分析系統(tǒng)場景數(shù)據(jù)存儲(chǔ)與管理需求以及系統(tǒng)用戶注冊(cè)與管理需求的基礎(chǔ)上，依照典型的關(guān)系型數(shù)據(jù)庫進(jìn)行設(shè)計(jì)，滿足第三范式設(shè)計(jì)要求，在滿足高效操作的同時(shí)，最大程度地消除了數(shù)據(jù)冗余。系統(tǒng)數(shù)據(jù)庫采用SQLite Library實(shí)現(xiàn)，這是因?yàn)檩p量級(jí)關(guān)系型數(shù)據(jù)庫SQLite能夠和WPF框架緊密結(jié)合，并且與Mysql、PostgreSQL等數(shù)據(jù)庫相比，占用資源非常低，處理速度更快。
[0038]場景數(shù)據(jù)庫主要負(fù)責(zé)保存系統(tǒng)中預(yù)包含的多套場景數(shù)據(jù)文件，同時(shí)可以保存用戶拓展的新場景數(shù)據(jù)文件。場景數(shù)據(jù)庫受場景控制模塊和場景拓展接口模塊的控制和管理，場景控制模塊可根據(jù)需要加載場景數(shù)據(jù)庫中的場景數(shù)據(jù)文件，可刪除場景數(shù)據(jù)庫中保存的場景，而場景拓展接口模塊可向場景數(shù)據(jù)庫中添加一套或多套新場景。場景數(shù)據(jù)庫中預(yù)包含了針對(duì)言語障礙兒童康復(fù)訓(xùn)練場景，包括相關(guān)音視頻文件和數(shù)據(jù)文件。
[0039]在本發(fā)明實(shí)施例中，調(diào)度模塊屬于邏輯控制層的主要功能模塊之一，其主要負(fù)責(zé)對(duì)語音識(shí)別模塊的初始化、加載、調(diào)用、釋放以及對(duì)評(píng)價(jià)模塊的調(diào)用和控制。同時(shí)，調(diào)度模塊還與位于邏輯控制層之上的用戶界面層進(jìn)行雙向通信，一方面從用戶界面層接收用戶在所選擇的場景下輸入的任意語音信息，一方面將識(shí)別結(jié)果和評(píng)價(jià)結(jié)果反饋至用戶界面層。識(shí)別調(diào)度模塊的主要調(diào)度對(duì)象為語音識(shí)別模塊、評(píng)價(jià)模塊以及系統(tǒng)數(shù)據(jù)庫中與識(shí)別結(jié)果和評(píng)價(jià)結(jié)果相關(guān)的數(shù)據(jù)表。例如，調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別。本發(fā)明實(shí)施例提供的調(diào)度模塊工作流程如附圖2所示，具體包括:在系統(tǒng)初始化階段，調(diào)度模塊初始化語音識(shí)別模塊并加載語音識(shí)別模塊入系統(tǒng)內(nèi)存中(步驟S201)。加載完成后，調(diào)度模塊等待用戶界面層是否產(chǎn)生新的識(shí)別任務(wù)(步驟S202)。若用戶進(jìn)行一次訓(xùn)練并完成錄音后，用戶界面層將產(chǎn)生一次新的識(shí)別任務(wù)，并將任務(wù)相關(guān)信息寫入系統(tǒng)數(shù)據(jù)庫中，任務(wù)相關(guān)信息包含了此次識(shí)別任務(wù)中需要與邏輯控制層進(jìn)行通信的完整信息。此時(shí)，調(diào)度模塊將連接系統(tǒng)數(shù)據(jù)庫并獲取新的任務(wù)相關(guān)信息(步驟S203)，調(diào)用語音識(shí)別模塊對(duì)用戶輸入的語音信息進(jìn)行識(shí)別是否成功(步驟S204)。若識(shí)別成功，則將識(shí)別結(jié)果回寫至系統(tǒng)數(shù)據(jù)庫的識(shí)別結(jié)果表中(步驟S206)，若識(shí)別失敗，則向用戶界面層反饋失敗信息(步驟S205)。接著，調(diào)度模塊調(diào)用評(píng)價(jià)模塊對(duì)得到的識(shí)別結(jié)果進(jìn)行評(píng)價(jià)是否成功(步驟S207)，若評(píng)價(jià)成功，則將評(píng)價(jià)結(jié)果回寫至系統(tǒng)數(shù)據(jù)庫的評(píng)價(jià)結(jié)果表中(步驟S208)，若評(píng)價(jià)失敗，則向用戶界面層反饋失敗信息(步驟S205)。最后，調(diào)度模塊通知用戶界面層完成識(shí)別任務(wù)的識(shí)別和評(píng)價(jià)(步驟S209)，并恢復(fù)等待狀態(tài)，直至新的識(shí)別任務(wù)產(chǎn)生。
[0040]需要說明的是，在本發(fā)明實(shí)施例中，“用戶”包括兩類，一類是被訓(xùn)練用戶，一類是系統(tǒng)管理員用戶。被訓(xùn)練用戶為主要用戶，例如，步驟SlOl中提到的用戶，系統(tǒng)的主要功能即語言訓(xùn)練為面向被訓(xùn)練用戶設(shè)計(jì)，系統(tǒng)管理員用戶主要對(duì)系統(tǒng)的場景進(jìn)行管理，可新增場景和刪除系統(tǒng)中現(xiàn)有的場景。系統(tǒng)將兩類用戶區(qū)別設(shè)計(jì)的目的在于區(qū)分用戶權(quán)限以提高系統(tǒng)的可靠性和數(shù)據(jù)安全性。被訓(xùn)練用戶登錄系統(tǒng)后，根據(jù)系統(tǒng)給出的訓(xùn)練場景列表，結(jié)合訓(xùn)練需求，選擇一個(gè)場景進(jìn)行語言訓(xùn)練。被訓(xùn)練用戶通過收聽和收看系統(tǒng)的提示，并按照系統(tǒng)要求完成語音錄制，與系統(tǒng)進(jìn)行語音交互。在完成一條語音錄制后，系統(tǒng)會(huì)實(shí)時(shí)地給出識(shí)別結(jié)果和評(píng)價(jià)結(jié)果，用戶可通過查看結(jié)果來修正語言表述上存在的問題。系統(tǒng)管理員用戶登錄系統(tǒng)后，可對(duì)系統(tǒng)的場景數(shù)據(jù)庫進(jìn)行管理，包括通過拓展場景接口向場景數(shù)據(jù)庫中添加新的場景，或?qū)δ壳皥鼍皵?shù)據(jù)庫中包含的場景進(jìn)行刪除和修改。系統(tǒng)管理員用戶還可對(duì)系統(tǒng)的注冊(cè)用戶進(jìn)行管理，可向系統(tǒng)用戶注冊(cè)表中添加新的被訓(xùn)練用戶的賬戶，或者對(duì)系統(tǒng)當(dāng)前的賬戶進(jìn)行刪除和修改等等。
[0041]S102，語音識(shí)別模塊對(duì)任意語音信息進(jìn)行識(shí)別，向評(píng)價(jià)模塊輸入識(shí)別結(jié)果。
[0042]在本發(fā)明實(shí)施例中，語音識(shí)別模塊即語音識(shí)別引擎，由一系列穩(wěn)健的語音識(shí)別算法實(shí)現(xiàn)，主要負(fù)責(zé)對(duì)用戶輸入的待識(shí)別語音信息進(jìn)行語音識(shí)別，并得到文本形式的識(shí)別結(jié)果。具體地，語音識(shí)別模塊采用基于大規(guī)模連續(xù)語音識(shí)別的解碼系統(tǒng)，其中，聲學(xué)模型采用基于隱馬爾科夫模型的聲學(xué)模型，語言模型采用的是基于N元文法的語言模型。對(duì)于用戶輸入的任意語音信息即文本無關(guān)的口語表述，由于未知表述內(nèi)容，因此，對(duì)任意語音信息采用直接解碼、基于最大線性似然回歸的非監(jiān)督性自適應(yīng)、二次解碼等處理，其中，解碼時(shí)采用多遍解碼技術(shù)以提高識(shí)別率。
[0043]需要說明的是，在本發(fā)明實(shí)施例中，語音識(shí)別模塊受調(diào)度模塊控制，與調(diào)度模塊進(jìn)行雙向數(shù)據(jù)通信，接收調(diào)度模塊發(fā)送的待識(shí)別的任意語音信息，并將識(shí)別結(jié)果反饋至調(diào)度模塊。
[0044]S103，評(píng)價(jià)模塊根據(jù)識(shí)別結(jié)果對(duì)任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果。
[0045]在本發(fā)明實(shí)施例中，評(píng)價(jià)模塊主要負(fù)責(zé)從內(nèi)容完整度、內(nèi)容準(zhǔn)確度和語義規(guī)范度等多方面對(duì)識(shí)別模塊得到的識(shí)別結(jié)果進(jìn)行評(píng)價(jià)，并根據(jù)識(shí)別結(jié)果評(píng)價(jià)算法得出評(píng)價(jià)結(jié)論。評(píng)價(jià)模塊受調(diào)度模塊控制，從識(shí)別模塊接收對(duì)用戶在所選擇的場景下輸入的任意語音信息的識(shí)別結(jié)果作為輸入，并將評(píng)價(jià)結(jié)果反饋至調(diào)度模塊。
[0046]在本發(fā)明一個(gè)實(shí)施例中，評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)包括Sal至Sa3:
[0047]Sal，基于決策樹的詞性標(biāo)注，獲取語法規(guī)則。
[0048]具體地，使用基于決策樹的詞性標(biāo)注，對(duì)大量日常語料進(jìn)行標(biāo)注，提取高頻格式，獲得日常語法規(guī)則。
[0049]Sa2，對(duì)識(shí)別結(jié)果進(jìn)行詞性標(biāo)注以檢測(cè)是否符合語法規(guī)則。
[0050]Sa3，若符合語法規(guī)則，則對(duì)所述識(shí)別結(jié)果進(jìn)行加權(quán)以獲得語義規(guī)范度的評(píng)價(jià)結(jié)
果O
[0051]以言語康復(fù)訓(xùn)練這一場景的語義規(guī)范度評(píng)價(jià)為例。首先對(duì)識(shí)別結(jié)果進(jìn)行詞性標(biāo)注，然后根據(jù)所獲取的語法規(guī)則，進(jìn)行詞性標(biāo)注以檢測(cè)是否符合所述語法規(guī)則，最后使用一個(gè)通用的語言模型，計(jì)算語法無誤的測(cè)試句子的困惑度(perplexity)，取其倒數(shù)作分值，可分別表示為pexp pex2、…、pexn,則語義規(guī)范度可通過計(jì)算各句的加權(quán)平均值得出，即，使用H !表示語義規(guī)范度，則Pex1為:
[0052]
【權(quán)利要求】
1.一種自適應(yīng)語言訓(xùn)練方法，其特征在于，所述方法包括: 調(diào)度模塊調(diào)用語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別； 所述語音識(shí)別模塊對(duì)所述任意語音信息進(jìn)行識(shí)別，向評(píng)價(jià)模塊輸入識(shí)別結(jié)果； 所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果； 所述調(diào)度模塊將所述識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給所述用戶。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，包括: 基于決策樹的詞性標(biāo)注，獲取語法規(guī)則； 對(duì)所述識(shí)別結(jié)果進(jìn)行詞性標(biāo)注以檢測(cè)是否符合所述語法規(guī)則； 若符合所述語法規(guī)則，則對(duì)所述識(shí)別結(jié)果進(jìn)行加權(quán)以獲得所述語義規(guī)范度的評(píng)價(jià)結(jié)果O
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述場景數(shù)據(jù)包括參考回答文本，所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度的評(píng)價(jià)，包括: 依次計(jì)算所述識(shí)別結(jié)果中詞語與所述參考回答文本中詞語之間的相似度得分、所述識(shí)別結(jié)果中詞語與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分以及所述識(shí)別結(jié)果中句子與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分； 取所述識(shí)別結(jié)果中句子與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分中的最高得分作為所述識(shí)別結(jié)果中句子與所述參考要點(diǎn)Ti的相似度得分SCorei ；求取
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述場景數(shù)據(jù)包括關(guān)鍵詞文本，所述評(píng)價(jià)模塊根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容準(zhǔn)確度的評(píng)價(jià)，包括: 計(jì)算所述識(shí)別結(jié)果中關(guān)鍵詞與所述關(guān)鍵詞文本中參考要點(diǎn)關(guān)鍵詞之間的相似度得分； 取所述識(shí)別結(jié)果中關(guān)鍵詞與所述關(guān)鍵詞文本中參考要點(diǎn)Pi關(guān)鍵詞之間的相似度得分中的最高得分作為所述識(shí)別結(jié)果中關(guān)鍵詞與所述參考要點(diǎn)Pi的相似度得分； 對(duì)所述識(shí)別結(jié)果中所有關(guān)鍵詞與所述關(guān)鍵詞文本中所有參考要點(diǎn)關(guān)鍵詞之間的相似度得分進(jìn)行加權(quán)平均，將所述加權(quán)平均的值作為所述內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果。
5.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的方法，其特征在于，所述方法還包括: 對(duì)場景進(jìn)行管理和控制；以及 對(duì)外提供向系統(tǒng)數(shù)據(jù)庫和場景數(shù)據(jù)庫增加新場景時(shí)的接口。
6.一種自適應(yīng)語言訓(xùn)練平臺(tái)，其特征在于，所述平臺(tái)包括調(diào)度模塊、語音識(shí)別模塊和評(píng)價(jià)模塊；
所述調(diào)度模塊，用于調(diào)用所述語音識(shí)別模塊對(duì)用戶在所選擇的場景下輸入的任意語音信息進(jìn)行語音識(shí)別； 所述語音識(shí)別模塊，用于對(duì)所述任意語音信息進(jìn)行識(shí)別，向所述評(píng)價(jià)模塊輸入識(shí)別結(jié)果; 所述評(píng)價(jià)模塊，用于根據(jù)所述識(shí)別結(jié)果對(duì)所述任意語音信息進(jìn)行語義規(guī)范度的評(píng)價(jià)，以及根據(jù)所述識(shí)別結(jié)果和與所述場景對(duì)應(yīng)的場景數(shù)據(jù)對(duì)所述任意語音信息進(jìn)行內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)，對(duì)所述語義規(guī)范度、內(nèi)容完整度和內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果進(jìn)行加權(quán)得到綜合評(píng)價(jià)結(jié)果； 所述調(diào)度模塊還用于將所述識(shí)別結(jié)果和綜合評(píng)價(jià)結(jié)果反饋給所述用戶。
7.根據(jù)權(quán)利要求6所述的平臺(tái)，其特征在于，所述評(píng)價(jià)模塊包括: 獲取單元，用于基于決策樹的詞性標(biāo)注，獲取語法規(guī)則； 檢測(cè)單元，用于對(duì)所述識(shí)別結(jié)果進(jìn)行詞性標(biāo)注以檢測(cè)是否符合所述語法規(guī)則； 加權(quán)單元，用于若所述檢測(cè)單元的檢測(cè)結(jié)果為符合所述語法規(guī)則，則對(duì)所述識(shí)別結(jié)果進(jìn)行加權(quán)以獲得所述語義規(guī)范度的評(píng)價(jià)結(jié)果。
8.根據(jù)權(quán)利要求6所述的平臺(tái)，其特征在于，所述場景數(shù)據(jù)包括參考回答文本，所述評(píng)價(jià)模塊包括:第一計(jì)算單元，用于依次計(jì)算所述識(shí)別結(jié)果中詞語與所述參考回答文本中詞語之間的相似度得分、所述識(shí)別結(jié)果中詞語與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分以及所述識(shí)別結(jié)果中句子與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分；第一確定單元，用于取所述識(shí)別結(jié)果中句子與所述參考回答文本中參考要點(diǎn)Ti句子之間的相似度得分中的最高得分作為所述識(shí)別結(jié)果中句子與所述參考要點(diǎn)Ti的相似度得分 第二計(jì)算單元，用于求取
9.根據(jù)權(quán)利要求6所述的平臺(tái)，其特征在于，所述場景數(shù)據(jù)包括關(guān)鍵詞文本，所述評(píng)價(jià)模塊包括: 第三計(jì)算單元，用于計(jì)算所述識(shí)別結(jié)果中關(guān)鍵詞與所述關(guān)鍵詞文本中參考要點(diǎn)關(guān)鍵詞之間的相似度得分； 第二確定單元，用于取所述識(shí)別結(jié)果中關(guān)鍵詞與所述關(guān)鍵詞文本中參考要點(diǎn)Pi關(guān)鍵詞之間的相似度得分中的最高得分作為所述識(shí)別結(jié)果中關(guān)鍵詞與所述參考要點(diǎn)Pi的相似度得分； 平均值求取單元，用于對(duì)所述識(shí)別結(jié)果中所有關(guān)鍵詞與所述關(guān)鍵詞文本中所有參考要點(diǎn)關(guān)鍵詞之間的相似度得分進(jìn)行加權(quán)平均，將所述加權(quán)平均的值作為所述內(nèi)容準(zhǔn)確度的評(píng)價(jià)結(jié)果。
10.根據(jù)權(quán)利要求6至9任意一項(xiàng)所述的平臺(tái)，其特征在于，所述平臺(tái)還包括: 場景控制模塊，用于對(duì)場景進(jìn)行管理和控制；以及 場景拓展接口模塊，用于對(duì)外提供向系統(tǒng)數(shù)據(jù)庫和場景數(shù)據(jù)庫增加新場景時(shí)的接口。
【文檔編號(hào)】G06F3/16GK103605492SQ201310627536
【公開日】2014年2月26日 申請(qǐng)日期:2013年11月28日 優(yōu)先權(quán)日:2013年11月28日
【發(fā)明者】毛羽, 王嵐, 燕楠, 謝旭榮 申請(qǐng)人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院