語音識別結(jié)果評價方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語音信號處理領(lǐng)域，具體涉及一種語音識別結(jié)果評價方法及系統(tǒng)。
【背景技術(shù)】
[0002] 隨著語音識別技術(shù)的快速發(fā)展，越來越多的技術(shù)領(lǐng)域采用錄音的方式記錄重要的 信息，如語音會議轉(zhuǎn)寫系統(tǒng)即為典型的應(yīng)用，采用錄音的形式記錄會議溝通的內(nèi)容，然后將 錄音通過語音識別的方法轉(zhuǎn)寫為文本，基于該文本進(jìn)行會議記錄的編輯并保存。然而，由于 受到錄音時噪聲、遠(yuǎn)場、口音等因素的影響，語音識別的準(zhǔn)確率還未完全達(dá)到要求。對于重 要的語音數(shù)據(jù)，如重要會議的錄音數(shù)據(jù)，一般要求達(dá)到較高的識別準(zhǔn)確率，用戶需要通過聽 語音數(shù)據(jù)判斷識別結(jié)果的可信度；如果可以直接給出識別結(jié)果的評價，用戶可以直觀地知 道識別結(jié)果的可信度，根據(jù)評價結(jié)果確定是否需要對識別結(jié)果進(jìn)行修改，無疑給用戶帶來 很大便利。
[0003] 現(xiàn)有語音識別結(jié)果的評價方法一般是人工抽查部分識別結(jié)果，聽識別結(jié)果對應(yīng)的 語音數(shù)據(jù)來給出評價，如識別結(jié)果較差或較好等。而現(xiàn)有方法隨機(jī)抽取的識別結(jié)果并不能 從總體上判斷所有識別結(jié)果的好壞，不具有代表性，如果抽取的識別結(jié)果都較好或較差，容 易誤導(dǎo)用戶對總體識別結(jié)果的可信度的判斷。此外，人工對識別結(jié)果進(jìn)行評價，每個人的評 價標(biāo)準(zhǔn)很難統(tǒng)一，主觀性較強(qiáng)；并且在識別結(jié)果較多時，工作量較大，成本較高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供一種語音識別結(jié)果評價方法及系統(tǒng)，以減少人工工作量，并提高語音 數(shù)據(jù)識別結(jié)果評價的準(zhǔn)確率。
[0005] 為此，本發(fā)明提供如下技術(shù)方案：
[0006] 一種語音識別結(jié)果評價方法，包括：
[0007] 對語音數(shù)據(jù)進(jìn)行端點(diǎn)檢測，得到各有效語音段；
[0008] 對各有效語音段進(jìn)行語音識別，得到各有效語音段對應(yīng)的識別文本段；
[0009] 提取各識別文本段的評價特征；
[0010] 利用預(yù)先構(gòu)建的識別結(jié)果評價模型及所述評價特征對各識別文本段進(jìn)行評價，得 到各識別文本段的評價結(jié)果；
[0011] 抽查所述評價結(jié)果的準(zhǔn)確率，并且如果有準(zhǔn)確率低于設(shè)定閾值的評價結(jié)果，則結(jié) 合人工評價對全部或部分識別文本段的評價結(jié)果進(jìn)行修正；
[0012] 修正結(jié)束后，輸出最終評價結(jié)果。
[0013] 優(yōu)選地，所述評價特征包括：識別結(jié)果置信度分布、以及以下一種或多種特征：槽 平均弧數(shù)、詞平均時長、句中停止詞占比。
[0014] 優(yōu)選地，所述方法還包括：
[0015] 按以下方式構(gòu)建所述識別結(jié)果評價模型：
[0016] 收集語音數(shù)據(jù)，并對其進(jìn)行語音識別，得到識別結(jié)果；
[0017] 提取所述識別結(jié)果的評價特征，并人工標(biāo)注識別結(jié)果的評價等級，作為所述識別 結(jié)果的標(biāo)注特征；
[0018] 利用所述評價特征及標(biāo)注特征，訓(xùn)練識別結(jié)果評價模型。
[0019] 優(yōu)選地，所述評價結(jié)果包括多個等級，每個等級作為一類；
[0020] 所述抽查所述評價結(jié)果的準(zhǔn)確率包括：
[0021] 抽查所述評價結(jié)果中的一類或多類評價結(jié)果的準(zhǔn)確率。
[0022] 優(yōu)選地，所述抽查所述評價結(jié)果的準(zhǔn)確率，并且如果有準(zhǔn)確率低于設(shè)定閾值的評 價結(jié)果，則結(jié)合人工評價對全部或部分識別文本段的評價結(jié)果進(jìn)行修正包括：
[0023] 在所有待抽查類評價結(jié)果抽查完畢后，確定準(zhǔn)確率低于設(shè)定閾值的所有類評價結(jié) 果；
[0024] 獲取抽查的準(zhǔn)確率低于設(shè)定閾值的所有類評價結(jié)果對應(yīng)的識別文本段及其人工 評價等級；
[0025] 將所述識別文本段及其人工評價等級加入到識別結(jié)果評價模型更新數(shù)據(jù)中，更新 所述識別結(jié)果評價模型；
[0026] 利用更新后的識別結(jié)果評價模型對全部或部分識別文本段重新進(jìn)行評價。
[0027] 優(yōu)選地，所述抽查所述評價結(jié)果的準(zhǔn)確率，并且如果有準(zhǔn)確率低于設(shè)定閾值的評 價結(jié)果，則結(jié)合人工評價對全部或部分識別文本段的評價結(jié)果進(jìn)行修正包括：
[0028] 依次抽查各類評價結(jié)果的準(zhǔn)確率；
[0029] 如果當(dāng)前類評價結(jié)果的準(zhǔn)確率低于設(shè)定閾值，則獲取抽取的當(dāng)前類評價結(jié)果的識 別文本段及其人工評價等級；
[0030] 將所述識別文本段及其人工評價等級加入到評價模型更新數(shù)據(jù)中，更新所述識別 結(jié)果評價模型；
[0031] 利用更新后的識別結(jié)果評價模型對當(dāng)前類及未抽查的各類評價結(jié)果的識別文本 段進(jìn)行評價，得到新的評價結(jié)果，然后對新的評價結(jié)果繼續(xù)執(zhí)行抽查過程。
[0032] -種語音識別結(jié)果評價系統(tǒng)，包括：
[0033] 端點(diǎn)檢測模塊，用于對語音數(shù)據(jù)進(jìn)行端點(diǎn)檢測，得到各有效語音段；
[0034] 語音識別模塊，用于對各有效語音段進(jìn)行語音識別，得到各有效語音段對應(yīng)的識 別文本段；
[0035] 評價特征提取模塊，用于提取各識別文本段的評價特征；
[0036] 評價模塊，用于利用預(yù)先構(gòu)建的識別結(jié)果評價模型及所述評價特征對各識別文本 段進(jìn)行評價，得到各識別文本段的評價結(jié)果；
[0037] 抽查模塊，用于抽查所述評價結(jié)果的準(zhǔn)確率；
[0038] 修正模塊，用于在有準(zhǔn)確率低于設(shè)定閾值的評價結(jié)果時，結(jié)合人工評價對全部或 部分識別文本段的評價結(jié)果進(jìn)行修正；
[0039] 輸出模塊，用于修正結(jié)束后，輸出最終評價結(jié)果。
[0040] 優(yōu)選地，所述系統(tǒng)還包括：
[0041] 模型構(gòu)建模塊，用于構(gòu)建所述識別結(jié)果評價模型；所述模型構(gòu)建模塊包括：
[0042] 數(shù)據(jù)收集單元，用于收集語音數(shù)據(jù)；
[0043] 語音識別單元，用于對所述數(shù)據(jù)收集單元收集的語音數(shù)據(jù)進(jìn)行語音識別，得到識 別結(jié)果；
[0044] 提取單元，用于提取所述識別結(jié)果的評價特征，并人工標(biāo)注識別結(jié)果的評價等級， 作為所述識別結(jié)果的標(biāo)注特征；
[0045] 訓(xùn)練單元，用于利用所述評價特征及標(biāo)注特征，訓(xùn)練識別結(jié)果評價模型。
[0046] 優(yōu)選地，所述評價結(jié)果包括多個等級，每個等級作為一類；
[0047] 所述抽查模塊，具體用于抽查所述評價結(jié)果中的一類或多類評價結(jié)果的準(zhǔn)確率。
[0048] 優(yōu)選地，所述抽查模塊，具體用于抽查所有待抽查類評價結(jié)果，并在抽查完畢后， 確定準(zhǔn)確率低于設(shè)定閾值的所有類評價結(jié)果；
[0049] 所述修正模塊包括：
[0050] 第一獲取單元，用于獲取抽查的準(zhǔn)確率低于設(shè)定閾值的所有類評價結(jié)果對應(yīng)的識 別文本段及其人工評價等級；
[0051] 重訓(xùn)練單元，用于將所述第一獲取單元獲取的識別文本段及其人工評價等級加入 到識別結(jié)果評價模型更新數(shù)據(jù)中，更新所述識別結(jié)果評價模型，并在更新完成后，觸發(fā)所述 評價模塊利用更新后的識別結(jié)果評價模型對全部或部分識別文本段重新進(jìn)行評價。
[0052] 優(yōu)選地，所述抽查模塊，具體用于依次抽查各類評價結(jié)果的準(zhǔn)確率，并確定當(dāng)前類 評價結(jié)果的準(zhǔn)確率是否低于設(shè)定閾值；
[0053] 所述修正模塊包括：
[0054] 第二獲取單元，用于獲取所述抽查模塊抽查的準(zhǔn)確率低于設(shè)定閾值的當(dāng)前類評價 結(jié)果的識別文本段及其人工評價等級；
[0055] 重訓(xùn)練單元，用于將所述第二獲取單元獲取的識別文本段及其人工評價等級加入 到識別結(jié)果評價模型更新數(shù)據(jù)中，更新所述識別結(jié)果評價模型，并在更新完成后，觸發(fā)所述 評價模塊利用更新后的識別結(jié)果評價模型對當(dāng)前類及未抽查的各類評價結(jié)果的識別文本 段重新進(jìn)行評價；
[0056] 所述評價模塊，還用于在利用更新后的識別結(jié)果評價模型對識別文本段重新進(jìn)行 評價，得到新的評價結(jié)果，并在評價完成后