本技術(shù)涉及語音識別,尤其是涉及到一種語音識別測試方法、裝置、計算機(jī)設(shè)備和語音識別測試系統(tǒng)。
背景技術(shù):
1、隨著科技發(fā)展,帶有語音助手的新型交互方式的智能設(shè)備被廣泛應(yīng)用,如智能電話、智能手表、智能音響、智能家居設(shè)備、學(xué)習(xí)機(jī)等。自動語音識別(automatic?speechrecognition,asr)技術(shù)是語音助手的關(guān)鍵技術(shù)之一。在對語音助手識別到的聲音轉(zhuǎn)換為文字這一技術(shù)步驟的相關(guān)測試技術(shù)中,
2、相關(guān)技術(shù)中,對于有ui界面的語音助手設(shè)備,即用戶在使用過程中使其通過設(shè)備屏幕看到語音助手識別并且轉(zhuǎn)換后的文本的智能設(shè)備,通常需要測試人員進(jìn)行口述,語音助手識別后,將語音轉(zhuǎn)換為文字并進(jìn)行展示,測試人員記錄屏幕上的文字,進(jìn)行正確字?jǐn)?shù)/錯誤字?jǐn)?shù)的統(tǒng)計,最終在計算出語音助手的準(zhǔn)確率。這種方法耗時長、效率低,也容易出錯。如果是無ui界面的語音助手設(shè)備,識別準(zhǔn)確率還不可測試。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本技術(shù)提供了一種語音識別測試方法、裝置、計算機(jī)設(shè)備和語音識別測試系統(tǒng),解決背景技術(shù)中所述的問題。
2、根據(jù)本技術(shù)的一個方面,提供了一種語音識別測試方法,包括:
3、控制播放器播放測試文本的測試語音,以使語音識別設(shè)備識別所述測試語音,并在ui界面上展示所述測試語音的識別文本;
4、從處于連接狀態(tài)的所述語音識別設(shè)備反饋的運(yùn)行信息中篩選所述語音識別設(shè)備對所述測試語音的識別文本,其中,所述運(yùn)行信息包括ui界面元素和/或日志文件;
5、比對所述測試文本和所述識別文本,確定所述語音識別設(shè)備的測試結(jié)果。
6、進(jìn)一步地,所述從處于連接狀態(tài)的所述語音識別設(shè)備反饋的運(yùn)行信息中篩選所述語音識別設(shè)備對所述測試語音的識別文本包括:
7、根據(jù)文本屬性從所述ui界面元素中篩選所述語音識別設(shè)備對所述測試語音的識別文本;和/或,
8、根據(jù)預(yù)設(shè)格式對所述日志文件進(jìn)行匹配,并提取與所述預(yù)設(shè)格式匹配的所述日志文件中的所述識別文本。
9、進(jìn)一步地,所述語音識別測試方法還包括:
10、若預(yù)設(shè)時間間隔內(nèi)未獲取到所述測試文本對應(yīng)的識別文本,控制所述播放器重復(fù)播放所述測試語音,直至獲取到所述識別文本或所述測試語音的播放次數(shù)大于或等于所述測試文本對應(yīng)的預(yù)設(shè)次數(shù)。
11、進(jìn)一步地,所述測試文本的數(shù)量為多個,所述控制播放器播放所述測試文本的測試語音,包括:
12、若獲取到當(dāng)前測試文本對應(yīng)的識別文本或所述當(dāng)前測試語音的播放次數(shù)大于或等于所述當(dāng)前測試文本對應(yīng)的預(yù)設(shè)次數(shù),控制播放器播放下一測試文本的測試語音。
13、進(jìn)一步地,所述語音識別測試方法還包括:
14、周期性檢測所述語音識別設(shè)備的狀態(tài)信息;
15、若所述語音識別設(shè)備處于息屏狀態(tài),向所述語音識別設(shè)備發(fā)送喚醒指令;
16、若所述語音識別設(shè)備處于非調(diào)試模式,輸出第一提示信息;
17、若所述語音識別設(shè)備處于斷開連接狀態(tài),停止控制播放器播放所述測試文本的測試語音,并輸出第二提示信息。
18、進(jìn)一步地,所述比對所述測試文本和所述識別文本,確定所述語音識別設(shè)備的測試結(jié)果,包括:
19、比對所述測試文本和所述識別文本,確定所述測試文本和所述識別文本之間的正確文本字符數(shù)、刪除錯誤字符數(shù)、插入錯誤字符數(shù)和替換錯誤字符數(shù);
20、根據(jù)所述正確文本字符數(shù)、所述刪除錯誤字符數(shù)、所述插入錯誤字符數(shù)和/或所述替換錯誤字符數(shù),確定所述測試文本的文本識別率;
21、根據(jù)所述測試文本的權(quán)重值對至少一個所述測試文本的文本識別率進(jìn)行加權(quán)處理,計算所述語音識別設(shè)備的識別評分;
22、根據(jù)所述識別評分和預(yù)設(shè)評分標(biāo)準(zhǔn)之間的對比結(jié)果,確定所述測試結(jié)果。
23、進(jìn)一步地,所述語音識別測試方法還包括:
24、根據(jù)所述正確文本字符數(shù)和所述測試文本中相鄰字符之間的語音特征相似度,確定所述測試文本的識別難度等級;
25、根據(jù)所述識別難度等級匹配所述權(quán)重值。
26、進(jìn)一步地,所述語音識別測試方法還包括:
27、響應(yīng)于對語音識別設(shè)備的測試指令,加載所述測試指令攜帶的配置文件,其中,所述配置文件包括測試文本;
28、通過語音合成技術(shù)生成所述測試文本的所述測試語音。
29、進(jìn)一步地,所述語音識別測試方法還包括:
30、按照預(yù)設(shè)格式將所述測試文本、所述識別文本、文本識別率和測試結(jié)果添加至表格模板,形成所述語音識別設(shè)備的測試報告;
31、將所述測試報告發(fā)送至所述語音識別設(shè)備關(guān)聯(lián)的用戶設(shè)備。
32、根據(jù)本技術(shù)的另一方面,提供了一種語音識別測試裝置,包括:
33、控制模塊,用于控制播放器播放測試文本的測試語音,以使語音識別設(shè)備識別所述測試語音,并在ui界面上展示所述測試語音的識別文本;
34、獲取模塊,用于從處于連接狀態(tài)的所述語音識別設(shè)備反饋的運(yùn)行信息中篩選所述語音識別設(shè)備對所述測試語音的識別文本,其中,所述運(yùn)行信息包括ui界面元素和/或日志文件;
35、測試模塊,用于比對所述測試文本和所述識別文本,確定所述語音識別設(shè)備的測試結(jié)果。
36、進(jìn)一步地,所述獲取模塊,具體用于根據(jù)文本屬性從所述ui界面元素中篩選所述語音識別設(shè)備對所述測試語音的識別文本。
37、進(jìn)一步地,所述獲取模塊,具體用于根據(jù)預(yù)設(shè)格式對所述日志文件進(jìn)行匹配,并提取與所述預(yù)設(shè)格式匹配的所述日志文件中的所述識別文本。
38、進(jìn)一步地,所述控制模塊,還用于若預(yù)設(shè)時間間隔內(nèi)未獲取到所述測試文本對應(yīng)的識別文本,控制所述播放器重復(fù)播放所述測試語音,直至獲取到所述識別文本或所述測試語音的播放次數(shù)大于或等于所述測試文本對應(yīng)的預(yù)設(shè)次數(shù)。
39、進(jìn)一步地,所述測試文本的數(shù)量為多個,所述控制模塊,具體用于若獲取到當(dāng)前測試文本對應(yīng)的識別文本或所述當(dāng)前測試語音的播放次數(shù)大于或等于所述當(dāng)前測試文本對應(yīng)的預(yù)設(shè)次數(shù),控制播放器播放下一測試文本的測試語音。
40、進(jìn)一步地,所述語音識別測試裝置還包括:
41、狀態(tài)檢測模塊,用于周期性檢測所述語音識別設(shè)備的狀態(tài)信息;
42、異常處理模塊,用于若所述語音識別設(shè)備處于息屏狀態(tài),向所述語音識別設(shè)備發(fā)送喚醒指令;以及,若所述語音識別設(shè)備處于非調(diào)試模式,輸出第一提示信息;以及,若所述語音識別設(shè)備處于斷開連接狀態(tài),停止控制播放器播放所述測試文本的測試語音,并輸出第二提示信息。
43、進(jìn)一步地,所述測試模塊,具體用于比對所述測試文本和所述識別文本,確定所述測試文本和所述識別文本之間的正確文本字符數(shù)、刪除錯誤字符數(shù)、插入錯誤字符數(shù)和替換錯誤字符數(shù);根據(jù)所述正確文本字符數(shù)、所述刪除錯誤字符數(shù)、所述插入錯誤字符數(shù)和/或所述替換錯誤字符數(shù),確定所述測試文本的文本識別率;根據(jù)所述測試文本的權(quán)重值對至少一個所述測試文本的文本識別率進(jìn)行加權(quán)處理,計算所述語音識別設(shè)備的識別評分;根據(jù)所述識別評分和預(yù)設(shè)評分標(biāo)準(zhǔn)之間的對比結(jié)果,確定所述測試結(jié)果。
44、進(jìn)一步地,所述測試模塊,還用于根據(jù)所述正確文本字符數(shù)和所述測試文本中相鄰字符之間的語音特征相似度,確定所述測試文本的識別難度等級;根據(jù)所述識別難度等級匹配所述權(quán)重值。
45、進(jìn)一步地,所述語音識別測試裝置還包括:
46、報告生成模塊,用于按照預(yù)設(shè)格式將所述測試文本、所述識別文本、文本識別率和測試結(jié)果添加至表格模板,形成所述語音識別設(shè)備的測試報告;
47、通信模塊,用于將所述測試報告發(fā)送至所述語音識別設(shè)備關(guān)聯(lián)的用戶設(shè)備。
48、進(jìn)一步地,所述語音識別測試裝置還包括:
49、配置模塊,用于響應(yīng)于對語音識別設(shè)備的測試指令,加載所述測試指令攜帶的配置文件,其中,所述配置文件包括測試文本;
50、語音合成模塊,用于通過語音合成技術(shù)生成所述測試文本的所述測試語音。
51、根據(jù)本技術(shù)再一個方面,提供了計算機(jī)可讀存儲介質(zhì),其上存儲有程序或指令,程序或指令被處理器執(zhí)行時實(shí)現(xiàn)上述語音識別測試方法的步驟。
52、根據(jù)本技術(shù)又一個方面,提供了一種計算機(jī)設(shè)備,包括至少一個處理器,處理器與存儲器耦合,存儲器存儲有在處理器上運(yùn)行的計算機(jī)程序,其特征在于,處理器執(zhí)行程序時實(shí)現(xiàn)上述語音識別測試方法的步驟。
53、根據(jù)本技術(shù)又一個方面,提供了一種語音識別測試系統(tǒng),包括播放器,所述播放器布置于距離語音識別設(shè)備預(yù)設(shè)距離的位置;
54、噪音生成器,所述噪音生成器設(shè)置于所述語音識別設(shè)備周圍,所述噪音生成器用于生成背景噪聲;
55、上述實(shí)施例計算機(jī)設(shè)備,計算機(jī)設(shè)備,所述計算機(jī)設(shè)備分別與所述播放器和所述語音識別設(shè)備通信連接,所述計算機(jī)設(shè)備執(zhí)行程序時執(zhí)行上述語音識別測試方法的步驟。
56、借由上述技術(shù)方案,預(yù)先根據(jù)設(shè)定的測試文本播放測試語音,系統(tǒng)通過讀取語音識別設(shè)備的運(yùn)行信息來獲取語音識別設(shè)備對測試語音的識別文本。通過比對測試文本和識別文本之間的差異得到語音識別設(shè)備的asr測試結(jié)果。如此,基于自動化的語音播放和識別文本提取,無需人工介入即可獲得語音識別設(shè)備的識別結(jié)果,進(jìn)而實(shí)現(xiàn)自動化的asr測試。不僅減少了語音技術(shù)人員校驗(yàn)語音識別準(zhǔn)確性的工作量,而且保證了語音識別設(shè)備識別結(jié)果評價的準(zhǔn)確性。
57、上述說明僅是本技術(shù)技術(shù)方案的概述,為了能夠更清楚了解本技術(shù)的技術(shù)手段,而可依照說明書的內(nèi)容予以實(shí)施,并且為了讓本技術(shù)的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂,以下特舉本技術(shù)的具體實(shí)施方式。