本發(fā)明涉及一種系統(tǒng),具體是一種數(shù)據(jù)評(píng)估教育系統(tǒng)。
背景技術(shù):
目前市場(chǎng)上己經(jīng)出現(xiàn)了口語(yǔ)數(shù)據(jù)評(píng)估教育系統(tǒng),但這些產(chǎn)品目前采用的都是如下方法:先利用語(yǔ)音識(shí)別技術(shù)將學(xué)生口語(yǔ)音頻識(shí)別成文本,而后對(duì)識(shí)別的文本進(jìn)行特征分析,最后用機(jī)器學(xué)習(xí)算法給出學(xué)生口語(yǔ)評(píng)估結(jié)果。該方法最大問(wèn)題來(lái)自語(yǔ)音識(shí)別階段以及后續(xù)的特征分析階段。首先,高精度的英語(yǔ)語(yǔ)音識(shí)別引擎研發(fā)成本昂貴,目前只有類似谷歌之類的大型科技公司或研究單位才擁有。其次,語(yǔ)音識(shí)別的結(jié)果決定后續(xù)一切,然而目前的英語(yǔ)語(yǔ)音識(shí)別技術(shù)只是在發(fā)音標(biāo)準(zhǔn)的語(yǔ)音識(shí)別上有足夠的準(zhǔn)確率,而在發(fā)音不夠準(zhǔn)確的英語(yǔ)初學(xué)者(比如中國(guó)英語(yǔ)學(xué)習(xí)者)語(yǔ)音識(shí)別上還不理想。最后,特征分析階段需要英語(yǔ)口語(yǔ)教學(xué)考試領(lǐng)域的專家來(lái)設(shè)計(jì)特征,這也會(huì)消耗不少人力物力,而且效果不好。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種數(shù)據(jù)評(píng)估教育系統(tǒng),以解決上述背景技術(shù)中提出的問(wèn)題。
為實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:
一種數(shù)據(jù)評(píng)估教育系統(tǒng),包括:語(yǔ)音預(yù)處理模塊,取得周圍語(yǔ)音信息,所述周圍語(yǔ)音信息包含對(duì)所述數(shù)據(jù)評(píng)估教育系統(tǒng)講話的講話語(yǔ)音、表示所述講話語(yǔ)音的講話者的周圍的聲音,將所述周圍語(yǔ)音信息分離為包含所述講話語(yǔ)音的第1語(yǔ)音信息和包含除了所述講話語(yǔ)音以外的聲音的第2語(yǔ)音信息,將所述第1語(yǔ)音信息的聲級(jí)和所述第2語(yǔ)音信息的聲級(jí)進(jìn)行比較,根據(jù)比較的結(jié)果,采用第1再現(xiàn)方法、和再現(xiàn)的語(yǔ)音的指向性與所述第1再現(xiàn)方法不同的第2再現(xiàn)方法中的某一方,再現(xiàn)對(duì)所述講話語(yǔ)音的應(yīng)答語(yǔ)音將待評(píng)測(cè)的英語(yǔ)口語(yǔ)音頻文件隨機(jī)分割為等長(zhǎng)度切片;卷積神經(jīng)網(wǎng)絡(luò)分析模塊,對(duì)得到的音頻切片進(jìn)行短時(shí)傅里葉變換生成對(duì)應(yīng)的二維時(shí)頻圖,再逐個(gè)對(duì)一維時(shí)頻圖進(jìn)行高級(jí)抽象,得到音頻切片的高級(jí)抽象特征;評(píng)估與反饋模塊,通過(guò)機(jī)器學(xué)習(xí)模型逐個(gè)對(duì)音頻切片的高級(jí)抽象特征進(jìn)行分析得到每個(gè)音頻切片的分?jǐn)?shù),再對(duì)所有得分取平均數(shù)即得到最終的英語(yǔ)口語(yǔ)評(píng)估分?jǐn)?shù)。
作為本發(fā)明進(jìn)一步的方案:所述隨機(jī)音頻切片的時(shí)長(zhǎng)為10s。
作為本發(fā)明進(jìn)一步的方案:所述語(yǔ)音信號(hào)處理模塊,針對(duì)所有音頻切片,依次完成時(shí)域分析、頻域分析和倒譜域分析;聲學(xué)參數(shù)分析模塊,對(duì)音頻切片的聲學(xué)參數(shù)進(jìn)行分析和計(jì)算,聲學(xué)參數(shù)包括mll頻率倒譜系數(shù)、線性預(yù)測(cè)倒譜系數(shù)和線譜對(duì)系數(shù)。
作為本發(fā)明進(jìn)一步的方案:所述第2再現(xiàn)方法是對(duì)所述講話者具有指向性的再現(xiàn)方法,在所述第1語(yǔ)音信息的聲級(jí)高于所述第2語(yǔ)音信息的聲級(jí)的情況下,采用所述第1再現(xiàn)方法再現(xiàn)所述應(yīng)答語(yǔ)音,在所述第1語(yǔ)音信息的聲級(jí)低于所述第2語(yǔ)音信息的聲級(jí)的情況下,采用所述第2再現(xiàn)方法再現(xiàn)所述應(yīng)答語(yǔ)音。
作為本發(fā)明再進(jìn)一步的方案:所述語(yǔ)音信號(hào)處理模塊包括以下模塊:時(shí)域分析模塊,分析和提取音頻切片中的時(shí)域特征參數(shù);頻域分析模塊,通過(guò)帶通濾波器組法、傅里葉變換法、頻域基音檢測(cè)法、時(shí)一頻表示方法,提取音頻切片的頻譜、功率譜、頻譜包絡(luò);倒譜域分析模塊,通過(guò)同態(tài)處理分析和提取音頻切片的倒譜域特征參數(shù),進(jìn)一步將聲門激勵(lì)信息和聲道響應(yīng)信息有效地分開(kāi):聲門激勵(lì)信息用于判斷清濁音、求基音周期,聲道響應(yīng)信息用于求共振峰,用于語(yǔ)音的編碼、合成、識(shí)別。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:本發(fā)明通過(guò)語(yǔ)音識(shí)別技術(shù),對(duì)語(yǔ)音進(jìn)行識(shí)別處理,評(píng)估準(zhǔn)確率高,擴(kuò)展性強(qiáng)。
具體實(shí)施方式
下面對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明實(shí)施例中,一種數(shù)據(jù)評(píng)估教育系統(tǒng),包括:語(yǔ)音預(yù)處理模塊,取得周圍語(yǔ)音信息,所述周圍語(yǔ)音信息包含對(duì)所述數(shù)據(jù)評(píng)估教育系統(tǒng)講話的講話語(yǔ)音、表示所述講話語(yǔ)音的講話者的周圍的聲音,將所述周圍語(yǔ)音信息分離為包含所述講話語(yǔ)音的第1語(yǔ)音信息和包含除了所述講話語(yǔ)音以外的聲音的第2語(yǔ)音信息,將所述第1語(yǔ)音信息的聲級(jí)和所述第2語(yǔ)音信息的聲級(jí)進(jìn)行比較,根據(jù)比較的結(jié)果,采用第1再現(xiàn)方法、和再現(xiàn)的語(yǔ)音的指向性與所述第1再現(xiàn)方法不同的第2再現(xiàn)方法中的某一方,再現(xiàn)對(duì)所述講話語(yǔ)音的應(yīng)答語(yǔ)音將待評(píng)測(cè)的英語(yǔ)口語(yǔ)音頻文件隨機(jī)分割為等長(zhǎng)度切片;卷積神經(jīng)網(wǎng)絡(luò)分析模塊,對(duì)得到的音頻切片進(jìn)行短時(shí)傅里葉變換生成對(duì)應(yīng)的二維時(shí)頻圖,再逐個(gè)對(duì)一維時(shí)頻圖進(jìn)行高級(jí)抽象,得到音頻切片的高級(jí)抽象特征;評(píng)估與反饋模塊,通過(guò)機(jī)器學(xué)習(xí)模型逐個(gè)對(duì)音頻切片的高級(jí)抽象特征進(jìn)行分析得到每個(gè)音頻切片的分?jǐn)?shù),再對(duì)所有得分取平均數(shù)即得到最終的英語(yǔ)口語(yǔ)評(píng)估分?jǐn)?shù)。
根據(jù)所述講話語(yǔ)音構(gòu)成,取得包含對(duì)語(yǔ)音對(duì)話裝置講話的講話語(yǔ)音的、表示講話語(yǔ)音的講話者的周圍的聲音的周圍語(yǔ)音信息。周圍語(yǔ)音信息被分離為包含講話語(yǔ)音的第1語(yǔ)音信息和包含除了講話語(yǔ)音以外的聲音的第2語(yǔ)音信息。將第1語(yǔ)音信息的聲級(jí)和第2語(yǔ)音信息的聲級(jí)進(jìn)行比較。根據(jù)比較的結(jié)果,采用第1再現(xiàn)方法和再現(xiàn)的語(yǔ)音的指向性與第1再現(xiàn)方法的不同的第2再現(xiàn)方法中的某一方再現(xiàn)應(yīng)答語(yǔ)音。因此,根據(jù)包含對(duì)語(yǔ)音對(duì)話裝置講話的講話語(yǔ)音的第1語(yǔ)音信息的聲級(jí)、和包含除了講話語(yǔ)音以外的聲音的第2語(yǔ)音信息的聲級(jí)的比較結(jié)果,采用第1再現(xiàn)方法和再現(xiàn)的語(yǔ)音的指向性與第1再現(xiàn)方法的不同的第2再現(xiàn)方法中的某一方再現(xiàn)應(yīng)答語(yǔ)音,所以能夠采用與講話者的周圍的狀況相應(yīng)的再現(xiàn)方法再現(xiàn)應(yīng)答語(yǔ)音。
所述隨機(jī)音頻切片的時(shí)長(zhǎng)為10s。
所述語(yǔ)音信號(hào)處理模塊,針對(duì)所有音頻切片,依次完成時(shí)域分析、頻域分析和倒譜域分析;聲學(xué)參數(shù)分析模塊,對(duì)音頻切片的聲學(xué)參數(shù)進(jìn)行分析和計(jì)算,聲學(xué)參數(shù)包括mll頻率倒譜系數(shù)、線性預(yù)測(cè)倒譜系數(shù)和線譜對(duì)系數(shù)。
所述第2再現(xiàn)方法是對(duì)所述講話者具有指向性的再現(xiàn)方法,在所述第1語(yǔ)音信息的聲級(jí)高于所述第2語(yǔ)音信息的聲級(jí)的情況下,采用所述第1再現(xiàn)方法再現(xiàn)所述應(yīng)答語(yǔ)音,在所述第1語(yǔ)音信息的聲級(jí)低于所述第2語(yǔ)音信息的聲級(jí)的情況下,采用所述第2再現(xiàn)方法再現(xiàn)所述應(yīng)答語(yǔ)音。
所述語(yǔ)音信號(hào)處理模塊包括以下模塊:時(shí)域分析模塊,分析和提取音頻切片中的時(shí)域特征參數(shù);頻域分析模塊,通過(guò)帶通濾波器組法、傅里葉變換法、頻域基音檢測(cè)法、時(shí)一頻表示方法,提取音頻切片的頻譜、功率譜、頻譜包絡(luò);倒譜域分析模塊,通過(guò)同態(tài)處理分析和提取音頻切片的倒譜域特征參數(shù),進(jìn)一步將聲門激勵(lì)信息和聲道響應(yīng)信息有效地分開(kāi):聲門激勵(lì)信息用于判斷清濁音、求基音周期,聲道響應(yīng)信息用于求共振峰,用于語(yǔ)音的編碼、合成、識(shí)別。
對(duì)于本領(lǐng)域技術(shù)人員而言,顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié),而且在不背離本發(fā)明的精神或基本特征的情況下,能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此,無(wú)論從哪一點(diǎn)來(lái)看,均應(yīng)將實(shí)施例看作是示范性的,而且是非限制性的,本發(fā)明的范圍由所附權(quán)利要求而不是上述說(shuō)明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。此外,應(yīng)當(dāng)理解,雖然本說(shuō)明書(shū)按照實(shí)施方式加以描述,但并非每個(gè)實(shí)施方式僅包含一個(gè)獨(dú)立的技術(shù)方案,說(shuō)明書(shū)的這種敘述方式僅僅是為清楚起見(jiàn),本領(lǐng)域技術(shù)人員應(yīng)當(dāng)將說(shuō)明書(shū)作為一個(gè)整體,各實(shí)施例中的技術(shù)方案也可以經(jīng)適當(dāng)組合,形成本領(lǐng)域技術(shù)人員可以理解的其他實(shí)施方式。