專利名稱：大規(guī)模生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音發(fā)音形態(tài)學(xué)分析處理領(lǐng)域，特別是涉及一種對網(wǎng)絡(luò)協(xié)議的安全缺陷建模技術(shù)。本發(fā)明屬于語音發(fā)音形態(tài)學(xué)分析處理領(lǐng)域。在語音生理發(fā)音研究過程中，由于實(shí)驗(yàn)者之間聲道形態(tài)的差異使得對生理發(fā)音的運(yùn)動(dòng)本質(zhì)特征的研究及建模十分困難。尤其是在對于大規(guī)模數(shù)據(jù)處理時(shí)，難以手工完成對于不同說話人的數(shù)據(jù)規(guī)范化。所以，提出了一種基于薄板樣條函數(shù)的標(biāo)準(zhǔn)化聲道形狀的方法。和廣泛使用的直線化標(biāo)準(zhǔn)化方法相比，的方法可以在保持實(shí)驗(yàn)者的個(gè)性特征的前提下有效的減少形態(tài)上的差異。本方法對于處理大規(guī)模生理發(fā)音數(shù)據(jù)有非常重要的作用。
背景技術(shù)：
語音學(xué)是對人類語言發(fā)音進(jìn)行研究的學(xué)科。主要的研究內(nèi)容有兩方面，一方面是研究發(fā)音器官在生理發(fā)音過程中作用的生理發(fā)音語音學(xué)，另一方面是研究語音聲學(xué)特性的聲學(xué)語音學(xué)。早期的語音學(xué)更多的研究語音的聲學(xué)特性，如今，也有越來越多的研究人員開始從事生理發(fā)音過程中發(fā)音器官機(jī)理的研究。然而，研究人員并沒有像在聲學(xué)語音研究過程中那樣，充分的利用生理發(fā)音語音數(shù)據(jù)庫進(jìn)行試驗(yàn)。除了獲得生理發(fā)音數(shù)據(jù)比較困難外，還因?yàn)椴煌瑢?shí)驗(yàn)者之間聲道形狀存在著個(gè)體的差異，要想消除這些差異必須實(shí)現(xiàn)聲道形狀形態(tài)上的標(biāo)準(zhǔn)化，然而在生理發(fā)音的研究中標(biāo)準(zhǔn)化的技術(shù)依然是個(gè)瓶頸。因此在語音生理發(fā)音的研究中，為了減少不同說話對象的形態(tài)學(xué)上的差異將不同的說話者生理發(fā)音數(shù)據(jù)進(jìn)行規(guī)范化對于挖掘隱藏在不同說話人背后的發(fā)音本質(zhì)和運(yùn)動(dòng)特性是個(gè)必不可少的過程。使用的規(guī)范化方法規(guī)范后，生理發(fā)音模型不僅減少個(gè)體之間形態(tài)差異的同時(shí)還保留了發(fā)音器官在生理發(fā)音過程時(shí)的運(yùn)動(dòng)特性。方便進(jìn)行發(fā)音的模擬。因?yàn)樵诎l(fā)音的過程中聲道的形態(tài)改變程度非常大，所以僅通過簡單剛性物體的仿射變換來對聲道進(jìn)行規(guī)范化是很困難的。目前，研究生理發(fā)音的學(xué)者已經(jīng)提出了幾種聲道規(guī)范化的方法，然而都是基于直線化的方法。Bechman等人采用直線化聲道壁的方法對MRI記錄的數(shù)據(jù)進(jìn)行坐標(biāo)的變換，從而實(shí)現(xiàn)數(shù)據(jù)的規(guī)范化。Hashi等人將生理發(fā)音中發(fā)元音時(shí)的聲道運(yùn)動(dòng)形態(tài)標(biāo)準(zhǔn)化后，形成了 X光數(shù)據(jù)庫。以上這兩種方法都通過對上顎壁輪廓曲線直線化的方法來實(shí)現(xiàn)聲道在長度上的標(biāo)準(zhǔn)化，雖然使用直線化的方法可以減少說話人之間的差異，但是根據(jù)試驗(yàn)[6]中的數(shù)據(jù)顯示，不同說話人之間的形態(tài)差異不僅與聲道長度有關(guān)，還與聲道前后腔的容積大小息息相關(guān)。將聲道直線化的方法不僅在標(biāo)準(zhǔn)化之后丟失上顎和舌頭表面兩條輪廓曲線的空間位置相對關(guān)系，而且丟失了不同發(fā)音者聲道形態(tài)差異的非線性關(guān)系。尤其是對在聲道局部高度形變位置采集到的數(shù)據(jù)來說，將丟失重要的非線性關(guān)系，甚至增大了個(gè)體數(shù)據(jù)在X軸方向的差異。在圖像校準(zhǔn)和圖形匹配領(lǐng)域中，大家廣泛使用一種基于薄板樣條映射轉(zhuǎn)換函數(shù)的非剛性規(guī)范化方法，它可以有效的解決上述直線化方法規(guī)范化過程中出現(xiàn)的問題。由于以前的規(guī)范方法都是采用直線化來實(shí)現(xiàn)聲道的規(guī)范化，這些方法中存在生理發(fā)音空間的相對位置和非線性運(yùn)動(dòng)特性丟失的缺陷。因此，為了避免聲道形態(tài)信息的丟失，正因?yàn)槿绱耍狙芯刻岢隽艘粋€(gè)基于薄板樣條函數(shù)的方法來對不同發(fā)音者之間的EMMA生理發(fā)音數(shù)據(jù)進(jìn)行規(guī)范。使用了三個(gè)發(fā)音者的EMMA生理發(fā)音數(shù)據(jù)，通過對三個(gè)人的上顎和舌頭輪廓形狀平均，而獲得規(guī)范化聲道的模板。接著利用現(xiàn)有的一個(gè)網(wǎng)格系統(tǒng)來分別對三個(gè)說話者生理發(fā)音空間和平均得到的聲道模板生理發(fā)音空間進(jìn)行標(biāo)志點(diǎn)地標(biāo)定。然后由每個(gè)說話人發(fā)音空間標(biāo)志點(diǎn)和模板空間中標(biāo)志點(diǎn)的對應(yīng)關(guān)系確定薄板樣條變換函數(shù)，由此就可以利用這個(gè)薄板樣條函數(shù)進(jìn)行生理發(fā)音數(shù)據(jù)的坐標(biāo)變換，從而實(shí)現(xiàn)規(guī)范化
發(fā)明內(nèi)容
基于上述現(xiàn)有技術(shù)存在的問題，本發(fā)明提出了一種大規(guī)模生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范方法，確定每個(gè)發(fā)音者生理發(fā)音空間到模板生理發(fā)音空間坐標(biāo)變換各自對應(yīng)的薄板樣條函數(shù)，用這個(gè)方法保留上顎和舌頭間發(fā)音空間上的相對位置，同時(shí)也保留其發(fā)音過程中器官的非線性運(yùn)動(dòng)特性；最終，通過規(guī)范化使得個(gè)體間聲道的形態(tài)差異的減少。，使用基于薄板樣條映射轉(zhuǎn)換函數(shù)的實(shí)現(xiàn)非剛性標(biāo)準(zhǔn)化方法解決上述直線化方法標(biāo)準(zhǔn)化過程中的缺陷問題。正因?yàn)槿绱?，本發(fā)明提出了一種大規(guī)模生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范方法，其特征在于，該方法包括以下步驟步驟一，從生理發(fā)音數(shù)據(jù)庫中獲得多組上顎和舌頭表面輪廓線條數(shù)據(jù)，依據(jù)該數(shù)據(jù)得到生理發(fā)音過程中聲道的平均形狀建立本方法的多組模板；步驟二、利用網(wǎng)格系統(tǒng)對前一步驟的多組模板的聲道形狀中的標(biāo)志點(diǎn)進(jìn)行標(biāo)注，具體做法首先，依據(jù)生理發(fā)音數(shù)據(jù)庫中所有元音生理發(fā)音的數(shù)據(jù)計(jì)算舌頭表面輪廓曲線的平均形狀，然后再由數(shù)據(jù)庫中所有舌表面的數(shù)據(jù)計(jì)算出舌頭表面中心點(diǎn)的平均位置；依據(jù)舌頭表面輪廓曲線的平均形狀和舌表面中心點(diǎn)平均位置確定網(wǎng)格系統(tǒng)；將得到的整個(gè)網(wǎng)格系統(tǒng)分割成十個(gè)同樣大小的扇區(qū)，使十個(gè)扇區(qū)覆蓋整個(gè)生理發(fā)音過程中聲道運(yùn)動(dòng)的空間，并且每個(gè)扇區(qū)的邊分別和上顎曲線、中位曲線、舌表面曲線以及舌表面之下曲線相交，從而到44個(gè)相交的點(diǎn)，將這44個(gè)點(diǎn)就作為聲道的標(biāo)注點(diǎn)；步驟三、利用上述標(biāo)注點(diǎn)與生理發(fā)音數(shù)據(jù)庫中原始點(diǎn)之間一一對應(yīng)關(guān)系來確定薄板樣條函數(shù)參數(shù)，實(shí)現(xiàn)生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范，與現(xiàn)有技術(shù)相比，本發(fā)明和傳統(tǒng)的利用直線化的標(biāo)準(zhǔn)方法相比，通過對不同發(fā)音人的聲道進(jìn)行形態(tài)上的規(guī)范，來實(shí)現(xiàn)生理發(fā)音數(shù)據(jù)的規(guī)范的同時(shí)，卻還能保持生理發(fā)音的運(yùn)動(dòng)特性和空間位置關(guān)系；有利于對發(fā)音過程中器官的運(yùn)動(dòng)本質(zhì)進(jìn)行分析，而不必考慮個(gè)體之間的差異。


圖I為本發(fā)明的三個(gè)實(shí)驗(yàn)者和模板的標(biāo)志點(diǎn)；圖2為規(guī)范化之前的原始數(shù)據(jù)，每個(gè)子圖顯示其中一個(gè)元音的數(shù)據(jù)；圖3為規(guī)范化之后的數(shù)據(jù)；圖4為使用直線化方法規(guī)范化聲道之后的數(shù)據(jù)；圖5為實(shí)驗(yàn)者原始數(shù)據(jù)和規(guī)范化數(shù)據(jù)的規(guī)范差比較圖6為每個(gè)實(shí)驗(yàn)者標(biāo)準(zhǔn)化前和標(biāo)準(zhǔn)化后的元音生理發(fā)音圖像
具體實(shí)施例方式本發(fā)明提出了一個(gè)基于薄板樣條映射轉(zhuǎn)換函數(shù)的方法來解決實(shí)現(xiàn)不同實(shí)驗(yàn)者之間的EMMA數(shù)據(jù)的規(guī)范化。使用了三個(gè)發(fā)音者的EMMA數(shù)據(jù)，通過對三個(gè)人的上顎和舌頭輪廓形狀平均，而獲得標(biāo)準(zhǔn)化的聲道模板。接著利用現(xiàn)有的一個(gè)網(wǎng)格系統(tǒng)來分別對三個(gè)說話者發(fā)音空間和平均得到的聲道模板空間標(biāo)志點(diǎn)進(jìn)行標(biāo)定。然后由每個(gè)說話人發(fā)音空間標(biāo)志點(diǎn)和模板空間中標(biāo)志點(diǎn)的對應(yīng)關(guān)系確定薄板樣條變換函數(shù)，由此就可以利用這個(gè)薄板樣條函數(shù)進(jìn)行坐標(biāo)上變換，從而實(shí)現(xiàn)規(guī)范化。以下結(jié)合附圖及較佳實(shí)施例，對依據(jù)本發(fā)明提供的具體實(shí)施方式
、結(jié)構(gòu)、特征及其功效，詳細(xì)說明如下。要想確定基于薄板樣條函數(shù)的標(biāo)準(zhǔn)化方法需要經(jīng)過三個(gè)步驟首先是模板的建立，然后是標(biāo)志點(diǎn)的標(biāo)定，最后是根據(jù)模板和說話人模型中標(biāo)志點(diǎn)的對應(yīng)關(guān)系確定各自薄板樣條函數(shù)的參數(shù)。 模板建立本發(fā)明中的利用了來自NTT的EMMA數(shù)據(jù)庫，其中包括了三個(gè)發(fā)音者的生理發(fā)音和聲學(xué)語音的數(shù)據(jù)，即EMMA數(shù)據(jù)庫。數(shù)據(jù)庫中電磁發(fā)音記錄儀捕獲的聲道輪廓的圖像數(shù)據(jù)，對三個(gè)發(fā)音者上顎和舌頭表面輪廓曲線進(jìn)行平均，去除個(gè)體之間聲道的形態(tài)差異，從而得到聲道形態(tài)上的平均輪廓，作為規(guī)范化方法中的參照模板。標(biāo)志點(diǎn)標(biāo)定由于EMMA記錄的數(shù)據(jù)是二維的，并不像MRI和X射線等圖像記錄系統(tǒng)一樣記錄的是三維的發(fā)音數(shù)據(jù)而且可以很清楚的捕獲生理發(fā)音過程中聲道器官在空間上的形變運(yùn)動(dòng)。Beautemps等人于1995年提出的從中失輪廓和共振峰頻率中提取出的聲道面積函數(shù)作為元音和摩擦音模型，為了解決這個(gè)問題，我們使用上述模型修改后得到的[9] 一種網(wǎng)格系統(tǒng)來分別對三個(gè)實(shí)驗(yàn)者和模板的聲道空間進(jìn)行標(biāo)志點(diǎn)標(biāo)注，來準(zhǔn)確的確定生理發(fā)音過程中不同位置的空間運(yùn)動(dòng)變化。首先確定每個(gè)發(fā)音者的舌表面輪廓曲線和上顎輪廓曲線，用生理發(fā)音數(shù)據(jù)庫中每個(gè)發(fā)音者在生理發(fā)音過程中發(fā)全部元音時(shí)大概一千個(gè)以上的Tl到T4傳感器運(yùn)動(dòng)區(qū)域，平均求得各個(gè)傳感器區(qū)域的中心，四個(gè)中心點(diǎn)的連線就是發(fā)音者各自舌表面輪廓空間曲線，上顎曲線也是通過平均得到。然后再由舌表面輪廓曲線空間位置確定出中心點(diǎn)所在的位置。當(dāng)舌頭表面輪廓曲線和中心點(diǎn)確定以后，依據(jù)已經(jīng)確定的舌表面輪廓曲線和中心點(diǎn)將整個(gè)生理發(fā)音空間分割成十個(gè)等角度的扇區(qū)，將整個(gè)生理發(fā)音的運(yùn)動(dòng)空間用11條射線分割開來，這樣每個(gè)扇區(qū)的邊就可以和之前確定的上顎曲線、舌表面曲線相交于兩點(diǎn)，取兩交點(diǎn)之間的中點(diǎn)得到11個(gè)交點(diǎn)，連線就是中位曲線，扇區(qū)邊和舌表面交點(diǎn)沿扇區(qū)邊下面的Icm能得到另外的11個(gè)交點(diǎn)，連線是舌表面之下曲線，最終可以得到44個(gè)交點(diǎn)。這44個(gè)交點(diǎn)就作為生理發(fā)音聲道空間的標(biāo)志點(diǎn)。由于定義三個(gè)發(fā)音者和模板空間標(biāo)志點(diǎn)時(shí)取法完全一樣，所以認(rèn)為，在不同發(fā)音空間如圖I所示的四個(gè)空間中，不同空間通過相同方法標(biāo)志的特定位置的標(biāo)志點(diǎn)應(yīng)該對應(yīng)，具有相同的表征。薄板樣條函數(shù)參數(shù)的確定整個(gè)生理發(fā)音是由舌頭的彈性收縮和下巴的運(yùn)動(dòng)來產(chǎn)生的。所以對不同發(fā)音者的聲道形狀經(jīng)過非彈性的放射變換規(guī)范化后，聲道形狀不能很好的匹配在一起，比如利用直線化方法來規(guī)范聲道形狀，不僅丟失了很多有用的信息，而且使得在X軸方向數(shù)據(jù)的個(gè)體形態(tài)差異反而增大了。本文中使用的薄板樣條變換函數(shù)就是屬于彈性的放射變換的一種，它保證變換在全局上都是平滑的。利用的是上述網(wǎng)格系統(tǒng)中提到的標(biāo)志點(diǎn)一一對應(yīng)關(guān)系來確定薄板放射的函數(shù)。假設(shè)聲道二維坐標(biāo)系中有n個(gè)坐標(biāo)點(diǎn),薄板樣條的曲翅可由2(n+3)個(gè)參數(shù)描述,這些參數(shù)由6個(gè)全局線性參數(shù)以及n個(gè)標(biāo)志點(diǎn)的共2n個(gè)非線性參數(shù)組成，其中一半是x軸方向的參數(shù)描述，另一半是y軸方向的參數(shù)描述。這2(n+3)個(gè)參數(shù)可由[7]中提到的線性系統(tǒng)確定。假設(shè)i=L…n,表示平面上n個(gè)標(biāo)志點(diǎn),本實(shí)驗(yàn)中是44個(gè)標(biāo)志點(diǎn)的情況。這些標(biāo)志點(diǎn)的坐標(biāo)帶入薄板樣條函數(shù)求得的對應(yīng)的函數(shù)值是e識，i=l，2, no可見薄板樣條差值函數(shù)f (x，y)表示的是/: 2 的一個(gè)映射關(guān)系。薄板樣條差值函數(shù)定義如下
權(quán)利要求
1.ー種大規(guī)模生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范方法，其特征在于，該方法包括以下步驟 步驟一，從生理發(fā)音數(shù)據(jù)庫中獲得多組上顎和舌頭表面輪廓線條數(shù)據(jù)，依據(jù)該數(shù)據(jù)得到生理發(fā)音過程中聲道的平均形狀建立本方法的多組模板； 步驟ニ、利用網(wǎng)格系統(tǒng)對前一步驟 的多組模板的聲道形狀中的標(biāo)志點(diǎn)進(jìn)行標(biāo)注，具體做法首先，依據(jù)生理發(fā)音數(shù)據(jù)庫中所有元音生理發(fā)音的數(shù)據(jù)計(jì)算舌頭表面輪廓曲線的平均形狀，然后再由數(shù)據(jù)庫中所有舌表面的數(shù)據(jù)計(jì)算出舌頭表面中心點(diǎn)的平均位置；依據(jù)舌頭表面輪廓曲線的平均形狀和舌表面中心點(diǎn)平均位置確定網(wǎng)格系統(tǒng)；將得到的整個(gè)網(wǎng)格系統(tǒng)分割成十個(gè)同樣大小的扇區(qū)，使十個(gè)扇區(qū)覆蓋整個(gè)生理發(fā)音過程中聲道運(yùn)動(dòng)的空間，并且每個(gè)扇區(qū)的邊分別和上顎曲線、中位曲線、舌表面曲線以及舌表面之下曲線相交，從而到44個(gè)相交的點(diǎn),將這44個(gè)點(diǎn)就作為聲道的標(biāo)注點(diǎn)； 步驟三、利用上述標(biāo)注點(diǎn)與生理發(fā)音數(shù)據(jù)庫中原始點(diǎn)之間一一對應(yīng)關(guān)系來確定薄板樣條函數(shù)參數(shù)，實(shí)現(xiàn)生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范，具體算法包括 假設(shè)聲道ニ維坐標(biāo)系中有n個(gè)坐標(biāo)點(diǎn)，薄板樣條的曲翹可由2(n+3)個(gè)參數(shù)描述，這些參數(shù)由6個(gè)全局線性參數(shù)以及n個(gè)標(biāo)志點(diǎn)的共2n個(gè)非線性參數(shù)組成，其中一半是x軸方向的參數(shù)描述，另一半是y軸方向的參數(shù)描述。這2(n+3)個(gè)參數(shù)可由[7]中提到的線性系統(tǒng)確定。假設(shè)(4太)￡ 2，/=1，.』，表示平面上n個(gè)標(biāo)志點(diǎn)，本實(shí)驗(yàn)中是44個(gè)標(biāo)志點(diǎn)的情況。這些標(biāo)志點(diǎn)的坐標(biāo)帶入薄板樣條函數(shù)求得的對應(yīng)的函數(shù)值是ちe識，/'= 1,2,...，/ ?？梢姳“鍢訔l差值函數(shù)f (X，y)表示的是/: 2 的ー個(gè)映射關(guān)系。薄板樣條差值函數(shù)定義如下
全文摘要
本發(fā)明公開了一種大規(guī)模生理發(fā)音數(shù)據(jù)處理中聲道的形態(tài)規(guī)范方法，該方法包括步驟首先是模板的建立，然后是標(biāo)志點(diǎn)的標(biāo)定，最后是根據(jù)模板和說話人模型中標(biāo)志點(diǎn)的對應(yīng)關(guān)系確定各自薄板樣條函數(shù)的參數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明和傳統(tǒng)的利用直線化的標(biāo)準(zhǔn)方法相比，通過對不同發(fā)音人的聲道進(jìn)行形態(tài)上的規(guī)范，來實(shí)現(xiàn)生理發(fā)音數(shù)據(jù)的規(guī)范的同時(shí)，卻還能保持生理發(fā)音的運(yùn)動(dòng)特性和空間位置關(guān)系。
文檔編號G06F19/00GK102799759SQ20121019654
公開日2012年11月28日 申請日期2012年6月14日 優(yōu)先權(quán)日2012年6月14日
發(fā)明者魏建國, 陳龍, 黨建武, 宋嬋, 王宇光 申請人:天津大學(xué)