動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動(dòng)畫(huà)生成技術(shù)，尤其涉及動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法及裝置。
【背景技術(shù)】
[0002]在動(dòng)畫(huà)角色中，常需要根據(jù)輸入的對(duì)話展示面部表情，包括口型。
[0003]然而，在實(shí)際應(yīng)用中，多支持針對(duì)英文對(duì)話的口型生成，而不支持漢語(yǔ)口型的生成，導(dǎo)致漢語(yǔ)口型的生成準(zhǔn)確率較低。
[0004]例如，游戲中經(jīng)常會(huì)有與非玩家控制角色(NPC，Non-Player Character)對(duì)話的情景，尤其在3D游戲中更加常見(jiàn)。和NPC對(duì)話，往往需要展現(xiàn)其面部表情；而在面部表情中口型是否與對(duì)話內(nèi)容一致，直接影響體驗(yàn)效果，因此如何實(shí)現(xiàn)游戲中口型動(dòng)畫(huà)，特別是漢語(yǔ)口型動(dòng)畫(huà)就顯得至關(guān)重要。但目前方案只支持英文的自動(dòng)生成口型動(dòng)畫(huà)；卻不支持中文口型動(dòng)畫(huà)，導(dǎo)致漢語(yǔ)口型生成準(zhǔn)確率很低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法，該方法能夠提高動(dòng)畫(huà)角色漢語(yǔ)口型生成的準(zhǔn)確性。
[0006]本發(fā)明提供了一種動(dòng)畫(huà)角色漢語(yǔ)口型生成的裝置，該裝置能夠提高動(dòng)畫(huà)角色漢語(yǔ)口型生成的準(zhǔn)確性。
[0007]一種動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法，將漢語(yǔ)拼音發(fā)音口型劃分為聲母類(lèi)口型和韻母類(lèi)口型，其中聲母類(lèi)口型包含的個(gè)數(shù)為第一設(shè)定個(gè)數(shù)，韻母類(lèi)口型包含的個(gè)數(shù)為第二設(shè)定個(gè)數(shù)；按照劃分的聲母類(lèi)口型和韻母類(lèi)口型將常用漢字轉(zhuǎn)換為各自對(duì)應(yīng)的聲母口型和韻母口型，將各常用漢字及對(duì)應(yīng)的聲母口型和韻母口型存儲(chǔ)到漢字口型對(duì)照表中；
[0008]對(duì)語(yǔ)音信息進(jìn)行識(shí)別，得到語(yǔ)音漢字以及對(duì)應(yīng)的時(shí)間長(zhǎng)度；在語(yǔ)音信息記錄庫(kù)中對(duì)應(yīng)各條語(yǔ)音信息標(biāo)識(shí)存儲(chǔ)其漢字信息，所述漢字信息包括語(yǔ)音信息所含的語(yǔ)音漢字及相應(yīng)的時(shí)間長(zhǎng)度；
[0009]該方法包括:
[0010]接收包含語(yǔ)音信息標(biāo)識(shí)的播放請(qǐng)求，從語(yǔ)音信息記錄庫(kù)中獲取對(duì)應(yīng)的漢字信息；[0011 ] 根據(jù)獲取的漢字信息中的語(yǔ)音漢字，從漢字口型對(duì)照表中查找對(duì)應(yīng)的聲母口型和韻母口型；
[0012]確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例；
[0013]根據(jù)聲母所占比例和韻母所占比例，對(duì)查找出到的聲母口型和韻母口型進(jìn)行混合顯示，其顯示時(shí)間滿足從漢字口型對(duì)照表中查找到的時(shí)間長(zhǎng)度。
[0014]一種動(dòng)畫(huà)角色漢語(yǔ)口型生成的裝置，該裝置包括漢字口型對(duì)照表設(shè)置單元、語(yǔ)音信息記錄單元、漢字信息確定單元和口型生成單元；
[0015]所述漢字口型對(duì)照表設(shè)置單元，將漢語(yǔ)拼音發(fā)音口型劃分為聲母類(lèi)口型和韻母類(lèi)口型，其中聲母類(lèi)口型包含的個(gè)數(shù)為第一設(shè)定個(gè)數(shù)，韻母類(lèi)口型包含的個(gè)數(shù)為第二設(shè)定個(gè)數(shù)；按照劃分的聲母類(lèi)口型和韻母類(lèi)口型將常用漢字轉(zhuǎn)換為各自對(duì)應(yīng)的聲母口型和韻母口型，將各常用漢字及對(duì)應(yīng)的聲母口型和韻母口型存儲(chǔ)到漢字口型對(duì)照表中；
[0016]所述語(yǔ)音信息記錄單元，對(duì)語(yǔ)音信息進(jìn)行識(shí)別，得到語(yǔ)音漢字以及對(duì)應(yīng)的時(shí)間長(zhǎng)度；在語(yǔ)音信息記錄庫(kù)中對(duì)應(yīng)各條語(yǔ)音信息標(biāo)識(shí)存儲(chǔ)其漢字信息，所述漢字信息包括語(yǔ)音信息所含的語(yǔ)音漢字及相應(yīng)的時(shí)間長(zhǎng)度；
[0017]所述漢字信息確定單元，接收包含語(yǔ)音信息標(biāo)識(shí)的播放請(qǐng)求，從語(yǔ)音信息記錄庫(kù)中獲取對(duì)應(yīng)的漢字信息；根據(jù)獲取的漢字信息中的語(yǔ)音漢字，從漢字口型對(duì)照表中查找對(duì)應(yīng)的聲母口型和韻母口型；確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例；將查找出的聲母口型和韻母口型以及確定的聲母所占比例和韻母所占比例發(fā)送給所述口型生成單元；
[0018]所述口型生成單元，根據(jù)聲母所占比例和韻母所占比例，對(duì)查找出到的聲母口型和韻母口型進(jìn)行混合顯示，其顯示時(shí)間滿足從漢字口型對(duì)照表中查找到的時(shí)間長(zhǎng)度。
[0019]從上述方案可以看出，本發(fā)明中，預(yù)先生成漢字口型對(duì)照表和語(yǔ)音信息記錄庫(kù)，當(dāng)需要進(jìn)行動(dòng)畫(huà)角色漢語(yǔ)口型生成時(shí)，該方法包括:接收包含語(yǔ)音信息標(biāo)識(shí)的播放請(qǐng)求，從語(yǔ)音信息記錄庫(kù)中獲取對(duì)應(yīng)的漢字信息；根據(jù)獲取的漢字信息中的語(yǔ)音漢字，從漢字口型對(duì)照表中查找對(duì)應(yīng)的聲母口型和韻母口型；確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例；根據(jù)聲母所占比例和韻母所占比例，對(duì)查找出到的聲母口型和韻母口型進(jìn)行混合顯示。這樣，實(shí)現(xiàn)了針對(duì)漢語(yǔ)實(shí)時(shí)生成口型動(dòng)畫(huà)，提高了動(dòng)畫(huà)角色漢語(yǔ)口型生成的準(zhǔn)確性，進(jìn)一步滿足了需求。
【附圖說(shuō)明】
[0020]圖1為本發(fā)明動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法示意性流程圖；
[0021]圖2為本發(fā)明動(dòng)畫(huà)角色漢語(yǔ)口型生成的裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0022]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例和附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0023]本發(fā)明預(yù)先生成漢字口型對(duì)照表和語(yǔ)音信息記錄庫(kù)，而后基于漢字口型對(duì)照表和語(yǔ)音信息記錄庫(kù)將漢語(yǔ)語(yǔ)音轉(zhuǎn)換為對(duì)應(yīng)的動(dòng)畫(huà)口型；從而，實(shí)現(xiàn)了針對(duì)漢語(yǔ)實(shí)時(shí)生成口型動(dòng)畫(huà)，提高了動(dòng)畫(huà)角色漢語(yǔ)口型生成的準(zhǔn)確性。
[0024]參見(jiàn)圖1，為本發(fā)明動(dòng)畫(huà)角色漢語(yǔ)口型生成的方法示意性流程圖，該方法預(yù)先生成漢字口型對(duì)照表和語(yǔ)音信息記錄庫(kù)，具體地:
[0025]I)漢字口型對(duì)照表的生成。
[0026]將漢語(yǔ)拼音發(fā)音口型劃分為聲母類(lèi)口型和韻母類(lèi)口型，其中聲母類(lèi)口型包含的個(gè)數(shù)為第一設(shè)定個(gè)數(shù)，韻母類(lèi)口型包含的個(gè)數(shù)為第二設(shè)定個(gè)數(shù)；按照劃分的聲母類(lèi)口型和韻母類(lèi)口型將常用漢字轉(zhuǎn)換為各自對(duì)應(yīng)的聲母口型和韻母口型，將各常用漢字及對(duì)應(yīng)的聲母口型和韻母口型存儲(chǔ)到漢字口型對(duì)照表中。
[0027]第一設(shè)定個(gè)數(shù)和第二設(shè)定個(gè)數(shù)，可根據(jù)需要確定。例如:所述第一設(shè)定個(gè)數(shù)為2，聲母類(lèi)口型包括b和d兩種口型，所述第二設(shè)定個(gè)數(shù)為4，韻母類(lèi)口型包含a、o、e和u四種口型。
[0028]具體實(shí)踐時(shí)，可以將口型類(lèi)似的聲母或韻母劃分為一類(lèi)，下述為一個(gè)劃分的實(shí)例:
[0029]b類(lèi)口型對(duì)應(yīng)的聲母包含:b、p、m、l ;
[0030]d 類(lèi)口型對(duì)應(yīng)的聲母包含:d、t、η、1、g、k、h、j、q、X、zh、ch、sh、r、z、C、s ;
[0031]a 類(lèi)口型對(duì)應(yīng)的韻母包含:a、ia、ua、a1、ua1、ao、iao、an、ian、uan、ang、iang、uang ；
[0032]o類(lèi)口型對(duì)應(yīng)的韻母包含:o、uo、ou、ang、1ng ；
[0033]e 類(lèi)口型對(duì)應(yīng)的韻母包含:e、1、ie、er、e1、ue1、en、in、uen、eng、ing、ueng、y ；
[0034]u類(lèi)口型對(duì)應(yīng)的韻母包含:u、ue、un、u1、W。
[0035]2)語(yǔ)音信息記錄庫(kù)的生成。
[0036]對(duì)語(yǔ)音信息進(jìn)行識(shí)別，得到語(yǔ)音漢字以及對(duì)應(yīng)的時(shí)間長(zhǎng)度；在語(yǔ)音信息記錄庫(kù)中對(duì)應(yīng)各條語(yǔ)音信息標(biāo)識(shí)存儲(chǔ)其漢字信息，所述漢字信息包括語(yǔ)音信息所含的語(yǔ)音漢字及相應(yīng)的時(shí)間長(zhǎng)度。
[0037]對(duì)動(dòng)畫(huà)角色涉及到的每條語(yǔ)音信息進(jìn)行識(shí)別，識(shí)別出語(yǔ)音信息中包含的所有語(yǔ)音漢字，以及每個(gè)語(yǔ)音漢字對(duì)應(yīng)的時(shí)間長(zhǎng)度，得到關(guān)于各條語(yǔ)音信息的漢字信息。
[0038]圖1的流程包括以下步驟:
[0039]步驟101，接收包含語(yǔ)音信息標(biāo)識(shí)的播放請(qǐng)求，從語(yǔ)音信息記錄庫(kù)中獲取對(duì)應(yīng)的漢字信息。
[0040]根據(jù)用戶操作，請(qǐng)求對(duì)相應(yīng)的語(yǔ)音信息進(jìn)行播放。
[0041 ] 步驟102，根據(jù)獲取的漢字信息中的語(yǔ)音漢字，從漢字口型對(duì)照表中查找對(duì)應(yīng)的聲母口型和韻母口型。
[0042]查找出的聲母口型和韻母口型，體現(xiàn)了口型的形狀、張合度大小等信息。
[0043]步驟103，確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例。
[0044]聲母所占比例和韻母所占比例，即聲母和韻母在相應(yīng)漢字語(yǔ)音中所占的時(shí)間比例。
[0045]步驟104，根據(jù)聲母所占比例和韻母所占比例，對(duì)查找出到的聲母口型和韻母口型進(jìn)行混合顯示，其顯示時(shí)間滿足從漢字口型對(duì)照表中查找到的時(shí)間長(zhǎng)度。
[0046]顯示時(shí)，可按照幀頻率，進(jìn)行逐幀混合后顯示。對(duì)每幀進(jìn)行混合中，聲母口型在該幀中所占時(shí)間比例依照聲母所占比例，韻母口型在該幀中所占時(shí)間比例依照韻母所占比例；從聲母口型到韻母口型，可進(jìn)行過(guò)度處理。針對(duì)某一語(yǔ)音漢字，其顯示的總時(shí)間為查找到的時(shí)間長(zhǎng)度；口型顯示與相應(yīng)語(yǔ)音漢字的語(yǔ)音播放同時(shí)進(jìn)行。
[0047]本發(fā)明中，預(yù)先生成漢字口型對(duì)照表和語(yǔ)音信息記錄庫(kù)，當(dāng)需要進(jìn)行動(dòng)畫(huà)角色漢語(yǔ)口型生成時(shí)，該方法包括:接收包含語(yǔ)音信息標(biāo)識(shí)的播放請(qǐng)求，從語(yǔ)音信息記錄庫(kù)中獲取對(duì)應(yīng)的漢字信息；根據(jù)獲取的漢字信息中的語(yǔ)音漢字，從漢字口型對(duì)照表中查找對(duì)應(yīng)的聲母口型和韻母口型；確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例；根據(jù)聲母所占比例和韻母所占比例，對(duì)查找出到的聲母口型和韻母口型進(jìn)行混合顯示。這樣，實(shí)現(xiàn)了針對(duì)漢語(yǔ)實(shí)時(shí)生成口型動(dòng)畫(huà)，提高了動(dòng)畫(huà)角色漢語(yǔ)口型生成的準(zhǔn)確性，進(jìn)一步滿足了需求。
[0048]圖1流程中，步驟103確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例，可采用多種方式實(shí)現(xiàn)，如為預(yù)設(shè)的統(tǒng)一比例；還可以，進(jìn)行每幀口型顯示時(shí)，實(shí)時(shí)進(jìn)行計(jì)算，具體如:
[0049]所述語(yǔ)音信息記錄庫(kù)中還記錄各語(yǔ)音漢字的聲母所占時(shí)間和韻母所占時(shí)間；所述確定獲取的語(yǔ)音漢字所對(duì)應(yīng)的聲母所占比例和韻母所占比例，采用如下公式計(jì)算得到:
[0050]main_per = main_max_per*|sin(past_time*3.14/(2.0*main_time))| ;
[0051]sub_per = sub_max_per*|sin(past_time*3.14/(2.0氺sub_time)) | ；
[0052]其中，main_per為聲母所占比例，main_time為聲母所占時(shí)間，main_max_per為聲母口型最大時(shí)的縮放比例；sub_per為韻母所占比例，sub_time為韻母所占時(shí)間，sub_max_per為韻母口型最大時(shí)的縮放比例；past_time為流逝時(shí)間；main_max_per、main_time、sub_max_per和sub_time為預(yù)先設(shè)定的參數(shù)。
[0053]其中，聲母所占時(shí)間和韻母所占時(shí)間的總和即為相應(yīng)語(yǔ)音漢字的時(shí)間長(zhǎng)度。流逝時(shí)間為:針對(duì)某語(yǔ)音漢字，按照幀頻率逐幀進(jìn)行口型顯示，流逝時(shí)間即為該語(yǔ)音漢字已顯示的時(shí)間。
[0054]較佳地，所述聲母口型最大時(shí)的縮放比例(main_max_per)取值為0.618，所述韻母口型最大時(shí)的縮放比例(sub_max_per)取值為0.372。