專利名稱：基于三維頭像的聾兒語言康復(fù)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種訓(xùn)練聾兒發(fā)音的方法以及實現(xiàn)這種方法的系統(tǒng)，特別是一種基于
三維頭像的聾兒語言康復(fù)方法及其系統(tǒng)，尤指一種利用計算機三維建模技術(shù)、語音識別技術(shù)、圖像識別技術(shù)相結(jié)合進行聾兒漢語發(fā)音康復(fù)的基于三維頭像的聾兒語言康復(fù)方法及其系統(tǒng)。
背景技術(shù)：
兒童的語言能力主要通過自然習(xí)得。聾兒由于聽力障礙，使得語言聽說的能力遠遠落后于同齡健全兒童。而學(xué)齡前是兒童獲得語言的關(guān)鍵時期，醫(yī)學(xué)專家指出0 3歲是兒童大腦發(fā)育最快的時期，也是學(xué)習(xí)語言的最關(guān)鍵期。7歲以前是最佳期，7 12歲是可塑期。如果此時發(fā)生耳聾，則嚴(yán)重影響兒童的聽覺，言語發(fā)育，同時也影響其他方面的發(fā)展。聾兒語言康復(fù)訓(xùn)練主要針對學(xué)齡前聾兒，旨在通過語言康復(fù)訓(xùn)練，幫助聾兒學(xué)習(xí)語音，理解語詞，培養(yǎng)語感及自主學(xué)習(xí)語言的意識，使其具有一定的懂話能力，說話能力，達到能聽會說，聾而不鵬，為其今后的知識學(xué)習(xí)和參與社會活動奠定基礎(chǔ)。 中國實用新型專利申請?zhí)枮?5200511，公開號為85200511，專利名稱為"TET-型聾鵬學(xué)話機"公開了一種聾鵬學(xué)話機專供聾鵬學(xué)校訓(xùn)練全班學(xué)生說話的設(shè)備，該設(shè)備具有適宜聾鵬人的特殊立體聲集成音響系統(tǒng)，采用三種機電傳感器。中國發(fā)明專利申請?zhí)枮?1109902. 6，公開號為CN1071595，專利名稱為"聾兒康復(fù)儀"公開了一種用電子學(xué)方法使產(chǎn)生的500-800GS磁場作用于耳周穴位。這種磁場應(yīng)在某種音樂旋律調(diào)制下成為有節(jié)奏變化的磁場。特征是將音樂調(diào)制的磁場做在頭環(huán)的耳機上，并使磁場緊靠耳周穴位，用途是治療各種原因造成的小兒感音區(qū)性耳聾。中國實用新型專利申請?zhí)枮?9113117. 7，公開號為1280862，專利名稱為"聾兒雙項速成康復(fù)法"公開了一種涉及聾兒聽力、語言康復(fù)的新方法，借助理療、磁療等方法提高聽神經(jīng)細胞活力，激發(fā)聽神經(jīng)潛能，促進聽神經(jīng)細胞的再生，從而提高聽覺能力，然后結(jié)合輔助功能訓(xùn)練，采用多種形式、多種方式，適用于發(fā)明相配套的自編教材，對聾兒進行系統(tǒng)的科學(xué)的聽力、語音、語言程序訓(xùn)練，使其在短時間內(nèi)開口說話。但上述方法使用單純的錄音、指認(rèn)圖片，時間長了他們會感到厭煩，學(xué)習(xí)興趣大幅度降低，很多孩子還拒絕這種訓(xùn)練。中國實用新型專利申請?zhí)枮?02144413，公開號為2071362，專利名稱為"聾啞人語言教學(xué)機"公開了一種適用于聾啞人用的語言教學(xué)機，其內(nèi)部電路中加接有選擇開關(guān)、濾波選通電路以及音量平衡電位器，聾啞人根據(jù)兩耳殘余聽力可以選擇不同的頻率響應(yīng)以及音量，達到最佳的聽力以及聽覺與視覺的統(tǒng)一，從而改變了單靠手勢的聾兒語言教學(xué)法 上述各種涉及聾兒聽力、語言康復(fù)的方法和教學(xué)機，對聾兒語音開發(fā)具有一定作用，但均有各自的缺點和應(yīng)用的局限性，這些問題需要進一步加以改進。

發(fā)明內(nèi)容
本發(fā)明的目的是為了克服目前聾兒語言康復(fù)方法及康復(fù)系統(tǒng)單調(diào)枯燥以及無反饋診斷過程的不足，將三維建模與可視語音技術(shù)相結(jié)合，建立基于參數(shù)驅(qū)動的三維唇動模型及適合聾兒康復(fù)的三維漢語輔助發(fā)音可視語音庫，并在建立三維會話頭像的基礎(chǔ)上，結(jié)合語音識別和圖像識別技術(shù)對聾兒發(fā)音進行校正，以達到幫助聾兒恢復(fù)漢語發(fā)音功能的目的，特別是輔助3-7歲聾兒學(xué)習(xí)漢語發(fā)音，以便他們能夠進入正常學(xué)校讀書。
為了實現(xiàn)本發(fā)明的目的，本發(fā)明采用以下技術(shù)方案一種基于三維頭像的聾兒語言康復(fù)方法，使聾兒在漢語發(fā)音學(xué)習(xí)中通過視覺直觀看到顯示屏幕上的三維人體頭像模擬發(fā)音過程，通過半透明的頭像可以看到內(nèi)部發(fā)音器官發(fā)音過程的動作序列，一邊模仿一邊練習(xí)，具體內(nèi)容包括 a.通過顯示屏幕向聾兒播放某一漢語文字、詞、短語、簡單句子的可視化三維頭像發(fā)音過程，同時播放該信息的語音，該發(fā)音過程是經(jīng)過參數(shù)驅(qū)動三維頭像的各個發(fā)音器官完成的，接下來進行步驟b ; b.聾兒根據(jù)屏幕顯示的發(fā)音過程進行發(fā)音練習(xí)，同時系統(tǒng)收集聾兒練習(xí)過程的音頻和視頻資料，通過"唇讀技術(shù)"視頻分析和"語音識別技術(shù)"音頻分析，給聾兒發(fā)音進行評分優(yōu)秀、合格、不合格，若合格進入步驟C，若優(yōu)秀進入步驟d，若不合格進入步驟e ;
c.鼓勵學(xué)生繼續(xù)進行練習(xí)，爭取達到優(yōu)秀標(biāo)準(zhǔn)，若聾兒選擇繼續(xù)練習(xí)則返回到剛剛訓(xùn)練的內(nèi)容，同時系統(tǒng)進入步驟b，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進入下一訓(xùn)練環(huán)節(jié)，同時系統(tǒng)進入步驟b，或者進入步驟f ; d.給予聾兒一定獎勵，好看的圖片或是動畫，激勵聾兒繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進入下一訓(xùn)練環(huán)節(jié)，同時系統(tǒng)進入步驟b，或者進入步驟f ; e.給予聾兒一定鼓勵，同時重新播放正確的三維頭像發(fā)音過程，通過視頻分析，提示其在剛剛發(fā)音過程中的錯誤之處，并系統(tǒng)進入步驟b ;
f.退出系統(tǒng)。 —種實現(xiàn)上述方法的基于三維頭像的聾兒語言康復(fù)系統(tǒng)，包括數(shù)據(jù)處理裝置、數(shù)據(jù)輸入裝置、數(shù)據(jù)輸出裝置，以及視音頻接收處理裝置，具體包括如下信息
—個三維頭像模型庫，由若干三維頭像模型組成，每一模型都具有特定聾兒的頭部形態(tài)，并且每一頭像的發(fā)音器官設(shè)置多個參數(shù)點； —個漢語可視語音參數(shù)庫，用以驅(qū)動三維頭像模型的參數(shù)，每一參數(shù)對應(yīng)一個漢語單元(音、字、詞、句子等)； —個語訓(xùn)庫，按照聾兒發(fā)音康復(fù)不同階段分為高級、中級、初級三個等級，分別裝載各自不同級別的發(fā)音單元； —個受訓(xùn)者資料庫，記錄受訓(xùn)者學(xué)習(xí)情況，并對受訓(xùn)者所學(xué)發(fā)音過程進行統(tǒng)計評估，通過評估認(rèn)定受訓(xùn)者應(yīng)該在哪個語訓(xùn)等級中； —個圖形顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語訓(xùn)等級中的漢語單元，從參數(shù)庫中調(diào)取參數(shù)驅(qū)動頭像模型，進入可視化三維頭像發(fā)音過程；
—個視頻音頻接收模塊，接收聾兒發(fā)音過程的視音頻文件； —個判斷模塊，通過語音識別和唇讀識別技術(shù)判斷聾兒發(fā)音的級別優(yōu)秀或合格或不合格； —個反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聾兒發(fā)音過程文件，或者提示聾兒如何正確發(fā)音，或者播放正確的發(fā)音過程；
4
其中數(shù)據(jù)處理裝置包括圖形處理卡和聲音處理卡。數(shù)據(jù)輸入裝置包括視頻采集裝
置和音頻采集裝置，如攝像頭和麥克。數(shù)據(jù)輸出裝置為顯示設(shè)備，如LCD顯示器。以及視音
頻接收處理裝置，具體包括如下信息音頻數(shù)據(jù)庫采集裝置，音頻數(shù)據(jù)庫處理裝置，視頻數(shù)
據(jù)庫采集裝置，視頻數(shù)據(jù)處理裝置，綜合數(shù)據(jù)處理裝置，數(shù)據(jù)輸出顯示反饋裝置。 本發(fā)明的有益效果是，所述聾兒語言康復(fù)方法及其系統(tǒng)應(yīng)用逼真的三維動畫效果
可以充分指導(dǎo)聾兒多個發(fā)音器官進行發(fā)音訓(xùn)練，讓聾兒循序漸進的從音、字到詞、句進行發(fā)
音練習(xí)，通過獎勵和鼓勵措施調(diào)動聾兒訓(xùn)練的興趣，三維頭像角度的不斷變換可以使聾兒
從各個方向了解發(fā)音器官發(fā)音時的動作序列，能夠縮短聾兒發(fā)音訓(xùn)練所需時間，提高發(fā)音
訓(xùn)練的效率。本發(fā)明采用視音頻雙模反饋對聾兒發(fā)音訓(xùn)練進行評估，針對每一個聾兒各自
特點記錄聾兒訓(xùn)練過程和訓(xùn)練效果，統(tǒng)計出聾兒發(fā)音學(xué)習(xí)的快慢程度，因材施教，提供個性
化的訓(xùn)練方案。


圖1為聾兒語言發(fā)音康復(fù)方法程序流程框圖。 圖2為聾兒語言發(fā)音康復(fù)系統(tǒng)裝置構(gòu)成示意圖。 圖3為聾兒語言發(fā)音康復(fù)系統(tǒng)視音頻接收處理裝置流程示意圖。
具體實施例方式
如附圖1所示，一種基于三維頭像的聾兒語言康復(fù)方法，旨在使聾兒在漢語發(fā)音學(xué)習(xí)中通過視覺直觀看到顯示屏幕上的三維會話頭像模擬發(fā)音過程，通過半透明的頭像可以看到內(nèi)部發(fā)音器官發(fā)音過程的動作序列，一邊模仿一邊練習(xí)，如圖示的操作步驟進行操作進入用戶相應(yīng)等級語訓(xùn)模塊1，顯示一組指定的發(fā)音訓(xùn)練單元2，用戶點擊某一特定語訓(xùn)單元3，半透明三維頭像模擬整個發(fā)音過程4，用戶模仿整個發(fā)音過程5，評估模塊判斷用戶發(fā)音等級6，鼓勵并提示發(fā)音過程錯誤之處、記錄用戶語訓(xùn)信息7，獎勵用戶，記錄用戶語訓(xùn)信息8，上述操作步驟結(jié)合如下具體方法達到聾兒語言康復(fù)的目的
a.通過顯示屏幕向聾兒播放某一漢語文字、詞、短語、簡單句子的可視化三維頭像發(fā)音過程，同時播放該信息的語音，該發(fā)音過程是經(jīng)過參數(shù)驅(qū)動3D頭像的各個發(fā)音器官完成的，接下來進行步驟b ; b.聾兒根據(jù)屏幕顯示的發(fā)音過程進行發(fā)音練習(xí)，同時系統(tǒng)收集聾兒練習(xí)過程的
音頻和視頻資料，通過唇讀技術(shù)的視頻分析和語音識別技術(shù)的音頻分析給聾兒發(fā)音進行評
分優(yōu)秀、合格、不合格，若合格進入步驟c，若優(yōu)秀進入步驟d，若不合格進入步驟e ; c.鼓勵學(xué)生繼續(xù)進行練習(xí)，爭取達到優(yōu)秀標(biāo)準(zhǔn)，若聾兒選擇繼續(xù)練習(xí)則返回到剛
剛訓(xùn)練的內(nèi)容，同時系統(tǒng)進入步驟b，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進入下一訓(xùn)練環(huán)節(jié)，
同時系統(tǒng)進入步驟b: 或者進入步驟f; d.給予聾兒一定獎勵，例如好看的圖片或是動畫，激勵聾兒繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進入下一訓(xùn)練環(huán)節(jié)，同時系統(tǒng)進入步驟b，或者進入步驟f ，退出系統(tǒng)程序；
e.給予聾兒一定鼓勵，同時重新播放正確的三維頭像發(fā)音過程，通過視頻分析，提
示其在剛剛發(fā)音過程中的錯誤之處，并系統(tǒng)進入步驟b ;
f.退出系統(tǒng)。 如附圖2和附圖3所示，基于三維頭像的聾JL語言康復(fù)系統(tǒng)，包括數(shù)據(jù)處理裝置1 、 數(shù)據(jù)輸入裝置、數(shù)據(jù)輸出裝置，以及視音頻接收處理裝置，具體包括如下信息
—個三維頭像模型庫，由若干三維頭像模型組成，每一模型都應(yīng)特定聾兒的頭部 形態(tài)，并且每一頭像的發(fā)音器官設(shè)置多個參數(shù)點； —個漢語可視語音參數(shù)庫，用以驅(qū)動三維頭像模型的參數(shù)，每一參數(shù)對應(yīng)一個漢 語單元音、字、詞、句子等； —個語訓(xùn)庫，按照聾兒發(fā)音康復(fù)不同階段分為高級、中級、初級三個等級，分別裝 載各自不同級別的發(fā)音單元； —個受訓(xùn)者資料庫，記錄受訓(xùn)者學(xué)習(xí)情況，并對受訓(xùn)者所學(xué)發(fā)音過程進行統(tǒng)計評 估，通過評估認(rèn)定受訓(xùn)者應(yīng)該在哪個語訓(xùn)等級中； —個圖形顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語訓(xùn)等級中的漢語單元，從參 數(shù)庫中調(diào)取參數(shù)驅(qū)動頭像模型，進入可視化三維頭像發(fā)音過程；
—個視頻音頻接收模塊，接收聾兒發(fā)音過程的視音頻文件； —個判斷模塊，通過語音識別和唇讀識別技術(shù)判斷聾兒發(fā)音的級別優(yōu)秀或合格 或不合格； —個反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聾兒發(fā)音過程文件，或者提 示聾JL如何正確發(fā)音，或者播放正確的發(fā)音過程。 其中數(shù)據(jù)處理裝置包括圖形處理卡和聲音處理卡；數(shù)據(jù)輸入裝置包括視頻采集裝 置和音頻采集裝置，如攝像頭和麥克；數(shù)據(jù)輸出裝置為顯示設(shè)備，如LCD顯示器。以及視音 頻接收處理裝置，具體包括如下信息 音頻數(shù)據(jù)庫采集裝置l，音頻數(shù)據(jù)庫處理裝置2，視頻數(shù)據(jù)庫采集裝置3，視頻數(shù)據(jù) 處理裝置4，綜合數(shù)據(jù)處理裝置5，數(shù)據(jù)輸出顯示反饋裝置6。
權(quán)利要求
一種基于三維頭像的聾兒語言康復(fù)方法，其特征在于使聾兒在漢語發(fā)音學(xué)習(xí)中通過視覺直觀看到顯示屏幕上的三維會話頭像模擬發(fā)音過程，通過半透明的頭像可以看到內(nèi)部發(fā)音器官發(fā)音過程的動作序列，一邊模仿一邊練習(xí)，具體方法是a.通過顯示屏幕向聾兒播放某一漢語文字、詞、短語、簡單句子的可視化三維頭像發(fā)音過程，同時播放該信息的語音，該發(fā)音過程是經(jīng)過參數(shù)驅(qū)動3D頭像的各個發(fā)音器官完成的，接下來進行步驟b；b.聾兒根據(jù)屏幕顯示的發(fā)音過程進行發(fā)音練習(xí)，同時系統(tǒng)收集聾兒練習(xí)過程的音頻和視頻資料，通過視頻分析(唇讀技術(shù))和音頻分析(語音識別技術(shù))給聾兒發(fā)音進行評分優(yōu)秀、合格、不合格，若合格進入步驟c，若優(yōu)秀進入步驟d，若不合格進入步驟e；c.鼓勵學(xué)生繼續(xù)進行練習(xí)，爭取達到優(yōu)秀標(biāo)準(zhǔn)，若聾兒選擇繼續(xù)練習(xí)則返回到剛剛訓(xùn)練的內(nèi)容，同時系統(tǒng)進入步驟b，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進入下一訓(xùn)練環(huán)節(jié)，同時系統(tǒng)進入步驟b，或者進入步驟f；d.給予聾兒一定獎勵，好看的圖片或是動畫，激勵聾兒繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進入下一訓(xùn)練環(huán)節(jié)，同時系統(tǒng)進入步驟b，或者進入步驟f；e.給予聾兒一定鼓勵，同時重新播放正確的三維頭像發(fā)音過程，通過視頻分析，提示其在剛剛發(fā)音過程中的錯誤之處，并系統(tǒng)進入步驟b；f.退出系統(tǒng)。
2. —種基于三維頭像的聾兒語言康復(fù)系統(tǒng)，其特征在于包括數(shù)據(jù)處理裝置、數(shù)據(jù)輸 入裝置、數(shù)據(jù)輸出裝置，以及視音頻接收處理裝置，具體包括如下信息一個三維頭像模型庫，由若干三維頭像模型組成，每一模型都應(yīng)特定聾兒的頭部形態(tài)， 并且每一頭像的發(fā)音器官設(shè)置多個參數(shù)點；一個漢語可視語音參數(shù)庫，用以驅(qū)動三維頭像模型的參數(shù)，每一參數(shù)對應(yīng)一個漢語單 元(音、字、詞、句子等)；一個語訓(xùn)庫，按照聾兒發(fā)音康復(fù)不同階段分為高級、中級、初級三個等級，分別裝載各 自不同級別的發(fā)音單元；一個受訓(xùn)者資料庫，記錄受訓(xùn)者學(xué)習(xí)情況，并對受訓(xùn)者所學(xué)發(fā)音過程進行統(tǒng)計評估，通 過評估認(rèn)定受訓(xùn)者應(yīng)該在哪個語訓(xùn)等級中；一個圖形顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語訓(xùn)等級中的漢語單元，從參數(shù)庫 中調(diào)取參數(shù)驅(qū)動頭像模型，進入可視化三維頭像發(fā)音過程；一個視頻音頻接收模塊，接收聾兒發(fā)音過程的視音頻文件；一個判斷模塊，通過語音識別和唇讀識別技術(shù)判斷聾兒發(fā)音的級別優(yōu)秀或合格或不 合格；一個反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聾兒發(fā)音過程文件，或者提示聾 兒如何正確發(fā)音，或者播放正確的發(fā)音過程。
3. 依據(jù)權(quán)利要求2所述的一種基于三維頭像的聾兒語言康復(fù)系統(tǒng)，其特征在于其中 數(shù)據(jù)處理裝置包括圖形處理卡和聲音處理卡，數(shù)據(jù)輸出裝置為顯示設(shè)備，如LCD顯示器。
4. 依據(jù)權(quán)利要求2所述的一種基于三維頭像的聾兒語言康復(fù)系統(tǒng)，其特征在于其中 數(shù)據(jù)輸入裝置包括視頻采集裝置和音頻采集裝置，如攝像頭和麥克。
全文摘要
本發(fā)明涉及基于三維頭像的聾兒語言康復(fù)方法及系統(tǒng)，屬于醫(yī)療儀器類，其主要技術(shù)是將三維建模與可視語音技術(shù)相結(jié)合，建立基于參數(shù)驅(qū)動的三維唇動模型及適合聾兒康復(fù)的三維漢語輔助發(fā)音可視語音庫，并在三維會話頭像建立的基礎(chǔ)上，結(jié)合語音識別和圖像識別技術(shù)對聾兒發(fā)音進行校正，以達到幫助聾兒恢復(fù)漢語發(fā)音功能。
文檔編號G09B21/00GK101751809SQ201010108090
公開日2010年6月23日 申請日期2010年2月10日 優(yōu)先權(quán)日2010年2月10日
發(fā)明者史麗娟, 吳佳楠, 張超, 王麗榮, 趙劍, 鄒稷 申請人:長春大學(xué)