專利名稱：概率導(dǎo)向的容錯(cuò)式自然語言理解方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用語音識(shí)別將語音數(shù)據(jù)轉(zhuǎn)換成文字的方法，特別涉及一種當(dāng)語音識(shí)別發(fā)生錯(cuò)誤致使無法產(chǎn)生正確的概念序列時(shí)，藉由概率導(dǎo)向的評(píng)分函數(shù)判斷錯(cuò)誤之所在并且修復(fù)成為正確的概念序列的方法。
自然語言理解(Natural Language Understanding)技術(shù)是將人類的語言文字轉(zhuǎn)換成為電腦能夠理解的數(shù)據(jù)格式，藉此，在不同的應(yīng)用系統(tǒng)中，電腦能提供使用者不同需求的服務(wù)。例如，在機(jī)器翻譯的應(yīng)用中，將本國的文字翻譯成他國的文字。自然語言理解技術(shù)除了可用于文字輸入輸出的自然語言應(yīng)用系統(tǒng)外，亦可用于與語音相關(guān)的應(yīng)用系統(tǒng)。普遍的做法是利用語音識(shí)別器先將語音數(shù)據(jù)轉(zhuǎn)換成文字，再做自然語言理解的處理。
一般而言，與語音相關(guān)的應(yīng)用系統(tǒng)(例如口語交談系統(tǒng))都包含語音識(shí)別(Speech Recognition)模塊與語言理解模塊。語音識(shí)別模塊是將使用者所說的話語(Utterance)轉(zhuǎn)換成可能的語句集合(Word Sequence Set)，語言理解模塊利用語言與應(yīng)用領(lǐng)域的知識(shí)，分析此語句集合以判定使用者的意圖，并表示成代表使用者意圖的語意框架(Semantic Frame)。


圖1繪示理解使用者話語的流程圖。舉例“請(qǐng)問新竹今天早上會(huì)不會(huì)下雨”是使用者所說的話語信號(hào)(S100)，利用語音識(shí)別模塊將話語信號(hào)轉(zhuǎn)換成可能的語句集合(S102)，這些可能的語句集合即成為一組語句列表(S104)，如例句“請(qǐng)問新竹今天早上會(huì)不會(huì)下雨”所形成的語句列表有“請(qǐng)問新竹今天早上會(huì)不會(huì)下雨”、“氣溫新竹今天早上會(huì)不會(huì)下雨”與“請(qǐng)問新竹晴天早上會(huì)不會(huì)下雨”。
接著，語言理解模塊利用語言及應(yīng)用領(lǐng)域的知識(shí)來分析這些語句列表(S106)，判定語句列表哪一個(gè)語句是使用者的意圖，并將此語句表示成代表使用者意圖的語意框架(S108)。
在傳統(tǒng)的自然語言理解處理中，會(huì)依應(yīng)用領(lǐng)域的特性設(shè)計(jì)分析語句的文法(Grammar)，藉以剖析語句的結(jié)構(gòu)并標(biāo)注必要的消息，再轉(zhuǎn)換為電腦能夠理解的數(shù)據(jù)格式，例如語意框架。然而，在實(shí)際的應(yīng)用中常常遇到不合系統(tǒng)文法的語句，尤其是在口語交談系統(tǒng)的應(yīng)用中，無法預(yù)測(cè)語音識(shí)別錯(cuò)誤，更是令傳統(tǒng)的文法分析無用武之地。
為了能夠分析不合法語句，剖析器(Parser)的強(qiáng)健性(Robustness)漸漸地受到重視。一般的作法是部分剖析(Partial Parsing)不合法語句，再由部分剖析的結(jié)果中選擇特定的結(jié)構(gòu)做后處理。采用這類方法的系統(tǒng)或多或少都會(huì)使用一些經(jīng)驗(yàn)法則(Heuristics)來選擇部分結(jié)構(gòu)及做必要的后處理，這些經(jīng)驗(yàn)法則往往都與應(yīng)用系統(tǒng)本身緊密相關(guān)，難以被其他系統(tǒng)所利用。此外，部分剖析結(jié)構(gòu)僅能提供粗淺的語言信息，在一些需要完整語言分析的應(yīng)用中并不十分合用。因此，對(duì)不合法語句做錯(cuò)誤修正便成為重要的課題。
錯(cuò)誤修正是將部分剖析結(jié)構(gòu)修補(bǔ)成符合文法規(guī)范的結(jié)構(gòu)，藉此能夠根據(jù)錯(cuò)誤的種類及內(nèi)容做更好的后處理。錯(cuò)誤修正的研究早期以規(guī)則導(dǎo)向(Rule-base)為主，近年來有利用統(tǒng)計(jì)模型的方法提出。
以往的研究主要都是在系統(tǒng)文法定義的空間中搜尋最接近的完整剖析(Full Parse)結(jié)構(gòu)，使用這類方法的前提是系統(tǒng)文法必須有很高的精確度，否則因包含許多合法但不合理的剖析結(jié)構(gòu)使搜尋的空間變得非常大，修正后的完整剖析結(jié)構(gòu)也可能是一個(gè)不合理的結(jié)果，即是在實(shí)際的應(yīng)用中不可能出現(xiàn)的結(jié)果。然后，在一般系統(tǒng)文法的設(shè)計(jì)中，為了提高文法的涵蓋率(Coverage)而犧牲精確度，使傳統(tǒng)的錯(cuò)誤修正方法無法充分發(fā)揮。
有鑒于利用傳統(tǒng)文法分析理解語音識(shí)別結(jié)果有上述困難，在口語交談系統(tǒng)的應(yīng)用中，近年來已揚(yáng)棄傳統(tǒng)文法分析中以句子為單位的完整剖析觀念，已經(jīng)采用詞組概念分析的趨勢(shì)。
圖2繪示概念剖析樹群及對(duì)應(yīng)的概念序列。詞組概念分析是利用定義概念結(jié)構(gòu)的概念文法(Concept Grammar)，將不同的詞組代換成不同的概念。例如，詞組“請(qǐng)問”對(duì)應(yīng)于概念“Query”，詞組“新竹”對(duì)應(yīng)于概念“City”，亦對(duì)應(yīng)于概念“Location”以形成概念剖析樹群(Forest of Concept Parses)122。再利用N-gram的統(tǒng)計(jì)方法，為語音識(shí)別的結(jié)果找出最有可能的概念序列(Concept Sequence)120。最后，根據(jù)這些階段性的結(jié)果產(chǎn)生語意框架。
一般而言，上述概念驅(qū)動(dòng)式的語言理解方法中，系統(tǒng)文法僅規(guī)范如何構(gòu)成個(gè)別的概念剖析樹，對(duì)于概念序列的組合并不以文法規(guī)則去限定，而是以N-gram的概率模型來估算各種概念序列的可能性，因此，并無不合法語句(Ill-formed Sentence)或不合法概念序列(Ill-formed Concept Sequence)的問題。此種做法的前提是正確的概念序列是包含在搜尋空間內(nèi)，并且根據(jù)概率模型而被挑選出來。
然而，由于語音識(shí)別技術(shù)的不完美，其所提供的語句集合未包含正確語詞序列的錯(cuò)誤是在所難免，而造成識(shí)別錯(cuò)誤，尤其是識(shí)別即席語音(Spontaneous Speech)時(shí)，識(shí)別錯(cuò)誤的情況更是嚴(yán)重。當(dāng)語音識(shí)別錯(cuò)誤發(fā)生時(shí)，語言理解模塊只能在眾多錯(cuò)誤的概念序列中挑選一個(gè)錯(cuò)誤的概念序列。例如，當(dāng)識(shí)別“請(qǐng)問新竹今天早上會(huì)不會(huì)下雨”時(shí)，因語音識(shí)別模塊錯(cuò)誤而輸出的語句集合僅包含“氣溫新竹今天早上會(huì)不會(huì)下雨”及“請(qǐng)問新竹晴天早上會(huì)不會(huì)下雨”，那么語音識(shí)別模塊只能在“Topic(氣溫)Location(新竹)Date(今天早上)Topic(會(huì)不會(huì)下雨)”及“Query(請(qǐng)問)Location(新竹)Topic(晴天)Date(早上會(huì)不會(huì))Topic(下雨)”兩個(gè)錯(cuò)誤的概念序列中選擇其一。
上述概念驅(qū)動(dòng)式的語言理解方法主要的問題是來自對(duì)概念序列沒有做明確的規(guī)范，因此無法得知語音識(shí)別是否發(fā)生錯(cuò)誤，更遑論修正錯(cuò)誤。
因此本發(fā)明提供一種概率導(dǎo)向的容錯(cuò)式自然語言理解方法，利用語料構(gòu)建正確概念序列的知識(shí)庫，藉由對(duì)比的方式，修復(fù)錯(cuò)誤的概念序列。整個(gè)語言理解的過程是以一個(gè)概率導(dǎo)向的評(píng)分函數(shù)引導(dǎo)。此評(píng)分函數(shù)整合語音知識(shí)、文法知識(shí)與概念序列典范知識(shí)，用以檢測(cè)語音識(shí)別是否發(fā)生錯(cuò)誤，并在錯(cuò)誤發(fā)生時(shí)，找出最佳的修正方法。
本發(fā)明提供一種概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其方法包括首先，利用語音識(shí)別模塊將使用者所說的話語轉(zhuǎn)換成可能的語句集合。其次，利用概念文法將語句集合剖析成為概念剖析樹群集合(Concept Forest Set)，此概念剖析樹群集合包括概念序列。再者，加入概念序列典范，其代表概念文法所認(rèn)知的合法的概念序列。以及，將概念剖析樹群集合所包括的概念序列與概念序列典范做對(duì)比，找出最有可能的概念序列，并將概念序列轉(zhuǎn)換成為代表語者意圖的語意框架。其中在剖析概念文法與對(duì)比概念序列的過程是以一個(gè)概率公式表示。
為讓本發(fā)明的上述目的、特征、和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合附圖，作詳細(xì)說明如下附圖的簡(jiǎn)單說明圖1繪示理解使用者話語的流程圖2繪示概念剖析樹群及對(duì)應(yīng)的概念序列；圖3繪示將概念序列典范“Query Location Date Topic”修改為“TopicLocation Date Topic”的兩種可能的修改動(dòng)作序列；圖4繪示概率導(dǎo)向的容錯(cuò)式語言理解方法的方塊圖；圖5繪示各語詞的語音分?jǐn)?shù)；圖6繪示靜態(tài)文法(Statical Grammar)與動(dòng)態(tài)文法(DynamicalGrammar)；圖7繪示概念剖析樹群的圖例；圖8繪示概念序列典范的非環(huán)式有向圖形；圖9繪示根據(jù)概念剖析樹群集合構(gòu)建的概念圖網(wǎng)；圖10繪示解譯器藉由對(duì)比概念序列典范及概念序列而構(gòu)建的語意框架；為了能夠判定語音識(shí)別是否發(fā)生錯(cuò)誤，本實(shí)施例所設(shè)計(jì)的語言理解方法，除了包含剖析概念的文法外，另加入一個(gè)概念序列典范(ConceptSequence Example)的知識(shí)庫。概念序列典范知識(shí)庫是由剖析文字語料所獲得，每個(gè)典范代表一個(gè)系統(tǒng)所認(rèn)知的合法概念序列。概念序列典范知識(shí)庫可加入人為定義的合法概念序列，以補(bǔ)文字語料(Text Corpus)庫的不足。
如此，在理解使用者話語的過程是以下面的概率公式表示(W^,F^,C^,K^,E^,)=argmax(W,F,C,K,E)P(W,F,C,K,E|U),]]>其中U為使用者話語的語音特征，W為語音識(shí)別模塊輸出語句集合中某一可能的語詞序列，F(xiàn)為系統(tǒng)文法定義中W的某一可能的概念剖析樹群，C為F對(duì)應(yīng)的概念序列，K為某一概念序列典范，E為可將K修改為C的某一修改動(dòng)作序列(Edit Operation Sequence)。
則為代表使用者話語最有可能的語詞序列、概念剖析樹群、概念序列、概念序列典范與修改動(dòng)作序列的組合。
表1
表1是修改動(dòng)作<x，y>的分類，修改動(dòng)作序列由不定個(gè)數(shù)的修改動(dòng)作所構(gòu)成。修改動(dòng)作可以<x，y>表示，并可分為插入(Insert)、刪除(Delete)、取代(Substitute)及接受(Accept)等四大類。例如圖3繪示將概念序列典范“QueryLocation Date Topic”修改為“Topic Location Date Topic”的兩種可能的修改動(dòng)作序列。要將“Query Location Date Topic”修改為“Topic Location DateTopic”，則“<Query，Topic><Location，Location><Date，Date><Topic，Topic>”與“<ε，Topic><Query，ε><Location，Location><Date，Date><Topic，Topic>”是可能的修改動(dòng)作序列中的兩種。其中ε表示空物件。在概率公式中，若是 ，代表 是系統(tǒng)所能認(rèn)知的正確概念序列，可直接構(gòu)建語意框架。若是 ，代表系統(tǒng)判定語音識(shí)別發(fā)生錯(cuò)誤， 為使用者欲表達(dá)的正確概念序列， 則為剖析語音識(shí)別結(jié)果而所能得到與 最為接近的錯(cuò)誤概念序列， 則是將 轉(zhuǎn)換為 的修改動(dòng)作。
在概率公式中的概率項(xiàng)P(W，F(xiàn)，C，K，E|U)進(jìn)一步推導(dǎo)如下P(W，F(xiàn)，C，K，E|U)＝P(F，C，K，E|W，U)P(W|U)≈(F，C，K，E|W)P(W|U)=P(W,F,C,K,E)P(W)P(U|W)P(W)P(U)=P(W,F,C,K,E)P(U|W)P(U)]]>其中假設(shè)P(F，C，K，E|W，U)≈P(F，C，K，E|W)，即在給定語詞序列的狀況下，概念剖析樹群、概念序列、概念序列典范及修改動(dòng)作序列與語音特征的關(guān)聯(lián)性可以忽略。又由于在對(duì)使用者話語選擇最可能的概念序列時(shí)，概率項(xiàng)P(U)的值是固定常數(shù)，可以被忽略。因此，僅需計(jì)算概率項(xiàng)P(U|W)與P(W，F(xiàn)，C，K，E)即可。
所以，將理解使用話語的過程由概率公式改寫成修改型概率公式為(W^,F^,C^,K^,E^)=argmax(W,F,C,K,E)P(W,F,C,K,E)P(U|W)]]>上式概率項(xiàng)P(U|W)代表由語詞序列W得到語音特征U的可能性，此概率項(xiàng)可由語音識(shí)別模塊利用隱馬爾可夫模型(Hidden Mardov Model)或是其他的方法估算。語言理解模塊僅需估算概率項(xiàng)P(W，F(xiàn)，C，K，E)即可。
由于概率項(xiàng)P(W，F(xiàn)，C，K，E)的參數(shù)量過于龐大而無法直接估算，因此做以下的化簡(jiǎn)P(W，F(xiàn)，C，K，E)＝P(W，F(xiàn)|C，K，E)P(C，E|K)P(K)≈P(W，F(xiàn)|C)P(C，E|K)P(K)＝P(F|C)P(E|K)P(K)其中假設(shè)P(W，F(xiàn)|C，K，E)≈P(W，F(xiàn)|C)，即給定某一概念序列C時(shí)，生成此概念序列的概念剖析樹群及語句序列與概念序列典范的關(guān)聯(lián)性可以忽略。
又由于概念剖析樹群的終端節(jié)點(diǎn)(Terminal Node)即為語句序列W，因此，P(W，F(xiàn)|C)＝P(F|C)。同樣地，因修改動(dòng)作序列中包含概念序列C的消息，所以，概率項(xiàng)P(C，E|K)＝P(E|K)。
其中概率項(xiàng)P(F|C)可由剖析器利用SCFG(Stochastic Context-free，隨機(jī)上下文無關(guān))的概率模型，在剖析語音識(shí)別模塊所產(chǎn)生的語句集合時(shí)，以下式估算P(F|C)≈ΠT∈F,A→α∈TP(α|A)]]>其中T為概念剖析樹群中的一個(gè)概念剖析樹，A→α為組成T的某一文法規(guī)則，A為左端符號(hào)，α為右端符號(hào)群。例如Query→請(qǐng)問，<Query>即為A，<請(qǐng)問>即為α。
概率項(xiàng)P(K)可由N-gram的概率模型估算如下P(K=k1m)=Πi=1mP(ki|k1i-1)≈Πi=1mP(ki|ki-N+1i-1)]]>其中m為K的概念個(gè)數(shù)，ki為第i個(gè)該概念，k1m表示k1，...，km。
概率項(xiàng)P(E|K)則化簡(jiǎn)如下P(E=e1n|K=k1m)=Πi=1nP(ei|e1i-1,k1m)]]>≈Πi=1nP(ei|k1m)≈Πi=1nP(ei|eL(ei)-X+1L(ei),kR(ei)-Y+1R(ei))]]>其中n為E的修改動(dòng)作個(gè)數(shù)，ei為第i個(gè)修改動(dòng)作，L(ei)是在概念序列典范K中緊鄰ei左邊的概念的位置， 為緊鄰ei左邊的概念，相同地，R(ei)是在概念序列典范K中緊鄰ei右邊的概念的位置， 表示在概念序列典范K中位于ei左邊的X個(gè)概念，與 表示在概念序列典范K中位于ei右邊的Y個(gè)概念。
在理解使用者話語的過程由修改型概率公式改寫為(W^,F^,C^,K^,E^)=argmax(W,F,C,K,E)log{P(U|W)×ΠT∈F,A→α∈TP(α|A)×Πi=1MP(Ki|Ki-N+1i-1)]]>×Πi=1nP(ei|kL(ei)-X+1L(ei),kR(ei)-Y+1R(ei))}]]>=argmax(W,F,C,K,E){SW+SF+SK+SE}]]>其中Sw＝logP(U|W)稱為語音分?jǐn)?shù)， 稱為文法分?jǐn)?shù)， 稱為概念序列典范分?jǐn)?shù)， 稱為修改動(dòng)作分?jǐn)?shù)。然而，在公式推導(dǎo)的過程，因?yàn)楦鞣N假設(shè)所產(chǎn)生的模型誤差與在實(shí)際應(yīng)用時(shí)的估算誤差會(huì)造成不同種類的概率參數(shù)，而有不同的鑒別力與可靠度。為彌補(bǔ)這個(gè)問題，對(duì)不同種類的概率參數(shù)的分?jǐn)?shù)給予適當(dāng)?shù)臋?quán)重，因此，以評(píng)分函數(shù)做為理解使用者話語的過程中，尋找最有可能的語詞序列、概念剖析樹群、概念序列、概念序列典范與修改動(dòng)作序列的依據(jù)為S(W，F(xiàn)，C，K，E)＝w1×SW+w2×SF+w3×SK+w4×SE其中w1表示語音分?jǐn)?shù)權(quán)重，w2表示文法分?jǐn)?shù)權(quán)重，w3表示概念序列典范分?jǐn)?shù)權(quán)重，w4表示修改動(dòng)作分?jǐn)?shù)權(quán)重，這些權(quán)重的值都是大于零。
上述參數(shù)N、X與Y的值可視訓(xùn)練的數(shù)據(jù)而定。一般而言，以N＝2的設(shè)定值估算概念序列典范的可能性是可行的。但在一般的應(yīng)用中，修改動(dòng)作序列的訓(xùn)練數(shù)據(jù)明顯不易獲得，再加上修改動(dòng)作的概率參數(shù)量眾多，因此，以X＝0，Y＝0的設(shè)定值估算修改動(dòng)作序列仍有困難。
在這種情況下，可以用修改動(dòng)作的類別取代修改動(dòng)作本身，即以下面數(shù)學(xué)式子來估算概率項(xiàng)P(E|K)P(E=e1n|K=k1m)≈Πi=1nP(f(ei))]]>其中f(.)為動(dòng)作根據(jù)表1映射至動(dòng)作類別的函數(shù)。換句話說，當(dāng)修改動(dòng)作序列的訓(xùn)練數(shù)據(jù)不足時(shí)，應(yīng)將概念序列典范分?jǐn)?shù)與該修改動(dòng)作分?jǐn)?shù)定義如下SK=Σi=1mlogp(ki|ki-1)]]>SE=Σi=1nlogP(f(ei))]]>圖4繪示概率導(dǎo)向的容錯(cuò)式語言理解方法的方塊圖。使用者的話語經(jīng)由語音識(shí)別后產(chǎn)生一語句集合140，這個(gè)語句集合140可以用語句列表(Sentence List)或是語詞圖網(wǎng)(Word Graph)的形式表示。在語句集合140內(nèi)的每一語詞w都標(biāo)注著語音識(shí)別模塊根據(jù)隱馬爾可夫模型或是其他方法所估算的分?jǐn)?shù)，稱為此語詞的語音分?jǐn)?shù)并以SW表示。評(píng)分函數(shù)中的語詞序列的語音分?jǐn)?shù)SW就是由語詞序列中所有的語詞的語音分?jǐn)?shù)相加而成，即SW=Σw∈WSw.]]>圖5繪示各語詞的語音分?jǐn)?shù)。假設(shè)使用者的話語“請(qǐng)問新竹今天早上會(huì)不會(huì)下雨”經(jīng)語音識(shí)別后所產(chǎn)生的語句集合，如圖5所示的“<氣溫>(-1)<新竹>(-1)<今天>(-1)<早上>(-1)<會(huì)不會(huì)>(-1)<下雨>(-1)”與“<氣溫>(-1)<心情>(-2)<晴天>(-2)<操場(chǎng)>(-2)<會(huì)不會(huì)>(-1)<下雨>(-1)”的語句集合，每一語詞都標(biāo)注著語音識(shí)別模塊根據(jù)隱馬爾可夫模型或是其他方法所估算的分?jǐn)?shù)。
在圖4中，剖析器142根據(jù)CFG(Context-free Grammar，上下文無關(guān)文法)的形式，以表示概念文法150將語句集合140剖析成為概念剖析樹群集合144。在概念文法150中，每一個(gè)非終結(jié)符號(hào)(Nonterminal Symbol)代表一個(gè)概念，例如Query，Location，Date及Topic。
圖6繪示靜態(tài)文法與動(dòng)態(tài)文法。概念文法分為靜態(tài)文法160(以GS表示)與動(dòng)態(tài)文法162(GD表示)兩部分，靜態(tài)文法160是預(yù)先設(shè)定的，并且不隨輸入的語句集合而改變文法規(guī)則，動(dòng)態(tài)文法162是以輸入的語句集合與靜態(tài)文法160比較所產(chǎn)生的。
動(dòng)態(tài)文法162產(chǎn)生的方式如下GD={w-→w|w∈I,A→w∉GS}]]>其中I表示輸入的語句集合中所有語詞所形成的集合，A為GS中任一個(gè)非終結(jié)符號(hào)，w為動(dòng)態(tài)產(chǎn)生的非終結(jié)符號(hào)(用以代表語辭w的概念)，例如心情與操場(chǎng)，w→w則為動(dòng)態(tài)產(chǎn)生的文法規(guī)則，例如心情→心情。動(dòng)態(tài)文法162中的每一個(gè)規(guī)則w→w的概率P(w|w)設(shè)定為1。動(dòng)態(tài)文法162的設(shè)計(jì)是彌補(bǔ)靜態(tài)文法160的不足，避免有任何語詞無法形成概念。
圖7繪示概念剖析樹群的圖例。剖析器在構(gòu)建概念剖析樹T時(shí)，同時(shí)為概念剖析樹T標(biāo)注下列分?jǐn)?shù)w1×Σw∈TSw+w2×ΣA→α∈TlogP(α|A)=w1×Σw∈TSw+w2×ΣA→α∈TSA→α]]>其中SA→α＝logP(α|A)表示文法規(guī)則A→α的分?jǐn)?shù)。圖7中，括號(hào)內(nèi)的分?jǐn)?shù)是設(shè)定權(quán)重w1＝w2＝1的狀況下各概念剖析樹的分?jǐn)?shù)，并且包含所屬的語音分?jǐn)?shù)及文法規(guī)則分?jǐn)?shù)。
在圖4中，容錯(cuò)解譯器(Error-tolerant Interpreter)146將概念剖析樹群集合144內(nèi)所包含的概念序列與概念序列典范152做對(duì)比，找出最有可能的概念序列，并將此概念序列轉(zhuǎn)換成為代表語者意圖的語意框架148。其中構(gòu)建概念序列典范時(shí)，可以人力剖析文字語料來獲得正確的概念序列典范。此外，概念序列典范知識(shí)庫亦可加入人為定義的合法概念序列，以補(bǔ)文字語料庫的不足。
圖8繪示概念序列典范的非環(huán)式有向圖形。概念序列典范可由剖析文字語料獲得，并以非環(huán)式有向圖形(Directed Acyclic Graph)的型式表示，以利解譯器快速對(duì)比結(jié)果。如圖8繪示，Query→Location→Date→Topic或Query→Date→Location→Topic等四種的概念序列典范。
圖9繪示根據(jù)概念剖析樹群集合構(gòu)建的概念圖網(wǎng)。在做對(duì)比之前，解譯器根據(jù)概念剖析樹群集合構(gòu)建概念圖網(wǎng)(Concept Graph)，如圖9所示，Topic(-1.7)→Location(-1)→day(-1)→time(-1)→Topic(-2.3)、Topic(-1.7)→心情(-2)→Topic(-2.5)→操場(chǎng)(-2)→Topic(-2.3)或Topic(-1.7)→Location(-1)→Date(-2)→Topic(-2.3)的概念圖網(wǎng)形式，其中括號(hào)內(nèi)的分?jǐn)?shù)為各概念來自概念剖析樹的分?jǐn)?shù)。
然后，利用有向網(wǎng)路對(duì)比(Directed Network Comparison)的方法(Kruskal，J.B.，and D.Sankoff，“An anthology of algorithms and concepts for sequencecomparison(序列比較算法和概念文集)”in Time Warps，String Edits，andMacromoleculesThe Theory and Pratice of Sequence Comparsion(序列比較的理論和實(shí)踐)，D.Sankoff and J.B.Kruskal(Eds.)，Addison-Wesley PublishingCompany，1983，pp.265-310.)，以所選定的評(píng)分函數(shù)做為距離量度(DistanceMeasure)的依據(jù)，對(duì)比概念圖網(wǎng)及概念序列典范，找出概念圖網(wǎng)中最有可能的概念序列及相對(duì)應(yīng)的概念序列典范，并據(jù)以構(gòu)建語意框架。
圖10繪示解譯器藉由對(duì)比概念序列典范及概念序列而構(gòu)建的語意框架。例如，假設(shè)當(dāng)圖8的概念序列典范與圖9的概念圖網(wǎng)做對(duì)比后，在圖10產(chǎn)生最有可能概念序列典范及修改動(dòng)作序列分別為“Query Location DateTopic”及“<Query，Topic><Location，Location><Date，Date><Topic，Topic>”，如此解譯器就能判定使用者欲表達(dá)的概念序列應(yīng)為“QueryLocation Date Topic”，并嘗試修正對(duì)應(yīng)于概念圖網(wǎng)中“Topic Location DateTopic”的概念剖析樹群，以構(gòu)建語意框架。
驗(yàn)證概率導(dǎo)向的容錯(cuò)式語言理解方法(以下簡(jiǎn)稱ET模型)在語音識(shí)別發(fā)生錯(cuò)誤時(shí)的效能，與廣為一般系統(tǒng)采用的Concept-bigram模型(以下簡(jiǎn)稱CB模型)做為比較對(duì)象。CB模型是以下面的評(píng)分函數(shù)做挑選概念序列的依據(jù)S(W,F,C)≡w1×log{P(U|W)}+w2×log{ΠA→α∈FP(α|A)}+w3×log{Πi=1nP(ci|ci-1)}]]>其中ci為C的第i個(gè)概念。本實(shí)施例所提的ET模型則以公式S(W，F(xiàn)，C，K，E)＝w1×SW+w2×SF+w3×SK+w4×SE、
及
為評(píng)分函數(shù)，整體考量語音識(shí)別、概念文法及概念序列典范所能提供的信息。
以一個(gè)中文口語氣象查詢系統(tǒng)做為測(cè)試的環(huán)境，將上述二個(gè)不同的語言理解模型嵌入同一個(gè)中文口語氣象查詢系統(tǒng)，以422句氣象查詢語句做測(cè)試。為了能夠明顯看出本實(shí)施例在處理語音識(shí)別錯(cuò)誤語句的效能，以容錯(cuò)模型是否察覺語音識(shí)別錯(cuò)誤發(fā)生為標(biāo)準(zhǔn)，將測(cè)試語句分為合法集合(Well-formed Set)及不合法集合(Ill-formed Set)。合法集合的語句是經(jīng)語音識(shí)別后所產(chǎn)生的語句集合，這些語句集合可以剖析出合法的概念序列，因此，系統(tǒng)判定并無語音識(shí)別錯(cuò)誤發(fā)生。不合法集合是經(jīng)語音識(shí)別后所產(chǎn)生的語句集合，這些語句集合則無法剖析出合法的概念序列，因此，被判定有語音識(shí)別錯(cuò)誤發(fā)生，必須要進(jìn)一步對(duì)比概念序列典范，以修正語音識(shí)別的錯(cuò)誤。
在422句測(cè)試語句中，有288句屬于合法集合(占68％)，134句屬于不合法集合(占32％)。由于ET模型判定合法集合內(nèi)的語句并無語音識(shí)別錯(cuò)誤發(fā)生，因此，無須做錯(cuò)誤修正，所以，對(duì)合法集合而言，ET模型與CB模型的效能是相同的，語意框架的格位精確率(Precision)及召回率(Recall)皆分別為98.8％及96.0％。
表2
然而，對(duì)不合法集合而言，ET模型與CB模型的效能就大不相同，如表2的CB模型及ET模型對(duì)不合法集合的效能及相對(duì)的改進(jìn)幅度所示，ET模型無論格位精確率或是召回率都大幅的改進(jìn)。若以錯(cuò)誤減少率(ErrorReduction Rate)做為效能改進(jìn)的量度依據(jù)，本實(shí)施例所提的ET模型在格位精確度及召回率分別有40.3％與25.4％的改進(jìn)幅度。
因此，本發(fā)明的優(yōu)點(diǎn)是利用語料構(gòu)建正確概念序列的知識(shí)庫，藉由對(duì)比的方式，修復(fù)錯(cuò)誤的概念序列。整個(gè)語言理解的過程是以一個(gè)概率導(dǎo)向的評(píng)分函數(shù)引導(dǎo)。此評(píng)分函數(shù)整合語音知識(shí)、文法知識(shí)與概念序列典范知識(shí)，用以檢測(cè)語音識(shí)別是否發(fā)生錯(cuò)誤，并在錯(cuò)誤發(fā)生時(shí)，找出最佳的修正方法。
綜上所述，雖然本發(fā)明已以較佳實(shí)施例公開如上，然其并非用以限定本發(fā)明，任何本領(lǐng)域的技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種更動(dòng)與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視后附權(quán)利要求書所界定者為準(zhǔn)。
權(quán)利要求
1.一種概率導(dǎo)向的容錯(cuò)式自然語言理解方法，包括利用一語音識(shí)別模塊將使用者所說的話語轉(zhuǎn)換成可能的一語句集合；利用一概念文法將該語句集合剖析成為一概念剖析樹群集合，該概念剖析樹群集合包括一概念序列；加入一概念序列典范，其代表該概念文法所認(rèn)知的合法的該概念序列；以及將該概念剖析樹群集合所包括的該概念序列與該概念序列典范做對(duì)比，找出最有可能的該概念序列，并將該概念序列轉(zhuǎn)換成為代表語者意圖的一語意框架；其中在剖析該概念文法與對(duì)比該概念序列的過程是以一概率公式表示。
2.如權(quán)利要求1所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中將該概念文法分為一靜態(tài)文法與一動(dòng)態(tài)文法，其中該靜態(tài)文法是預(yù)先設(shè)定的且不隨輸入的該語句集合而改變的文法規(guī)則，該動(dòng)態(tài)文法是以輸入的該語句集合與該靜態(tài)文法比較而產(chǎn)生的。
3.如權(quán)利要求1所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中使用一語句列表與一語詞圖網(wǎng)中二者擇其一的形式以表示該語句集合。
4.如權(quán)利要求1所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中利用該概念序列典范所構(gòu)建的一概念序列典范知識(shí)庫可以人力確認(rèn)剖析結(jié)果的正確性，亦可加入人為定義的合法的該概念序列，以補(bǔ)充一文字語料庫的不足。
5.如權(quán)利要求1所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中該概率公式為 ，其中U表示使用者話語的一語音特征，W表示該語音識(shí)別模塊輸出的該語句集合中可能的一語詞序列，F(xiàn)表示該系統(tǒng)文法定義中該語詞序列的可能的一概念剖析樹群，C表示對(duì)應(yīng)于該概念剖析樹群的該概念序列，K表示該概念序列典范，E表示將該概念序列典范修改為該概念序列的修改動(dòng)作序列， 表示使用者話語最有可能的該語詞序列、該概念剖析樹群、該概念序列、該概念序列典范與該修改動(dòng)作序列的組合。
6.如權(quán)利要求5所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中該概率公式中的一第一概率項(xiàng)P(W，F(xiàn)，C，K，E|U)進(jìn)一步推導(dǎo)為P(W，F(xiàn)，C，K，E|U)＝P(F，C，K，E|W，U)P(W|U)≈P(F，C，K，E|W)P(W|U)=P(W,F,C,K,E)P(W)P(U|W)P(W)P(U)=P(W,F,C,K,E)P(U|W)P(U)]]>其中假設(shè)P(F，C，K，E|W，U)≈P(F，C，K，E|W)，即給定該語詞序列的狀況下，該概念剖析樹群、該概念序列、該概念序列典范及該修改動(dòng)作序列與該語音特征的關(guān)聯(lián)性可以忽略。
7.如權(quán)利要求6所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中藉由該語音識(shí)別模塊利用一隱馬爾可夫模型估算該第一概率項(xiàng)P(W，F(xiàn)，C，K，E|U)中的一第二概率項(xiàng)P(U|W)。
8.如權(quán)利要求6所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中該第一概率項(xiàng)P(W，F(xiàn)，C，K，E|U)中的一第三概率項(xiàng)P(W，F(xiàn)，C，K，E)的參數(shù)量過于龐大而無法直接估算，因此做以下的化簡(jiǎn)P(W，F(xiàn)，C，K，E)＝P(W，F(xiàn)|C，K，E)P(C，E|K)P(K)≈P(W，F(xiàn)|C)P(C，E|K)P(K)＝P(F|C)P(E|K)P(K)其中一第四概率項(xiàng)P(W，F(xiàn)|C，K，E)與一第五概率項(xiàng)P(W，F(xiàn)|C)假設(shè)為P(W，F(xiàn)|C，K，E)≈P(W，F(xiàn)|C)，即給定該概念序列時(shí)，生成該概念序列的該概念剖析樹群及該語句序列與該概念序列典范的關(guān)聯(lián)性可以忽略。
9.如權(quán)利要求8所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中在該第五概率項(xiàng)P(W，F(xiàn)|C)與一第六概率項(xiàng)P(F|C)由于該概念剖析樹群的一終端節(jié)點(diǎn)為該語句序列，因此P(W，F(xiàn)|C)＝P(F|C)。
10.如權(quán)利要求9所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中利用一SCFG概率模型在剖析該語音識(shí)別模塊所產(chǎn)生的該語句集合時(shí)，該第六概率項(xiàng)P(F|C)以下式估算P(F|C)≈ΠT∈F,A→α∈TP(α|A)]]>其中T表示該概念剖析樹群中的一概念剖析樹，A→α為組成該概念剖析樹的一文法規(guī)則，A表示一左端符號(hào)，α表示一右端符號(hào)群。
11.如權(quán)利要求8所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中在該第三概率項(xiàng)P(W，F(xiàn)，C，K，E)中的一第七概率項(xiàng)P(C，E|K)與一第八概率項(xiàng)P(E|K)，因該修改動(dòng)作序列中包含該概念序列的消息，所以P(C，E|K)＝P(E|K)。
12.如權(quán)利要求11所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中利用一N-gram概率模型化簡(jiǎn)該第八概率項(xiàng)P(E|K)如下P(E=e1|K=k1)=Πi=1NP(e1|e1i-1,k1m)]]>≈Πi=1nP(ei|k1m)≈Πi=1nP(ei|eL(ei)-X+1L(ei),kR(ei)-Y+1R(ei))]]>其中n表示該修改動(dòng)作序列的一修改動(dòng)作個(gè)數(shù)，ei表示第i個(gè)修改動(dòng)作，L(ei)表示在該概念序列典范中緊鄰ei左邊的一概念的位置， 為緊鄰ei左邊的該概念，相同地，R(ei)表示在該概念序列典范中緊鄰ei右邊的該概念的位置， 表示在該概念序列典范中位于ei左邊的X個(gè)該概念，與 表示在該概念序列典范中位于ei右邊的Y個(gè)該概念。
13.如權(quán)利要求8所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中利用該N-gram概率模型估算該第一概率項(xiàng)P(W，F(xiàn)，C，K，E|U)中的一第九概率項(xiàng)P(K)如下P(K=k1m)=Πi=1mP(ki|k1i-1)≈Πi=1mP(ki|ki-N+1i-1)]]>其中m表示該概念序列典范的一概念個(gè)數(shù)，ki為第i個(gè)該概念，k1m表示k1，...，km。
14.如權(quán)利要求5所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中該概率導(dǎo)向的容錯(cuò)式自然語言理解方法在理解使用者話語的過程可以概率導(dǎo)向的一評(píng)分函數(shù)來替代該概率公式，該評(píng)分函數(shù)為 ，其中SW表示一語音分?jǐn)?shù)，SF表示一文法分?jǐn)?shù)，SK表示一概念序列典范分?jǐn)?shù)，SE表示一修改動(dòng)作分?jǐn)?shù)，因?yàn)楦鞣N假設(shè)所產(chǎn)生的一模型誤差與在應(yīng)用時(shí)的一估算誤差會(huì)造成不同種類的一概率參數(shù)，而有不同的一鑒別力與一可靠度，為彌補(bǔ)這個(gè)問題，對(duì)不同種類的該概率參數(shù)的該分?jǐn)?shù)給予適當(dāng)?shù)囊粰?quán)重，該權(quán)重的值是大于零，因此以該評(píng)分函數(shù)做為理解使用者話語的過程中，尋找最有可能的該語詞序列、該概念剖析樹群、該概念序列、該概念序列典范與該修改動(dòng)作序列的依據(jù)為S(W，F(xiàn)，C，K，E)＝w1×SW+w2×SF+w3×SK+w4×SE，其中w1表示一語音分?jǐn)?shù)權(quán)重，w2表示一文法分?jǐn)?shù)權(quán)重，w3表示一概念序列典范分?jǐn)?shù)權(quán)重，w4表示一修改動(dòng)作分?jǐn)?shù)權(quán)重。
15.如權(quán)利要求14所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中估算該評(píng)分函數(shù)中各分?jǐn)?shù)為該語音分?jǐn)?shù)SW＝logP(U|W)，該文法分?jǐn)?shù) ，該概念序列典范分?jǐn)?shù) ，該修改動(dòng)作分?jǐn)?shù)
16.如權(quán)利要求15所述的概率導(dǎo)向的容錯(cuò)式自然語言理解方法，其中當(dāng)該修改動(dòng)作序列的訓(xùn)練數(shù)據(jù)不足時(shí)，將該概念序列典范分?jǐn)?shù)定義為 ，與該修改動(dòng)作分?jǐn)?shù)定義為 ，其中f(.)表示一動(dòng)作類別函數(shù)。
全文摘要
一種概率導(dǎo)向的容錯(cuò)式自然語言理解方法,將語言理解過程分為概念剖析及概念序列典范對(duì)比。前者利用以概念文法驅(qū)動(dòng)的剖析器,將語音識(shí)別的結(jié)果剖析構(gòu)建為概念剖析樹群集合;后者以容錯(cuò)的解譯器將概念剖析樹群集合所含的概念序列與系統(tǒng)的概念序列典范做對(duì)比,找出最有可能的概念序列并轉(zhuǎn)換成代表語者意圖的語意框架。整個(gè)過程以概率導(dǎo)向的評(píng)分函數(shù)導(dǎo)引。當(dāng)語音識(shí)別錯(cuò)誤致使無法產(chǎn)生正確的概念序列時(shí),藉此評(píng)分函數(shù)判斷錯(cuò)誤所在并嘗試修復(fù)。
文檔編號(hào)G10L15/00GK1338721SQ0012268
公開日2002年3月6日 申請(qǐng)日期2000年8月16日 優(yōu)先權(quán)日2000年8月16日
發(fā)明者林一中 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院