專利名稱：模式分類中基于排序的丟棄的制作方法
技術領域：
本發(fā)明涉及模式分類，例如受訓練系統(tǒng)中的語音識別。
更特別地，本發(fā)明涉及用于對不在分類中的輸入進行丟棄的裝置與方法。
使用一個語音識別系統(tǒng)作為一個典型的示例，假設在一個特定的示例中，這個系統(tǒng)在尋找一個“是”或者一個“否”的答案。在很多不同的情形下，這個用戶可能會發(fā)出某些在詞匯表中不存在的聲音，例如”oh”，“ah”，“er”，或者這個用戶可能會進行咳嗽或者清嗓子。典型地，這個語音識別系統(tǒng)僅看這個發(fā)音的成分，將它們與它正在尋找的單詞，即是和否，的成分進行比較，并且使用一個閾值來判斷這個發(fā)音是否足夠地靠近需要被正確識別的單詞中的一個。這里，問題是兩個方面的。在很多情形下，這個發(fā)音可能是如此的靠近(例如，”oh”和”no”)，它就被進行錯誤地分類。更為嚴重的問題是，在一個噪聲系統(tǒng)中或者在一個噪聲條件下，一個發(fā)音的很多部分可能被屏蔽或者丟失。這樣，雖然該閾值是保持不變的，但是這個屏蔽(例如，噪聲，所接收單詞或者信號的靠近性，或者信號等等)會在不同的工作條件下而出現(xiàn)很大的變化。
因為缺少足夠地對不在該類別中的輸入進行丟棄，所以，從客戶的可接受程度來說，目前的語音識別應用有很大的局限性。但是，對模式識別來說，判斷規(guī)則中的丟棄選項不是一個新的領域。在30多年以前，在C.K.Chow寫的一篇題為“On optimum recognition error and rejecttradeoff”，IEEE Trans.Inf.Theory”，IT-16，no.1，pp.41-46，1970年1月的論文中就引入了關于模式識別的最佳丟棄規(guī)則(Bayes丟棄規(guī)則)。然而，這個工作和其擴展與延伸工作，均假設我們已經(jīng)非常確切地知道了類別統(tǒng)計特性。
在語音識別的情形下，對這個模式識別系統(tǒng)來說，僅可以獲得一個類別統(tǒng)計特性的估計值。進一步，當這個輸入語音被噪聲破壞時，就產(chǎn)生了錯誤匹配的統(tǒng)計，初始的可能性分布估計值就不再是對實際分布的一個好的近似。這樣，在寂靜的條件下的最佳Bayes丟棄規(guī)則就不再有效。
近年來，關于改進非詞匯單詞的丟棄規(guī)則的工作集中在在類別內(nèi)的模型分數(shù)，和垃圾，或者填充料模型與不在類別特征空間中的模型之間的可能性比例上。例如見C.S.Ramalingam等等，“Speaker-dependentname dialing in a car environment with out-of-vocabulary rejection”，Proc.ICASSP，PP.165-168，1999；A.Bayya，“Rejection in speechrecognition system with limited training”，Proc.ICSLP，1998；H.Boulard，B.D’hoore and J.M.Boite，“Optimizing recognition and rejectionperformance in wordspotting system”，Proc.ICASSP，PP.I-373-I.376，1994；和R.C.Rose and D.B.Paul，“A hidden Markov model basedkeyword recognition system”，Proc.ICASSP，PP.129-132，1990。但是，一個基于分數(shù)的閾值仍然被使用，以根據(jù)某些成本函數(shù)而提供對識別和丟棄錯誤比例進行折衷的一個機制。使用這個閾值就會在閾值錯誤匹配的條件下導致很明顯的性能下降。這是因為輸入特征的統(tǒng)計特性發(fā)生了改變，導致分數(shù)范圍進行了壓縮。
所以，特別希望提供能夠克服這些問題的一個模式識別裝置和一個方法。進一步，特別希望能夠提供克服這些問題的裝置和方法，而不會大大增加所需要的計算量或者所使用的存儲器的數(shù)量。
現(xiàn)在轉(zhuǎn)到

圖1，一個通用流圖被顯示了，它顯示了根據(jù)本發(fā)明，用于在模式分類中丟棄不在類別中的輸入的一個方法。一般來說，這個方法從一個步驟10或者模塊10開始，其中需要被分類的一個模式被提供或者說被輸入到這個系統(tǒng)中。一個模式列表被提供在模塊11中，該模式列表包括可以在該系統(tǒng)中被使用的所有模式。這個列表包括在上下文中的模式，在正在被執(zhí)行的特定操作中被使用的模式，和脫離上下文的模式，可能在其它操作中被使用的、但是在正在被執(zhí)行的操作中是脫離上下文的任何模式。
在模塊12中，通過任何模式識別的方法，比較等等，確定需要被分類的這個模式與該模式列表中每一個模式的一個相似性或者多個相似性。在模塊14中，這個相似性或者這些相似性被給予分數(shù)，然后以某個降序的順序進行排序，一般來說，最完全的相關被排序為1，而下一個最接近的被排序為2，等等。(當然，應理解，在某些特定的應用中，該順序也可以反過來)。這里，應注意，在沒有外部干擾的一個模式識別系統(tǒng)中，最佳的相關可能是最準確的，但是在該系統(tǒng)中存在某些模式影響時(例如，這取決于分類器的類型，干擾，噪聲，光等等)，最高的相關可能比較低。在任何一個情形下，對這個相似性或者多個相似性進行給分并且以某個順序來進行排序。
在模塊16中，提供多個在上下文中的模式，或者在某些情形下，提供單個在上下文中的模式，并且在模塊18中被用于確定最高排序的在上下文中的模式。在模塊20中，如果最高排序的在上下文中的模式具有一個排序值1，即，它是與需要被分類的模式是最佳相關的，在模塊22中，需要被分類的模式就被選擇，并且這個過程就停止。如果最高排序的在上下文中的模式具有一個比1大的排序值(例如，2，3等等)，在模塊24中，它就被與在模塊25中所提供的一個被選擇排序容忍范圍進行比較。如果最高排序的在上下文中的模式比該排序容忍范圍小，然后在模塊26中選擇它，或者如果它比該排序容忍范圍大，在模塊27中它就被丟棄。
作為上面所描述的、用于在模式識別中丟棄不在類別中的輸入的方法的一個具體示例，假設該方法被用于一個語音識別系統(tǒng)，例如在美國專利號No.5,946,653，題為”Speaker Independent Speech RecognitionSystem and method”中所描述的，該專利是在1999年8月31日被提供的，并且在這里被用作參考。如這個專利中所解釋的，一個用語音進行控制的系統(tǒng)能夠識別出語音命令。典型地，語音命令是在一個命令數(shù)據(jù)庫中所表示的一組命令中的一個。作為一個具體的示例，該用語音進行控制的系統(tǒng)可以是具有一個菜單類型用戶接口的一個軟件應用程序。從一個菜單中被選擇的一第一語音命令被識別出來，并且下一個菜單被顯示，從一個菜單中的一第二語音命令被識別出來并且顯示下一個菜單，等等。因為這個說話者可以通過說出命令來控制這個系統(tǒng)，所以改進了操作的方便性，并且獲得了用戶友好性。
在本發(fā)明的用于在模式分類中(例如在語音識別中)丟棄不在類別中的輸入的方法中，這個系統(tǒng)中的所有命令被包括到一單個類別列表中。一個類別包括一單個菜單所使用的所有命令或者詞匯表項目，例如一第一類別包括“是”和“否”，一第二類別包括”alpha”，“beta”，和”gamma”等等。這個列表也包括含假聲音，例如，oh，uh，嘴唇擊打的聲音，呼吸噪聲，咳嗽，等等的類別。一般來說，在這個類別列表中的所有項目是不在類別中的或者脫離上下文的，除了正在使用的、在詞匯表中或者在上下文中的項目外，在這個示例中，是“是”和“否”。實際上，所使用的這個類別列表將是非常大，以致可以檢測到更多的不在類別中的情形。在這個簡化示例中，假設該類別列表包括咳嗽是否alphabetagammayet一個分類器30的一個基本結構被顯示在圖2中。這個類別列表被作為短語和垃圾(例如，虛假的聲音，等等)模型保存在一個存儲器32中。通過特征提取(見上面引用的專利)所產(chǎn)生的、用于描述需要被進行分類的一個聲音的特征矢量x1…XM被提供到一個判別函數(shù)模塊34。一個判別函數(shù)被應用到每一個特征矢量xk，并且使用了一個短語模型wj產(chǎn)生了一個標量輸出，f(xk，wj)。模塊36然后計算每一個短語和垃圾模型的一個最后分數(shù)sj=1MΣk=1Mf(xk,wj)]]>對閉合集合識別來說，獲得最高分數(shù)的這個模型被從模塊36中輸出，以作為被識別的類。對開集合識別來說，進一步評價這個短語和垃圾模型分數(shù)，如下面所描述的。
分類器30使用一個多項式判別函數(shù)f(x，w)＝w＇p(x)這個判別函數(shù)由兩個部分組成。第一部分，w，是這個類別模型。第二部分，p(x)，是從輸入特征矢量x而構造出來的一個多項式基矢量。這個基矢量是直到輸入特征的階數(shù)K的單項式項，并且是對多個說話特征矢量進行平均而產(chǎn)生一個平均命令結構(見上面引用的專利來獲得其更多的細節(jié))的結果。例如，對一個2維特征矢量，x＝(x1x2)t，并且K＝2p(x)＝{1x1x2x12x1x2x22}t這樣，這個判別函數(shù)的輸出是該多項式基元素的線性組合。因為w與幀索引無關，所以這個判別函數(shù)的評價就被簡化，如下面的sj=wjt1MΣk=1Mp(xk)=wjtP‾]]>這樣，對一單個模型進行給分就等于計算一個內(nèi)積。例如，給出25個特征和一第二階(K＝2)多項式表達式，w的長度是351，這對每一個進行給分的模型僅有701個浮點運算(FLOPs)。所以，圖1中步驟12的復雜性就大大地降低了。
在上面所描述的方法中的丟棄規(guī)則是基于多個垃圾模型的使用的，并且使用了一個排序容忍范圍(圖1中的模塊25)，而不是一個基于分數(shù)的閾值，這解決了抗噪聲性能。另外，排序容忍范圍提供了根據(jù)被分配的容忍范圍，在識別和丟棄錯誤比例之間進行一個折衷調(diào)節(jié)的能力。一般來說，該容忍范圍最多是總類別列表的10％(例如，在一個100的列表中，排序容忍范圍將被設置成不超過10，并且典型地比10少)。
一旦已經(jīng)如上面所描述的或者使用任何其它的選擇方法產(chǎn)生了分數(shù)，并且對分數(shù)進行了排序，就確定了分數(shù)最高的、在類別中的模型(在上面的簡化示例中，是“是”或者“否”)。然后，最高分數(shù)的、在類別中的模型組被從排序分數(shù)列表中去除。為了討論的目的，組是這樣一些模式(例如，單詞或者短語)，它們在至少某些特征上是足夠地相似以致能夠產(chǎn)生選擇錯誤。沒有關于選擇組的已知通用規(guī)則，并且已經(jīng)發(fā)現(xiàn)，通常是通過系統(tǒng)試驗和使用脫離上下文丟棄系統(tǒng)來選擇它們的。在這些組被從排序分數(shù)中去除后，最高分數(shù)的、在類別中的模型的排序被與這個排序容忍范圍進行比較。如果它比這個排序容忍范圍小，就選擇這個最高分數(shù)的、在類別中的模型，如果它比這個排序容忍范圍大，就丟棄它。
通過用數(shù)目很多的不在類別中的(即垃圾)模型來填充這個類別列表，就有一個趨勢來使分布更加集中在在類別中模型周圍，并且在在類別中的區(qū)域之間識別出不在類別中的區(qū)域。重要的是，在在類別中的模型和垃圾模型之間有足夠的距離以減少誤丟棄的錯誤。為了達到這個距離，在類別中的模型組被發(fā)現(xiàn)并且被從判別空間中去除。典型地，通過一個訓練數(shù)據(jù)庫來設置這些組和排序容忍范圍。根據(jù)使用這個數(shù)據(jù)庫的樣品試驗來執(zhí)行排序容忍范圍和組的選擇。應注意，通過調(diào)節(jié)組的數(shù)目和排序容忍范圍，可以在誤丟棄(偶然地丟棄一個真正的詞匯或者在類別中的項目)和誤接受(接受一個不在詞匯表中的或者垃圾項目)之間進行折衷。
現(xiàn)在轉(zhuǎn)到圖3，圖3是一個簡化的框圖，顯示了根據(jù)本發(fā)明的、用于在模式分類中丟棄不在類別中的輸入的一個裝置40。裝置40包括一個特征提取器42，該特征提取器42具有用于接收原始輸入數(shù)據(jù)(即，需要被分類的一個模式)的一個輸入。對語音識別來說，特征提取器42的工作在上面引用的專利中被進行了詳細的描述，并且這個描述在這里被用作參考。特征提取器42可以包括將輸入信息(例如，語音，聲音，點等等形成需要被識別的一個模式的)轉(zhuǎn)換為被剩余裝置所進行操作的信號的任何裝置。來自特征提取器42的特征矢量或者其它信號被提供到一個分類器44，該分類器44與圖1的分類器30類似。一個模型存儲器46被連接到分類器44，并且包括在分類器44中所使用的短語和連接模型以產(chǎn)生排序分數(shù)。
然后，這個排序分數(shù)被提供到排序裝置48，該排序裝置48對這些分數(shù)進行排序并且將排序的分數(shù)提供到判斷裝置50。裝置50從在上下文中的存儲器52中接收一個在上下文中的列表，并且判斷最高排序的、在上下文中的分數(shù)。一個排序容忍范圍也被從裝置54提供到判斷裝置50。裝置50將這個最高排序的、在上下文中的分數(shù)與這個排序容忍范圍進行比較，并且根據(jù)最高排序的、在上下文中的分數(shù)比這個排序容忍范圍高或者低來選擇這個原始輸入或者丟棄它。這里，應注意，在某些特定的應用中，這個排序容忍范圍可以被直接包括在排序裝置48中，以使僅比排序容忍范圍低的分數(shù)被提供給判斷裝置50。
現(xiàn)在轉(zhuǎn)到圖4，顯示了用于進行語音識別的、特定的丟棄非類別的裝置60的一個簡化框圖。在這個特定的實施方式中，裝置60包括一個語音采樣器62，該語音采樣器62帶關于語音或者需要被進行分類的一個發(fā)音的一個輸入，該裝置可以是眾所周知的裝置中的任何一個，例如一個麥克風，電話，或者任何其它的、用于將語音轉(zhuǎn)換為電脈沖的設備。然后，語音采樣器62以某個方便的速率來采樣這個輸入語音，以完全地將這個模擬信號轉(zhuǎn)換為數(shù)字信號。語音采樣器62的輸出信號被提供到一個特征提取器64，該特征提取器64將需要被分類的這個語音或者發(fā)音轉(zhuǎn)換為特征矢量，如上面所描述的或者如上面所引用專利中所描述的。然后，在平均裝置66中對這些特征矢量進行平均，以產(chǎn)生關于這個需要被進行分類的發(fā)音的一個平均命令結構，如上面所引用專利中所描述的。這個平均命令結構通過任何方便的通信鏈路68被傳送到內(nèi)積評分裝置70。這里，應注意，鏈路68可以是互聯(lián)網(wǎng)，一個電話，一個直接連接，或者任何其它的、將輸出信號從裝置66攜帶到裝置70的裝置(這對模塊62和64中的每一個也成立)。
如上面所描述的，內(nèi)積評分裝置70轉(zhuǎn)換這些特征矢量和各種模型(被保存在存儲器72中的在上下文中的和垃圾模型)以使用一個最小的計算量來進行評分。這里，應注意，裝置66和裝置70中任何一個或者兩個(與剩余的大部分裝置一起)可以被方便地用一個DSP，一個定制的芯片，或者任何市場上可以買到的很多計算機芯片中的一個來實現(xiàn)。裝置70輸出的分數(shù)被提供到排序裝置74，該排序裝置74以一個降序的順序來對這些分數(shù)進行排序，一般來說，最高排序的分數(shù)是第一個出現(xiàn)這個列表中。來自一個存儲器76的一個組列表也被提供到排序裝置74中。在裝置74對分數(shù)進行排序期間，需要被分類的發(fā)音的組被從這個分數(shù)列表中去除。然后，這個分數(shù)列表被提供到判斷裝置80，該判斷裝置80也從存儲器82接收一個排序容忍范圍輸入(或者設置)和一個在上下文中的列表。如上面所解釋的，最高排序的分數(shù)被與這個排序容忍范圍進行比較，并且需要被分類的發(fā)音被接受或者丟棄。
在上面所描述的、用于丟棄不在類別中的輸入的裝置和方法的一個稍有不同的使用或者應用中，可以提供一個證實系統(tǒng)。在這個證實系統(tǒng)中，使用一個密碼(例如，一個說出來的短語，數(shù)字的說話組合，等等)。這個類別列表包括多個已知的(在類別中的)或者可接受人和多個未知的人(假冒者)所說的密碼。在工作中或者共同使用中，已知人中的一個用說話的方式將這個密碼輸入到該證實系統(tǒng)。使用圖3的裝置40，特征提取器42將這個語音轉(zhuǎn)換為特征矢量，這些特征矢量被提供到分類器44。關于這個已知(在類別中的)人和這個未知人所說出來的密碼的特征矢量被保存在存儲器46中。分類器44將這個被說出來的密碼的特征矢量和被保存的特征矢量轉(zhuǎn)換為分數(shù)，這些分數(shù)在裝置48中被進行排序。然后，判斷裝置50使用一個排序容忍范圍和在上下文中的存儲器來判斷是否接受或者丟棄這個個人，如上面所描述的。
這樣，已經(jīng)公開了新的和改進的在模式分類中丟棄不在類別中的輸入的裝置和一個方法。這個新的和改進的裝置和方法是基于多個脫離上下文或者垃圾和一個新的排序方法的使用來獲得比包括閾值的、利用現(xiàn)有技術的裝置和方法優(yōu)越得多的穩(wěn)定性能的。這個新的和改進的裝置與方法是能夠抗噪聲的，并且其實施也緊湊和容易。
雖然我們已經(jīng)顯示和描述了本發(fā)明的特定實施方式，但是，該領域內(nèi)的技術人員能夠進行進一步的修改和改進。所以，我們希望，應理解，本發(fā)明不局限于所顯示的特定形式，我們認為后附的權利要求書覆蓋了沒有偏離本發(fā)明的精神和范圍的所有修改。
權利要求
1.模式分類中用于丟棄不在類別中的輸入的一個方法，這個方法包括步驟提供一個模式列表，包括至少一個在上下文中的模式；提供一個排序容忍范圍；獲得需要被分類的一個模式；對這個模式列表中的每一個模式產(chǎn)生一個分類器分數(shù)；以降序的順序來對這個分類器分數(shù)進行排序；確定一個在上下文中的模式的最高排序分數(shù)；和當這個在上下文中的模式的最高排序分數(shù)是1時選擇這個在上下文中的模式，當這個在上下文中的模式的最高排序分數(shù)不是1時，將這個最高排序分數(shù)與排序容忍范圍進行比較，當這個在上下文中的模式的最高排序分數(shù)比這個排序容忍范圍小時，就選擇這個在上下文中的模式，當這個在上下文中的模式的最高排序分數(shù)比這個排序容忍范圍大時，就丟棄這個在上下文中的模式。
2.如權利要求1的在模式分類中用于丟棄不在類別中的輸入的一個方法，其中提供排序容忍范圍的步驟包括提供最多是模式列表的10％的一個排序容忍范圍。
3.如權利要求1的在模式分類中用于丟棄不在類別中的輸入的一個方法，另外包括在將最高排序分數(shù)與排序容忍范圍進行比較以前，從這個模式列表中丟棄具有最高排序分數(shù)的、在上下文中的模式的所有組。
4.如權利要求3的在模式分類中用于丟棄不在類別中的輸入的一個方法，進一步包括步驟，調(diào)節(jié)組的數(shù)目和這個排序容忍范圍，以在誤丟棄和誤接受之間進行折衷。
5.如權利要求1的在模式分類中用于丟棄不在類別中的輸入的一個方法，其中為每一個模式產(chǎn)生分類器分數(shù)的步驟包括產(chǎn)生需要被分類的這個模式的多個特征矢量，并且對這多個特征矢量進行平均以產(chǎn)生一個平均命令結構。
6.如權利要求5的在模式分類中用于丟棄不在類別中的輸入的一個方法，其中為每一個模式產(chǎn)生分類器分數(shù)的步驟包括將模式列表的每一個模式作為一個模型矢量而保存。
7.如權利要求6的在模式分類中用于丟棄不在類別中的輸入的一個方法，其中為每一個模式產(chǎn)生分類器分數(shù)的步驟包括使用包括這個平均命令結構和每一個模型的一個多項式判別函數(shù)來產(chǎn)生一個內(nèi)積。
8.模式分類中用于丟棄不在類別中的輸入的一個方法，這個方法包括步驟提供一個類別列表，包括多個在詞匯表中的項目；提供一個排序容忍范圍；獲得一個語音發(fā)音；對這個語音發(fā)音執(zhí)行特征提取；從這個特征提取中，為這個類別列表中的每一個項目產(chǎn)生一個分類器分數(shù)；以降序的順序來對這個分類器分數(shù)進行排序；確定具有最高排序分數(shù)的、在詞匯表中的項目；和當這個在詞匯表中的項目的最高排序分數(shù)是1時選擇這個在詞匯表中的項目，當這個在詞匯表中的項目的最高排序分數(shù)不是1時，將這個最高排序分數(shù)與排序容忍范圍進行比較，當這個在詞匯表中的項目的最高排序分數(shù)比這個排序容忍范圍小時，就選擇這個在詞匯表中的項目，當這個在詞匯表中的項目的最高排序分數(shù)比這個排序容忍范圍大時，就丟棄這個在詞匯表中的項目。
9.模式分類系統(tǒng)中用于丟棄不在類別中的輸入的一個裝置，這個裝置包括一個特征提取器，被連接成接收需要被分類的一個輸入模式，并且被連接成輸出輸入模式的特征；一個模型存儲器，其中保存了多個模型；一個分類器，被連接到這個特征提取器和這個模型存儲器，分類器被設計成從這個特征提取器接收輸入模式的特征，并且從這個模型存儲器接收多個模型中的每一個，并且這個分類器提供關于每一個模型的一個分類器分數(shù)；排序電路，被連接到這個分類器，排序電路對每一個模型的分類器分數(shù)進行排序；和判斷電路，被連接成從這個排序電路接收分類器分數(shù)的排序，這個判斷電路包括一個可調(diào)節(jié)的排序容忍范圍和在上下文中的存儲器，這個判斷電路被設計成從這個排序中選擇最高的在上下文中的分數(shù)，將這個最高的、在上下文中的分數(shù)與這個排序容忍范圍進行比較，并且決定接受或者丟棄這個最高的、在上下文中的分數(shù)。
全文摘要
模式分類中用于丟棄不在類別中的輸入的方法和裝置,模式分類包括一個模式列表(11),并且具有至少一個在上下文中的模式(16)和一個排序容忍范圍(25)。一個輸入模式(10)被用于對這個模式列表中的每一個模式產(chǎn)生一個分類器分數(shù)(12),并且以降序的順序來對這個分類器分數(shù)進行排序(14)。確定一個在上下文中的模式(16)的最高排序分數(shù)(18),并且如果這個最高排序分數(shù)是1(20)時,就選擇這個在上下文中的模式。如果這個最高排序分數(shù)不是1時,將這個最高排序分數(shù)與排序容忍范圍進行比較(24)。當這個最高排序分數(shù)比這個排序容忍范圍小時,就選擇(26)這個在上下文中的模式,當這個最高排序分數(shù)比這個排序容忍范圍大時,就丟棄(27)這個在上下文中的模式。在進行比較以前,最高排序的模式組被從這個列表中去除。
文檔編號G10L15/20GK1381038SQ01801557
公開日2002年11月20日 申請日期2001年4月26日 優(yōu)先權日2000年5月31日
發(fā)明者威廉·M·坎貝爾, 查爾斯·C·布朗 申請人:摩托羅拉公司