專利名稱：采用用戶接口的智能語音識(shí)別的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音至文本的自動(dòng)變換領(lǐng)域，尤其涉及對(duì)已經(jīng)從語音自動(dòng)轉(zhuǎn)換成為文本進(jìn)行的自動(dòng)文本修改。自動(dòng)文本修改按照修改規(guī)則檢測(cè)文本部分、生成智能修改建議，并與具有最終文本修改決定權(quán)的用戶進(jìn)行交互。
將語音轉(zhuǎn)換成書寫文本的語音識(shí)別系統(tǒng)在本領(lǐng)域中是眾所周知的。商用語音識(shí)別系統(tǒng)目前已被醫(yī)學(xué)界(例如用在醫(yī)院中)和法律界廣泛采用。將口授語言轉(zhuǎn)換成書寫文本的語音識(shí)別由于不再需要由打字員進(jìn)行口授的轉(zhuǎn)錄而節(jié)省了時(shí)間、降低了成本。
通常情況下，口授不僅含有待轉(zhuǎn)換的文本，而且還包含要由語音識(shí)別系統(tǒng)解譯的命令。標(biāo)點(diǎn)符號(hào)命令不應(yīng)當(dāng)按照字面轉(zhuǎn)換，例如“冒號(hào)”、“句號(hào)”。標(biāo)點(diǎn)符號(hào)命令或格式化的、加亮命令也應(yīng)當(dāng)由智能轉(zhuǎn)換系統(tǒng)進(jìn)行識(shí)別和解譯。所識(shí)別的文本與所解譯的命令最終產(chǎn)生必須由人類校對(duì)者或編輯人員進(jìn)行校對(duì)的文件。
商用語音識(shí)別系統(tǒng)如Philips Electronics N.V公司的SpeechMagicTM和IBM公司的ViaVoiceTM的特點(diǎn)就是文本識(shí)別和命令解譯。這兩種商用語音識(shí)別系統(tǒng)可以組裝在文本處理軟件產(chǎn)品內(nèi)，用來轉(zhuǎn)換、編輯、校正和格式化文本。另外，這些商用系統(tǒng)還提供用戶和個(gè)人電腦之間的話音受控交互。對(duì)語音指令的解釋啟動(dòng)菜單選項(xiàng)和其它定制的軟件功能，例如瀏覽互聯(lián)網(wǎng)。
盡管如此口授固有的特點(diǎn)是模糊不清的文本部分，比如一些數(shù)必須根據(jù)口授的語境解釋為數(shù)字或按字面解釋為書寫文本。這些模糊不清的文本部分很容易被自動(dòng)語音識(shí)別系統(tǒng)錯(cuò)誤解釋。此外，基于系統(tǒng)對(duì)文本格式或文本的加亮命令的解釋可能出錯(cuò)。這種無法避免發(fā)生的系統(tǒng)解釋錯(cuò)誤必須由校對(duì)者進(jìn)行人工校正，從而降低了整個(gè)語音識(shí)別系統(tǒng)的效率。因此，人們非常希望能夠有一種支持對(duì)潛在的模糊不清或解釋錯(cuò)誤的文本部分進(jìn)行修改或校正的系統(tǒng)，以便于進(jìn)行校對(duì)。
用于文本處理系統(tǒng)的特定文本校正、文本修改系統(tǒng)在本領(lǐng)域中是眾所周知的。WO 97/49043中描述了一種檢驗(yàn)文件的拼寫、語法結(jié)構(gòu)準(zhǔn)確性的方法和系統(tǒng)。在一種電子文件中，取出某一句子，并檢查所取出的句子中的單詞是否有拼寫錯(cuò)誤。當(dāng)系統(tǒng)檢測(cè)到有拼寫錯(cuò)誤的單詞時(shí)，在拼寫和語法組合對(duì)話框中顯示一條指示。顯示出現(xiàn)拼寫錯(cuò)誤的單詞和整個(gè)句子。另外，拼寫檢驗(yàn)程序模塊接收拼寫和語法組合對(duì)話框中的建議列表框中顯示的建議。隨后，用戶通過選擇拼寫和語法組合對(duì)話框中的一個(gè)命令按鈕，來輸入一條命令。響應(yīng)于用戶選擇這些命令按鈕之一，該方法執(zhí)行相應(yīng)的步驟。采用類似的方法，本方法可以應(yīng)用于對(duì)句子進(jìn)行語法檢查。
美國(guó)專利6047300中描述了一種對(duì)拼寫錯(cuò)誤的單詞進(jìn)行自動(dòng)校正的系統(tǒng)和方法。在該系統(tǒng)中，如果檢測(cè)到某一單詞的拼寫有錯(cuò)誤，那么就產(chǎn)生一個(gè)拼寫正確的替換詞。按照一組不同的標(biāo)準(zhǔn)，將該拼寫錯(cuò)誤的單詞與拼寫正確的替換詞進(jìn)行比較。如果各種不同的標(biāo)準(zhǔn)比較的結(jié)果滿足選擇標(biāo)準(zhǔn)，那么就用拼寫正確的替換單詞來替換拼寫錯(cuò)誤的單詞。既使檢測(cè)到某一單詞拼寫有錯(cuò)，該用戶也可能希望使輸入的單詞保留原樣。為了保持輸入的單詞，必須克服對(duì)拼寫錯(cuò)誤的單詞所進(jìn)行的自動(dòng)替換。為了克服替換，該專利申請(qǐng)文件公開了一種拼寫實(shí)施例，它包括一個(gè)例外單詞表。例外單詞必須由用戶定義，并且將不被替換。用戶可以對(duì)例外單詞表進(jìn)行編輯，以增加、去除例外單詞。
美國(guó)專利6047300還公開了一種拼寫實(shí)施例，按照該實(shí)施例，在某一拼寫錯(cuò)誤的單詞被正確拼寫的單詞所替換時(shí)，用戶會(huì)或者不會(huì)接收一則通知。如果該用戶接收到一則替換通知，則用戶就了解了要進(jìn)行的替換，并且可以確認(rèn)或拒絕進(jìn)行該替換。
上述引用的文件僅僅涉及列出電子文本文件中的錯(cuò)誤拼寫或不恰當(dāng)?shù)恼Z法結(jié)構(gòu)。但是由于模糊文本部分是拼寫正確的，因此采用上述方法并不能識(shí)別語音至文本轉(zhuǎn)換時(shí)所產(chǎn)生的模糊不清的文本部分。同樣，通常并不能采用上述校正、驗(yàn)證系統(tǒng)來檢測(cè)到口授中所包括的并且從自動(dòng)語音識(shí)別系統(tǒng)按字面轉(zhuǎn)換而來的文本格式化命令或文本加亮的命令。通常，這些系統(tǒng)不適于對(duì)電子文本執(zhí)行基于語境的修改。
本發(fā)明旨在提供一種利用用戶交互對(duì)由語音至文本的識(shí)別系統(tǒng)所產(chǎn)生的電子文本進(jìn)行自動(dòng)文本修改的方法、系統(tǒng)、圖形用戶接口和計(jì)算機(jī)程序產(chǎn)品。
本發(fā)明提供了一種利用用戶交互進(jìn)行的自動(dòng)文本修改。優(yōu)選地，直接執(zhí)行可靠的修改動(dòng)作，如直接解譯非模糊命令或非模糊文本部分。相反，當(dāng)檢測(cè)到不可靠的動(dòng)作如模糊文本部分或無法解析的命令時(shí)，本方法在執(zhí)行修改動(dòng)作之前請(qǐng)求人類專業(yè)人員。向用戶指示執(zhí)行的修改動(dòng)作以及對(duì)人類專業(yè)人員的請(qǐng)求。利用這一途徑，用戶得到了對(duì)經(jīng)修改的文本部分和/或潛在解譯錯(cuò)誤的口授命令和/或模糊文本部分以及涉及語音至文本識(shí)別的其它潛在問題的簡(jiǎn)便、有效的訪問途徑。
例如，任何類型的數(shù)都與模糊文本部分相關(guān)。由于一個(gè)數(shù)可以被解譯成是用阿拉伯?dāng)?shù)字書寫的數(shù)，或者是一個(gè)順序號(hào)(enumeration)，或者按字面解釋為一個(gè)詞，因此語音至文本識(shí)別系統(tǒng)需要人類專業(yè)人員的幫助。一個(gè)數(shù)是要寫成數(shù)字、順序號(hào)還是一個(gè)詞，需要根據(jù)語境來作出判斷。這些模糊文本部分是由系統(tǒng)自動(dòng)識(shí)別的，并且在所生成的文本中加亮。利用這樣的方法，系統(tǒng)向校對(duì)者給出有關(guān)在語音至文本轉(zhuǎn)換步驟中可能已經(jīng)出現(xiàn)的潛在錯(cuò)誤解譯的智能指示。
發(fā)生錯(cuò)誤解譯的不僅是數(shù)字，也可以是某些短語或單詞。取決于語境，單詞“冒號(hào)”可以寫成“冒號(hào)”(例如在醫(yī)學(xué)報(bào)告中)，也可以作為印刷符號(hào)寫成“”。
按照本發(fā)明的一種優(yōu)選實(shí)施例，系統(tǒng)的特征在于可以采用幾種規(guī)則來識(shí)別在被識(shí)別的文本中可能需要進(jìn)行修改的文本部分。所產(chǎn)生的文本顯示在用戶接口上用于校對(duì)。為了便于進(jìn)行校對(duì)，在文本中加亮潛在的文本修改部分。可以借助任何一種強(qiáng)調(diào)方式來執(zhí)行加亮，例如要修改的文本的不同的顏色、不同的大小、不同的字體或不同的字樣。
按照本發(fā)明的另一個(gè)優(yōu)選實(shí)施例，與至少一種所述規(guī)則匹配的文本部分是由系統(tǒng)來自動(dòng)修改的，并且在文本中被加亮。以這種方式，校對(duì)者可以立即識(shí)別已經(jīng)由系統(tǒng)修改的那些文本部分。另外，系統(tǒng)提供了一種撤銷功能，使得校對(duì)者可以對(duì)經(jīng)修改的文本部分進(jìn)行自動(dòng)更正。
按照本發(fā)明的另一優(yōu)選實(shí)施例，規(guī)則給出了一種置信值，它表示某一被匹配文本部分是否需要進(jìn)行修改的幾率。當(dāng)置信值高于第一預(yù)定閾值時(shí)，自動(dòng)執(zhí)行文本修改。這時(shí)，進(jìn)行修改時(shí)無需給出任何注解或任何進(jìn)一步的建議。當(dāng)置信值低于該第一置信值但高于第二閾值時(shí)，執(zhí)行自動(dòng)修改，該自動(dòng)修改與用戶的一個(gè)指示相關(guān)聯(lián)以及與使用戶能夠撤銷所執(zhí)行的修改的撤銷信息相關(guān)聯(lián)。當(dāng)置信值低于該第二閾值時(shí)，不自動(dòng)執(zhí)行修改，但向用戶指示一條建議，并且系統(tǒng)請(qǐng)求由用戶對(duì)該匹配的文本部分是否需要進(jìn)行修改作出判斷。通常，可以調(diào)節(jié)用于該置信值的閾值，使之適合于校對(duì)者或用戶的喜好。
按照本發(fā)明的另一優(yōu)選實(shí)施例，規(guī)則所匹配的文本部分不是由系統(tǒng)自動(dòng)修改的。相反，這需要校對(duì)者或用戶的專業(yè)技能，以便判斷是否應(yīng)當(dāng)進(jìn)行修改。因此，在文本中加亮規(guī)則所匹配的文本部分。因此，校對(duì)者可以方便地找到被加亮的文本部分。加亮的文本部分通常與一個(gè)或幾個(gè)文本修改的建議相關(guān)。通常，用戶有可能接受或拒絕系統(tǒng)所產(chǎn)生的建議。文本修改最終是根據(jù)用戶的決定來執(zhí)行的。
根據(jù)文本文件的類型，可以應(yīng)用基于不同語境的規(guī)則模塊，以便檢測(cè)模糊不清或有問題的文本部分?；谡Z境的規(guī)則模塊例如是專用于某一法律實(shí)務(wù)或某一種醫(yī)學(xué)報(bào)告的。根據(jù)該語境，這些規(guī)則不僅檢測(cè)模糊不清的文本部分，而且還涉及口授中所包含的某些不清楚的命令。
另外，命令如“引文開始引文結(jié)束”可以解譯為僅引用下一個(gè)單詞，或解譯成未知長(zhǎng)度的引文段的開始。在這些情況下，產(chǎn)生建議或提示并在文本中加亮。單個(gè)的規(guī)則還可以指定用來檢測(cè)含有順序號(hào)符號(hào)如“1、2、3_...”或“a)、b)、c)”的文件中的不一致處。由于說話者通常在口授所有順序符號(hào)時(shí)是不一致的，因此，設(shè)計(jì)了一些規(guī)則來檢測(cè)一系列順序號(hào)中的丟失項(xiàng)。這時(shí)，為校對(duì)者產(chǎn)生提示或建議。此外，對(duì)其它文本段落的引用，例如“相同于”或“如上所述”可以按字面來轉(zhuǎn)換，也可以共同解析這些引用段落并且插入相應(yīng)的文本。由于任何種類的裝置通常是沒有機(jī)會(huì)來解析這些引用段落的，因此，如果檢測(cè)到某些引用術(shù)語或短語，系統(tǒng)會(huì)向人類校對(duì)者提供一些指示。
按照本發(fā)明的另一優(yōu)選實(shí)施例，當(dāng)為關(guān)于某一特定的文本部分的文本修改所提供的兩條或多條建議是互相沖突的時(shí)候，總是產(chǎn)生建議并且將所涉及的文本部分加亮。在至少兩個(gè)不同的規(guī)則為某一特定文本部分提供了的不同建議的情況下，無疑需要求助于人類專業(yè)人員了。按照每一沖突建議的置信值，本方法提供了建議的排序或列表，用戶或校對(duì)者能夠根據(jù)其作出選擇。
按照本發(fā)明的另一優(yōu)選實(shí)施例，僅在自動(dòng)文本修改中包含次數(shù)低于某一預(yù)定閾值的編輯操作時(shí)執(zhí)行自動(dòng)文本修改。當(dāng)按照某一特定規(guī)則的文本編輯操作的次數(shù)超過了某一特定的閾值時(shí)，只要該校對(duì)者還沒有作出決定，就不執(zhí)行適當(dāng)?shù)奈谋拘薷?。這樣，本方法在進(jìn)行大量自動(dòng)編輯操作之前，求助于人類專業(yè)人員。因此，就將可能使由校對(duì)者所執(zhí)行的撤銷操作的次數(shù)減少到了最小。與用戶的這種交互節(jié)省了時(shí)間、降低了成本。
按照本發(fā)明的另一優(yōu)選實(shí)施例，將被識(shí)別的文本和按照不同校正規(guī)則產(chǎn)生的建議輸出到一個(gè)圖形用戶接口。設(shè)計(jì)的圖形用戶接口用來顯示所識(shí)別的文本以及顯示潛在文本修改操作的建議?？梢砸远喾N不同的方式來顯示某一建議。例如，建議可以以直接位于加亮的與該建議相關(guān)的文本部分旁邊的建議菜單的形式出現(xiàn)。按照本發(fā)明的另一實(shí)施例，不同的建議可以出現(xiàn)在圖形用戶接口內(nèi)的單獨(dú)的窗口中。
按照本發(fā)明的另一優(yōu)選實(shí)施例，只響應(yīng)于用戶的請(qǐng)求來顯示不同文本部分的多條建議。否則，圖形用戶接口會(huì)由于多條建議或多個(gè)建議列表而過于擁擠不堪。可以以多種不同的方式來適應(yīng)用戶的請(qǐng)求，如，通過點(diǎn)擊鼠標(biāo)按鈕、將鼠標(biāo)指針移動(dòng)到加亮的文本部分上、手指觸摸圖形用戶接口上適當(dāng)?shù)奈恢没蛘吆?jiǎn)單地通過在與系統(tǒng)相連的鍵盤上輸入通用的快捷鍵。
還可以采用多種不同的途徑來修改用于單個(gè)加亮的文本部分的各條建議的外觀。單個(gè)的建議可以按照指定的順序(例如以置信值分類)作為菜單的選項(xiàng)或列表選項(xiàng)來給出，也可以以完全無序方式給出。建議外觀方式可以進(jìn)一步由用戶來指定。
按照本發(fā)明的另一優(yōu)選實(shí)施例，可以以不同的方式執(zhí)行所請(qǐng)求的用戶判定。用戶或者可以選擇必須由系統(tǒng)執(zhí)行的建議之一，也可以人工輸入要由系統(tǒng)執(zhí)行的替代建議。特定建議的選擇可以借助于鼠標(biāo)指針和鼠標(biāo)點(diǎn)擊或利用通用快捷鍵來實(shí)現(xiàn)。這里，可以在用戶和圖形用戶接口之間采用任何一種其它形式的交互。
按照本發(fā)明的另一優(yōu)選實(shí)施例，對(duì)特定建議的選擇會(huì)引發(fā)相關(guān)的副作用。例如，當(dāng)系統(tǒng)檢測(cè)到某一丟失的順序號(hào)時(shí)，它會(huì)建議實(shí)現(xiàn)該順序號(hào)。當(dāng)用戶接著決定插入該丟失的順序號(hào)時(shí)，系統(tǒng)會(huì)自動(dòng)給出一條提示，其提示緊接著的字母需要大寫。這樣，按照第一條規(guī)則的某一自動(dòng)修改的執(zhí)行會(huì)啟用按照另一規(guī)則的第二種潛在修改。該用戶還可以進(jìn)一步判斷是否在文件的局部處或全部中引發(fā)這些副作用。
通過將前文中描述的置信值與閾值相關(guān)聯(lián)，可以進(jìn)一步控制由于所執(zhí)行的修改而引發(fā)的副作用。這樣，可以進(jìn)行區(qū)分，是否在向用戶作出提示或沒有作出提示的情況下自動(dòng)執(zhí)行某一副作用，或者在沒有與該用戶作出進(jìn)一步交互的情況下，自動(dòng)執(zhí)行某一副作用。
下文中將參照附圖，詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。


圖1是執(zhí)行本發(fā)明的方法的流程圖，圖2是執(zhí)行本發(fā)明的第二種方法的流程圖，圖3示出本發(fā)明一種優(yōu)選實(shí)施例的方框圖，圖4示出圖形用戶接口的方框圖，圖5是啟用修改規(guī)則的流程圖。
圖1是執(zhí)行按照本發(fā)明的方法的流程圖。在第一個(gè)步驟100中，將語音轉(zhuǎn)換成文本。在步驟102中，檢查哪些文本區(qū)域與一項(xiàng)或幾項(xiàng)修改或不一致規(guī)則相匹配。在步驟104中，借助沖突的適用修改規(guī)則或借助某一不一致規(guī)則的匹配，來檢測(cè)有問題的文本區(qū)域。在步驟106中，在文本中加亮所識(shí)別和檢測(cè)到的文本部分。在步驟108中，本方法對(duì)于每一加亮的文本部分產(chǎn)生幾條建議，并提供一個(gè)建議列表。在步驟110中，如果受用戶請(qǐng)求，則將產(chǎn)生的建議列表顯示在圖形用戶接口上。在步驟112中，用戶選擇一條建議，用戶也可以人工插入某一隨后要插入到文本中的文本修改項(xiàng)。
圖2中示出執(zhí)行自動(dòng)文本修改的本發(fā)明方法的流程圖。與圖1所描述的類似，在步驟200中，將語音變換成文本。在下一個(gè)步驟202中，檢查被識(shí)別文本的哪些區(qū)域與一項(xiàng)或幾項(xiàng)修改或不一致規(guī)則匹配。按照不同的規(guī)則，在步驟204中該方法檢測(cè)潛在需要受到修改的文本部分。在步驟206中，本方法按照這些規(guī)則自動(dòng)進(jìn)行文本修改。由于這些自動(dòng)文本修改可能會(huì)有錯(cuò)誤，因此在接下來的步驟208中見它們加亮，并且為用戶配備所述修改的一些撤銷信息。這樣，本方法執(zhí)行了自動(dòng)文本修改，并且還通知用戶在該文本中已經(jīng)執(zhí)行了自動(dòng)的并且因而是潛在錯(cuò)誤的修改。
在理想情況下，本方法還提供了一種特定的撤銷功能，使得用戶可以方便地撤銷由自動(dòng)文本修改系統(tǒng)所執(zhí)行的文本修改。
圖3示出了基于語音至文本轉(zhuǎn)換系統(tǒng)302的本發(fā)明優(yōu)選實(shí)施例的方框圖。將自然語音300輸入到語音至文本轉(zhuǎn)換系統(tǒng)302中。語音至文本轉(zhuǎn)換系統(tǒng)302與用戶304進(jìn)行交互，并產(chǎn)生修改的文本316。語音至文本轉(zhuǎn)換系統(tǒng)302包含語音至文本轉(zhuǎn)換模塊306、規(guī)則匹配檢測(cè)器模塊308、規(guī)則執(zhí)行模塊309、以及圖形用戶接口310。語音至文本轉(zhuǎn)換系統(tǒng)302還包含基于語境的規(guī)則模塊312、314。每一基于語境的規(guī)則模塊312、314包含數(shù)據(jù)庫(kù)318、324、第一規(guī)則320、326、第二規(guī)則322、328以及本文中沒有進(jìn)一步指明的其它規(guī)則。
在提供一個(gè)經(jīng)識(shí)別的文本的語音至文本轉(zhuǎn)換模塊306中，對(duì)輸入的語音300進(jìn)行處理。規(guī)則匹配檢測(cè)器模塊308接著將一個(gè)或幾個(gè)基于語境的規(guī)則模塊312、314應(yīng)用于經(jīng)識(shí)別的文本。為特定的文本范圍指定數(shù)據(jù)庫(kù)318、324以及單個(gè)的規(guī)則320、322、326、328。例如，數(shù)據(jù)庫(kù)318、324指定用于法律實(shí)務(wù)或醫(yī)學(xué)報(bào)告。以類似的方法，指定規(guī)則320、322、326、328用于不同的應(yīng)用領(lǐng)域。根據(jù)所選擇的基于語境的規(guī)則模塊312、314，規(guī)則匹配檢測(cè)器模塊308檢測(cè)經(jīng)識(shí)別的文本內(nèi)可能要進(jìn)行修改的的文本部分。
對(duì)檢測(cè)到的文本部分的修改是由規(guī)則執(zhí)行模塊309來執(zhí)行的。按照用戶的喜好，自動(dòng)修改可以直接由規(guī)則執(zhí)行模塊309來執(zhí)行，也可以按照用戶的決定來執(zhí)行。取決于預(yù)定的閾值和置信值，可以向用戶指示與撤銷信息關(guān)聯(lián)或不關(guān)聯(lián)的優(yōu)選修改。通過圖形用戶接口310，向用戶指示需要用戶的決定。通過圖形用戶接口310來處理語音至文本轉(zhuǎn)換系統(tǒng)302與用戶304之間的交互。當(dāng)系統(tǒng)執(zhí)行了自動(dòng)文本修改時(shí)，將合適的文本部分在圖形用戶接口310上加亮。其修改需要用戶決定的文本部分也在圖形用戶接口310上被加亮。當(dāng)系統(tǒng)按照規(guī)則320、322、326、328產(chǎn)生了某一自動(dòng)修改的建議時(shí)，這些建議也通過圖形用戶接口310被顯示出來。用戶的決定以及對(duì)所識(shí)別文本的自動(dòng)文本修改的執(zhí)行最終給出經(jīng)修改的文本316，并將其從語音至文本轉(zhuǎn)換系統(tǒng)302中輸出。另外，當(dāng)某一文本部分與某一不一致規(guī)則(其被應(yīng)用于例如缺失順序號(hào)、無法解析的索引或其它的不一致)相匹配時(shí)，在圖形用戶接口310上產(chǎn)生表示文本不一致的警告圖標(biāo)。
圖4示出本發(fā)明的圖形用戶接口400的方框圖。圖形用戶接口400包含文本窗口402和建議窗口404。文本窗口402通常含有幾個(gè)加亮的文本部分406，其表示潛在修改或文本不一致的警告圖標(biāo)。可以用不同的方式(例如不同的顏色、不同字體或其它優(yōu)選的視覺指示符)將文本加亮?？梢越柚谋敬翱?02中或建議窗口404中的建議列表410來顯示某一被加亮的文本部分的各項(xiàng)修改建議。建議窗口404以及任一建議列表410、412可以總是出現(xiàn)在圖形用戶接口400內(nèi)，但也可以只應(yīng)用戶的要求來顯示。
借助于鼠標(biāo)指針408，用戶可以選擇特定加亮的文本部分406，為該部分顯示合適的建議列表410、412或建議窗口404。選擇加亮的文本部分406(為其顯示建議列表410、412)還可以借助任何一種其它類型的輸入裝置，如鍵盤快捷鍵、觸摸屏、甚至是用戶的語音命令來執(zhí)行。借助于同樣的裝置，用戶最終可以選擇建議列表410、412中所提供的一項(xiàng)建議，用戶也可以人工輸入替代文本部分。
圖5示出了針對(duì)作為文本修改的副作用而觸發(fā)規(guī)則的文本修改執(zhí)行過程的流程圖。在第一個(gè)步驟500中，檢查所識(shí)別的文本的哪一個(gè)部分是符合一項(xiàng)或幾項(xiàng)修改或不一致規(guī)則的。在步驟502中，檢測(cè)到N個(gè)潛在需要受到自動(dòng)文本修改的文本部分，并且開始啟用索引j(j＝1)。步驟504將索引j與潛在需要受到修改的文本部分的個(gè)數(shù)N相比較。如果j大于N，則該方法進(jìn)入步驟518，并且結(jié)束修改。如果在步驟504中，j小于或等于N，則在步驟506中在識(shí)別的文本中將第一個(gè)文本部分(j＝1)加亮。在步驟508中，該方法提供了一種將顯示在圖形用戶接口上的文本修改的建議列表。在步驟510中，進(jìn)行與用戶的交互。接著，在步驟512中，依照與用戶的交互來修改文本部分j。
接下來的步驟514檢查所執(zhí)行的文本修改是否觸發(fā)其它的文本修改規(guī)則。例如，當(dāng)?shù)谝豁?xiàng)修改輸入丟失的標(biāo)點(diǎn)如“.”時(shí)，下一個(gè)句子中開頭的單詞按照另一個(gè)規(guī)則必須大寫。當(dāng)在步驟514中，所執(zhí)行的修改觸發(fā)了這樣的另一規(guī)則時(shí)，在步驟516中將該規(guī)則應(yīng)用于文本部分。在已經(jīng)將該另一規(guī)則應(yīng)用于指定的文本部分以后，該方法回到步驟506，并對(duì)所選擇的規(guī)則執(zhí)行相同的建議和交互過程。相反，當(dāng)在步驟514中所執(zhí)行的修改沒有觸發(fā)其它規(guī)則時(shí)，索引j遞增1，并且該方法回到步驟504。
參考符號(hào)表300 語音302 語音至文本轉(zhuǎn)換系統(tǒng)304 用戶306 語音至文本變換模塊308 規(guī)則匹配檢測(cè)器模塊309 規(guī)則執(zhí)行模塊310 圖形用戶接口312 基于語境的規(guī)則模塊314 基于語境的規(guī)則模塊316 修改的文本318 數(shù)據(jù)庫(kù)320 規(guī)則322 規(guī)則324 數(shù)據(jù)庫(kù)326 規(guī)則328 規(guī)則400 圖形用戶接口402 文本窗口404 建議窗口406 加亮的文本408 鼠標(biāo)指針410 建議列表412 建議列表
權(quán)利要求
1.一種將語音轉(zhuǎn)換成文本的方法，包含下述步驟-執(zhí)行語音識(shí)別步驟，以提供一文本，-對(duì)所述文本應(yīng)用至少一項(xiàng)規(guī)則，以執(zhí)行至少一項(xiàng)自動(dòng)文本修改，-在用戶接口上輸出所述文本，-在所述用戶接口上輸出至少一項(xiàng)建議，用于自動(dòng)文本修改。
2.如權(quán)利要求1所述的方法，其中所述至少一項(xiàng)文本修改是自動(dòng)執(zhí)行的，并且在所述文本中被加亮，以供用戶審核。
3.如權(quán)利要求1所述的方法，其中與所述至少一項(xiàng)建議相關(guān)的文本部分在所述文本中被加亮，并且響應(yīng)于用戶接受所述建議來執(zhí)行至少一項(xiàng)文本修改。
4.如權(quán)利要求1至3中任一權(quán)利要求所述的方法，所述至少一項(xiàng)規(guī)則提供所述至少一項(xiàng)修改的置信值，其中，所述建議僅在所述置信值低于一個(gè)閾值時(shí)輸出，以供用戶審核。
5.如權(quán)利要求1至4中任一權(quán)利要求所述的方法，其中，當(dāng)提供了至少第一和第二用于所述文本修改的沖突建議時(shí)，輸出這些建議以供用戶選擇。
6.如權(quán)利要求1至5中任一權(quán)利要求所述的方法，其中，所述文本修改包含多項(xiàng)編輯操作，當(dāng)所述編輯操作的數(shù)量超過預(yù)定閾值時(shí)，輸出用于所述文本修改的建議。
7.如權(quán)利要求1至6中任一權(quán)利要求所述的方法，其中，所述文本和所述建議被輸出至圖形用戶接口。
8.如權(quán)利要求1至7中任一權(quán)利要求所述的方法，其中，當(dāng)所述用戶輸入一項(xiàng)建議命令時(shí)，顯示至少一項(xiàng)建議。
9.如權(quán)利要求2至8中任一權(quán)利要求所述的方法，其中，所述用戶審核包含通過輸入選擇命令來選擇一項(xiàng)建議或人工輸入文本修改。
10.如權(quán)利要求1至9中任一權(quán)利要求所述的方法，其中，按照由第一規(guī)則提供的至少一項(xiàng)建議，來執(zhí)行第一自動(dòng)文本修改，并且還包含對(duì)所述第一文本修改應(yīng)用至少第二規(guī)則，并輸出至少第二建議，用于第二自動(dòng)文本修改。
11.一種語音至文本的轉(zhuǎn)換系統(tǒng)(302)，其包括-執(zhí)行語音識(shí)別步驟以提供文本的裝置，-對(duì)所述文本應(yīng)用至少一項(xiàng)規(guī)則(320，322，326，328)用以執(zhí)行至少一項(xiàng)自動(dòng)修改的裝置，-在用戶接口上輸出所述文本并輸出所述自動(dòng)文本修改的至少一項(xiàng)建議的裝置。
12.如權(quán)利要求11所述的系統(tǒng)，包含加亮文本修改或與至少一項(xiàng)建議相關(guān)的文本部分以供用戶審核的裝置。
13.如權(quán)利要求11或12所述的系統(tǒng)，其包含在提供用于文本修改的至少第一和第二建議沖突時(shí)或在文本修改包括多項(xiàng)編輯操作而其數(shù)目超過一個(gè)預(yù)定閾值時(shí)，產(chǎn)生至少一項(xiàng)建議輸出的裝置。
14.如權(quán)利要求11至13中任一權(quán)利要求所述的系統(tǒng)，包含當(dāng)所述用戶(304)輸入一項(xiàng)建議指令時(shí)，在圖形用戶接口(310；400)上顯示所述至少一項(xiàng)建議的裝置。
15.如權(quán)利要求11至14中任何一條權(quán)利要求所述的系統(tǒng)，包含按照由第一規(guī)則(320，…；326，…)所提供的第一建議進(jìn)行第一自動(dòng)文本修改的裝置，并且還包含對(duì)所述第一次文本修改應(yīng)用至少第二規(guī)則(322，…；328，…)并且輸出至少第二條建議以供第二次自動(dòng)文本修改的裝置。
16.一種用于語音至文本轉(zhuǎn)換系統(tǒng)(302)的圖形用戶接口(310；400)，所述系統(tǒng)(302)具有用于執(zhí)行至少一項(xiàng)自動(dòng)文本修改的至少一項(xiàng)規(guī)則(320，322，326，328)，并且具有用于自動(dòng)文本修改的至少一項(xiàng)建議，所述圖形用戶接口(310；400)包含-產(chǎn)生所述文本的顯示的裝置，-加亮文本并加亮與所述至少一項(xiàng)建議相關(guān)的文本部分的裝置，-顯示所述至少一項(xiàng)建議以供所述自動(dòng)文本修改的裝置。
17.如權(quán)利要求16所述的圖形用戶接口，還包含由所述用戶輸入一項(xiàng)建議指令以便啟動(dòng)所述至少一項(xiàng)建議的顯示的裝置。
18.一種用于語音至文本轉(zhuǎn)換系統(tǒng)的計(jì)算機(jī)程序產(chǎn)品，所包含的程序裝置用于-執(zhí)行語音識(shí)別步驟，以提供一文本，-對(duì)所述文本應(yīng)用至少一項(xiàng)規(guī)則，以便執(zhí)行至少一項(xiàng)自動(dòng)文本修改，-在用戶接口上輸出所述文本，-輸出用于自動(dòng)文本修改的至少一項(xiàng)建議，以供用戶審核。
19.如權(quán)利要求18所述的計(jì)算機(jī)程序產(chǎn)品，所述程序裝置用來執(zhí)行下述步驟-當(dāng)為文本修改提供至少第一和第二沖突建議時(shí)，輸出建議以供用戶選擇，-當(dāng)所述文本修改包含的編輯操作數(shù)目超過預(yù)定的閾值數(shù)目時(shí)，輸出一項(xiàng)建議以供用戶選擇。
20.如權(quán)利要求18或19所述的計(jì)算機(jī)程序產(chǎn)品，所述程序裝置使用于按照第一規(guī)則所提供的第一建議執(zhí)行第一自動(dòng)文本修改，并且還包含對(duì)所述第一項(xiàng)文本修改應(yīng)用至少第二規(guī)則，并輸出至少第二建議以供第二自動(dòng)文本修改。
全文摘要
本發(fā)明涉及一種將語音轉(zhuǎn)換成文本的方法、裝置、圖形用戶接口和計(jì)算機(jī)程序產(chǎn)品。在語音識(shí)別步驟(100)中，提供一種文本，對(duì)其實(shí)施基于文本修改規(guī)則的自動(dòng)文本修改(102)。加亮文本中對(duì)其進(jìn)行修改的文本部分(106)，并向用戶顯示至少一條用于修改的建議(110)，使得用戶能夠選擇一條建議，并且因此對(duì)自動(dòng)文本修改過程進(jìn)行控制(112)。例如，這些規(guī)則識(shí)別語音識(shí)別步驟中可能已經(jīng)被錯(cuò)誤解譯的有關(guān)模糊語音或丟失的文本格式字符的文本部分。
文檔編號(hào)G10L15/22GK1871638SQ200480030892
公開日2006年11月29日 申請(qǐng)日期2004年10月13日 優(yōu)先權(quán)日2003年10月21日
發(fā)明者J·彼得斯 申請(qǐng)人:皇家飛利浦電子股份有限公司