專利名稱：用于協(xié)助數(shù)據(jù)收集的多模態(tài)用戶通知系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多模態(tài)應(yīng)用，并且尤其涉及利用向用戶通知有效輸入方式來協(xié)調(diào)多模態(tài)數(shù)據(jù)輸入，從而協(xié)助收集信息和數(shù)據(jù)。
背景技術(shù)：
作為經(jīng)由常規(guī)外圍輸入/輸出設(shè)備的通信的方便的備選方案，語音識(shí)別通過允許不用手而與計(jì)算機(jī)通信而已經(jīng)簡化了工作場所的許多任務(wù)。工作者可以使用語音識(shí)別器而由聲音輸入數(shù)據(jù)，而命令或指令可以由具有文本一語音(TTS)功能的語音合成器而向工作者傳送。語音識(shí)別在移動(dòng)計(jì)算設(shè)備或移動(dòng)計(jì)算機(jī)中具有特殊應(yīng)用，其中采用常規(guī)外圍輸入/輸出設(shè)備與計(jì)算機(jī)交互受到限制或者不便捷。移動(dòng)計(jì)算設(shè)備或使用這種移動(dòng)設(shè)備語音指導(dǎo)的工作已經(jīng)非常成熟的一個(gè)特殊工作領(lǐng)域是在庫存管理領(lǐng)域。然而，其他工作領(lǐng)域也已經(jīng)受益于該技術(shù)，諸如健康護(hù)理服務(wù)。語音協(xié)助/指導(dǎo)的工作系統(tǒng)依賴于用于執(zhí)行各種不同任務(wù)的計(jì)算機(jī)化管理系統(tǒng)，諸如產(chǎn)品分配、生產(chǎn)、質(zhì)量控制和患者護(hù)理。一種整體集成系統(tǒng)，包括用于追蹤和管理的中央計(jì)算機(jī)系統(tǒng)以及使用和與中央計(jì)算機(jī)系統(tǒng)以命令填充者、采集者、護(hù)理提供者或其他工作者形式的人或工作者的組合。在根據(jù)從中央計(jì)算機(jī)系統(tǒng)發(fā)送至由工作者攜帶的移動(dòng)計(jì)算機(jī)設(shè)備的信息的命令和控制下，工作者操作集成系統(tǒng)的手動(dòng)方面。由于工作者完成了他們的指定任務(wù)，經(jīng)由語音提示而向他們提供指令和信息，并且隨后使用語音回答該提示或提供數(shù)據(jù)。中央計(jì)算機(jī)系統(tǒng)基于特定指定的任務(wù)以及來自工作者的數(shù)據(jù)或輸入，諸如通過語音或一些其他數(shù)據(jù)收集，而收集大量類型的信息。例如，當(dāng)工作者通過從貨架上挑選存貨而執(zhí)行命令時(shí)，中央計(jì)算機(jī)系統(tǒng)將要求關(guān)于產(chǎn)品標(biāo)識(shí)和數(shù)量的信息，從而當(dāng)給定物品的存貨補(bǔ)給較低時(shí)，中央計(jì)算機(jī)系統(tǒng)可以正確的通知存貨管理者。在另一實(shí)例中，當(dāng)工作者正在調(diào)查受損的存貨以進(jìn)行質(zhì)量控制時(shí)，中央計(jì)算機(jī)系統(tǒng)將要求關(guān)于受影響物品的產(chǎn)品標(biāo)識(shí)、訂購單標(biāo)識(shí)以及損傷描述的信息。使用語音作為一種類型的輸入機(jī)構(gòu)在這些和其他情況下具有有利的應(yīng)用，因?yàn)槿绻麅墒挚梢宰杂傻毓ぷ鳎ぷ髡呖赡芨行?。雖然作為用于協(xié)助用戶完成他們的工作任務(wù)的輸入和輸出機(jī)構(gòu)，語音是有利的，但是也可以利用其它輸入/輸出模式以指導(dǎo)工作者在收集與該任務(wù)的性能相關(guān)的數(shù)據(jù)中執(zhí)行特定任務(wù)。這種多模式或多模態(tài)應(yīng)用已經(jīng)得到發(fā)展，以協(xié)調(diào)與多模態(tài)系統(tǒng)相關(guān)的各種輸入部件或設(shè)備以及輸出部件或設(shè)備。這些所謂的多模態(tài)系統(tǒng)協(xié)調(diào)配備有移動(dòng)計(jì)算機(jī)設(shè)備的多個(gè)輸入和輸出部件，例如包括擴(kuò)音器、揚(yáng)聲器、射頻標(biāo)識(shí)讀取器或掃描儀、條形碼掃描儀、顯示屏、觸摸屏、打印機(jī)和鍵盤。由本申請(qǐng)受讓人共同有用的美國專利公開號(hào)N0.2005/0010892中描述了這種多模態(tài)應(yīng)用的一個(gè)實(shí)例，所述文獻(xiàn)的公開內(nèi)容在此全文引入作為參考。這種多模態(tài)應(yīng)用和系統(tǒng)允許以各種不同的模式或形式輸入數(shù)據(jù)，諸如鍵盤輸入、條形碼或者RFID掃描語言等。該應(yīng)用在多模態(tài)系統(tǒng)的各種模式中協(xié)調(diào)輸入和輸出。然而，如同任何這樣的系統(tǒng)以協(xié)助工作者提高他們工作的表現(xiàn)一樣，他們能夠有效使用這種系統(tǒng)的能力極為重要。在語音指導(dǎo)/協(xié)助系統(tǒng)中的一個(gè)特定優(yōu)點(diǎn)是用戶能夠在他們可從系統(tǒng)接收到的語音提示之前說話。例如，在收集與特定任務(wù)相關(guān)的數(shù)據(jù)中，基于語音的數(shù)據(jù)可能向用戶提供口頭提示，例如提問。那么作為回應(yīng)，用戶將說出與該提示相關(guān)的特定言論，諸如回答提示的問題或者處理提示。這樣，收集數(shù)據(jù)。在一些語音系統(tǒng)中，諸如可從賓夕法尼亞州匹茲堡的Vocollect有限公司獲得的用于Talkman (TM)的Vocollect Voice (TM)產(chǎn)品，用戶可能被允許以在語音提示之前以說出多種特定言論，而無需等待可聽見的提示。該“提前說話”特征通常需要用戶已知即將發(fā)生的提示，以便于如此進(jìn)行。當(dāng)利用這種提前說話特征時(shí)，可以獲得多個(gè)言論作為對(duì)特定即將發(fā)生的提示的回應(yīng)，并且由于回答了提示而提高了效率，以便于系統(tǒng)繼續(xù)進(jìn)行，而無需提供這些提示。這種提前說話的優(yōu)化方式尤其有助于語音知道的工作，其中工作流程相對(duì)恒定，沒有顯著的改變，而且用戶因而可以獲得與即將發(fā)生的提示相關(guān)的知識(shí)。然而，當(dāng)更多采用語音以協(xié)助用戶的工作，而不是特別地指導(dǎo)工作時(shí)，這種提前說話的特征并不是有利的。在該領(lǐng)域中，工作流程通常將較不具有可預(yù)測(cè)性和可重復(fù)性，因而，對(duì)于工作者而言更難以獲得即將發(fā)生的提示的知識(shí)或記憶。而且，在語音協(xié)助的工作環(huán)境下，工作流程的性質(zhì)基本上是利用部分時(shí)間的。這樣，它們基本上由系統(tǒng)中的工作者利用部分時(shí)間完成，并且這些工作者不能迅速地記住這些提示命令。因而，需要解決語音協(xié)助系統(tǒng)中的這種缺點(diǎn)，允許在這種系統(tǒng)中實(shí)施提前說話優(yōu)化或其特征，以提高工作者的效率。而且，即使在工作流程更一致和語音指導(dǎo)的那些系統(tǒng)中，在工作者調(diào)換上仍然存在問題。這種調(diào)換導(dǎo)致了一些工作者對(duì)于系統(tǒng)不熟悉的情況，并且無法預(yù)期需要輸入什么數(shù)據(jù)或者需要做出什么語言意見，以回答或解決給定任務(wù)的提示。因而，還需要改進(jìn)不熟練工作者的能力，以在利用語音的工作系統(tǒng)中實(shí)施提前說話特征，諸如語音是輸入和輸出模式之一的多模態(tài)系統(tǒng)。雖然多模態(tài)系統(tǒng)、諸如利用語音的多模態(tài)系統(tǒng)在協(xié)助和指導(dǎo)用戶的工作任務(wù)中課題提供較高的機(jī)動(dòng)性，由于用戶在使用系統(tǒng)中的不熟練，這種機(jī)動(dòng)性還可能在工作環(huán)境中導(dǎo)致混亂和低效。例如，當(dāng)用戶可用多模態(tài)系統(tǒng)中的多種輸入機(jī)構(gòu)而用于輸入數(shù)據(jù)、其他信息、或回答提示、或填充數(shù)據(jù)段時(shí)，用戶可以根據(jù)他們的喜好、輸入模式的可用性或者僅僅是對(duì)于可用何種模式的知識(shí)，而選擇特定的輸入方法。然而，隨著在多模態(tài)系統(tǒng)中可用多種模式，由于用戶未成功地提供有效的回應(yīng)，可能出現(xiàn)低效率的情況。例如，用戶可以試圖從使用語音的列表中選擇特定輸入，并且可以嘗試說出對(duì)他們有意義的特殊回應(yīng)，但可能不是有效的選擇。這可能導(dǎo)致用戶對(duì)輸入進(jìn)行錯(cuò)誤分類，或者完全未完成對(duì)系統(tǒng)所需的輸入或未能提供文件。因此，還需要提高多模態(tài)系統(tǒng)(諸如使用語音的多模態(tài)系統(tǒng))的效率，從而用戶可以提供必需的輸入數(shù)據(jù)、或者解決或回答提示。如本文中所述，本發(fā)明解決了現(xiàn)有技術(shù)中的缺點(diǎn)，本發(fā)明還提供了其他優(yōu)點(diǎn)。

發(fā)明內(nèi)容
一種用于處理信息的多模態(tài)系統(tǒng)，包括計(jì)算機(jī)設(shè)備，諸如與多個(gè)輸入模式部件/設(shè)備或者多個(gè)輸出模式部件/設(shè)備連接的移動(dòng)或便攜式計(jì)算機(jī)設(shè)備。輸入和輸出模式部件與計(jì)算機(jī)設(shè)備連接，用于向計(jì)算機(jī)設(shè)備輸入數(shù)據(jù)和操作從計(jì)算機(jī)設(shè)備輸出的數(shù)據(jù)。
一種計(jì)算機(jī)設(shè)備的處理系統(tǒng)，配置以從多個(gè)輸入模式部件中的至少之一接收數(shù)據(jù)，并且將數(shù)據(jù)輸出至多個(gè)輸出模式部件中之一，并且配置以執(zhí)行對(duì)話，其通過輸入模式部件而向用戶提供至少一個(gè)提示。該對(duì)話可以包括具有語音的多個(gè)不同模式。為了回答或者處理該提示，本發(fā)明通過輸出模式部件而提供與對(duì)話提示相關(guān)的指示，用于向用戶指示可用哪個(gè)輸入模式部件以回答提示。使用諸如揚(yáng)聲器或顯示器的合適的輸出模式部件，可以語音地或者可視地提供對(duì)可用用于回答提示的輸入模式部件的指示。語音指示可以包括語音或耳聽信號(hào)?？梢曁崾究梢园▓D標(biāo)、文本和顏色中至少之一。在另一實(shí)施例中，本發(fā)明執(zhí)行了對(duì)話，其通過輸出模式部件向用戶提供一系列提示。隨后，本發(fā)明提供了與提示相關(guān)的指示，其反映了對(duì)該系列提示的順序。通過輸出模式部件而提供提示，用于按序向用戶指示當(dāng)前提示和至少下一個(gè)提示，從而用戶可以以順序提供對(duì)提示的回答?？梢蕴峁╋@示器上所示的可視指示而作為指示?？梢曋甘究梢允俏挥陲@示器上提示附近的圖標(biāo)，或者可視指示可以是顯示器上的提示的一部分?？梢曁崾究梢允褂锰崾镜拇笮　⑻崾镜奈恢没蛘咛崾镜拈W爍位置而反映提示序列的次序?？梢允褂眯螤?、顏色和編號(hào)方式區(qū)分圖標(biāo)，以反映提示序列的順序。


包括在說明書中并且構(gòu)成其一部分的隨附附圖，示出了本發(fā)明的實(shí)施例，并且與上述本發(fā)明的一般描述以及下文將給出的詳細(xì)描述一同用于說明本發(fā)明的原理。圖1是根據(jù)本發(fā)明的多模態(tài)系統(tǒng)的示意圖，其包括配置以執(zhí)行多模態(tài)應(yīng)用的計(jì)算機(jī)設(shè)備。圖2是使用圖1的系統(tǒng)的工作者的視圖。圖3是圖1的典型多模態(tài)應(yīng)用的功能或部件的透視圖。圖4A-4C示出了在本發(fā)明的典型多模態(tài)系統(tǒng)的操作期間，圖1的系統(tǒng)的顯示屏的順序不意圖。圖5A-5D示出了在本發(fā)明的典型多模態(tài)系統(tǒng)的操作期間，圖1的系統(tǒng)的顯示屏的順序不意圖。圖6A-6D示出了在本發(fā)明的典型多模態(tài)系統(tǒng)的操作期間，圖1的系統(tǒng)的顯示屏的順序不意圖。圖7A-7D示出了在本發(fā)明的典型多模態(tài)系統(tǒng)的操作期間，圖1的系統(tǒng)的顯示屏的順序不意圖。
具體實(shí)施例方式圖1-3示出了根據(jù)本發(fā)明實(shí)施例的適用于實(shí)施和執(zhí)行多模態(tài)系統(tǒng)和應(yīng)用的典型硬件和軟件環(huán)境。正如所討論的，這種典型多模態(tài)系統(tǒng)并不意味著限制性，而且可以在各種不同的多模態(tài)系統(tǒng)中實(shí)施本發(fā)明。尤其，圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的多模態(tài)系統(tǒng)10的示意性圖示。該系統(tǒng)10包括與另一計(jì)算機(jī)耦合的中央計(jì)算機(jī)或系統(tǒng)12，諸如網(wǎng)絡(luò)16上的移動(dòng)計(jì)算機(jī)設(shè)備14，所述網(wǎng)絡(luò)例如合適的無線網(wǎng)絡(luò)，如LAN。多個(gè)設(shè)備14可以與中央計(jì)算機(jī)12耦合。中央計(jì)算機(jī)12和移動(dòng)計(jì)算機(jī)設(shè)備14均包括處理器或中央處理單元(CPU)18、20，包括與存儲(chǔ)器22、24耦合的一個(gè)或多個(gè)微處理器，其可以表示隨機(jī)存取存儲(chǔ)器(RAM)設(shè)備，包括主要存儲(chǔ)器以及補(bǔ)充存儲(chǔ)器。此外，可以認(rèn)為每個(gè)存儲(chǔ)器22、24包括物理上位于中央計(jì)算機(jī)12和移動(dòng)計(jì)算機(jī)設(shè)備14中別處的存儲(chǔ)器，諸如一個(gè)或多個(gè)非易失性大容量存儲(chǔ)設(shè)備26、28。這些非易失性大容量存儲(chǔ)設(shè)備26、28可以包括閃存USB驅(qū)動(dòng)、可移除磁盤驅(qū)動(dòng)、硬盤驅(qū)動(dòng)、直接存取存儲(chǔ)設(shè)備或者光驅(qū)(例如CD驅(qū)動(dòng)、DVD驅(qū)動(dòng)等)。中央處理器12和移動(dòng)計(jì)算機(jī)設(shè)備14均包括網(wǎng)絡(luò)接口 30、32，用于與網(wǎng)絡(luò)16連接并且交換信息。應(yīng)當(dāng)意識(shí)到，正如本領(lǐng)域中已知的，中央計(jì)算機(jī)12和移動(dòng)計(jì)算機(jī)設(shè)備14在各個(gè)CPU18、20以及各個(gè)部件22-32之間包括合適的模擬或數(shù)字接口。而且，中央計(jì)算機(jī)12包括用戶接口 34，其包括多個(gè)輸入接口部件和輸入模式部件和輸出接口部件或輸出模式部件，它們組成了多模態(tài)系統(tǒng)的多個(gè)模式，用于輸入或輸出至系統(tǒng)10。同樣地，移動(dòng)計(jì)算機(jī)設(shè)備14還包括用戶接口 36，包括多個(gè)輸入接口 /模式部件和多個(gè)輸出接口 /模式部件。圖2示出了用于實(shí)施本發(fā)明的一個(gè)典型工作環(huán)境。工作者38或其他用戶攜帶了移動(dòng)計(jì)算機(jī)設(shè)備14。工作者38使用多種模式而與計(jì)算機(jī)設(shè)備14相接，諸如語音輸入、通過頭戴式耳機(jī)48或者通過鍵盤40或觸摸屏42而手動(dòng)輸入，以及通過頭戴式耳機(jī)48和屏幕42輸出。在圖3中更清楚地示出了使用移動(dòng)設(shè)備14而實(shí)施本發(fā)明的一個(gè)典型多模態(tài)系統(tǒng)。多個(gè)輸入模式部件可以包括小鍵盤或鍵盤40、觸摸控制和顯示屏42、條形碼和/或RFID掃描儀44，以及與移動(dòng)計(jì)算機(jī)設(shè)備14連接的頭戴式耳機(jī)48上的擴(kuò)音器46。多個(gè)輸出模式部件可以包括顯示屏42以及位于頭戴式耳機(jī)48上或移動(dòng)計(jì)算機(jī)設(shè)備14中的揚(yáng)聲器。一個(gè)或多個(gè)輸入模式部件可以是計(jì)算機(jī)設(shè)備的一部分或者可以是獨(dú)立的部件。例如，鍵盤40是設(shè)備14的一部分，而頭戴式耳機(jī)48是分離的部件。類似地，輸出部件可以是設(shè)備的一部分，諸如顯示器或顯示屏42，或者是獨(dú)立的部件，如頭戴式耳機(jī)45。為了協(xié)調(diào)各個(gè)輸入模式部件和輸出模式部件的每一個(gè)，移動(dòng)計(jì)算機(jī)設(shè)備14執(zhí)行多模態(tài)軟件應(yīng)用52，其配置以從一個(gè)或多個(gè)輸入部件接收輸入數(shù)據(jù)，并且通過一個(gè)或多個(gè)輸出部件而將數(shù)據(jù)遞送至用戶。多模態(tài)軟件應(yīng)用52存儲(chǔ)在移動(dòng)計(jì)算機(jī)設(shè)備14的存儲(chǔ)器24中，并且可以通過設(shè)備
14的處理系統(tǒng)而執(zhí)行，其可以包括處理器20和裝載在存儲(chǔ)器24中的操作系統(tǒng)54。應(yīng)當(dāng)意識(shí)到，類似的多模態(tài)軟件應(yīng)用52或其部分也可以由中央計(jì)算機(jī)12的操作系統(tǒng)56而操作。用于實(shí)施本發(fā)明的處理系統(tǒng)不局限于所公開的實(shí)施例，而系統(tǒng)和應(yīng)用的軟件在其他實(shí)施例中可以變化。多模態(tài)軟件應(yīng)用52可以包括應(yīng)用碼和工作流程描述60。例如，對(duì)應(yīng)用碼58進(jìn)行編程，以找回和執(zhí)行用于工作者38正完成的給定任務(wù)的特定工作流程描述60。因而，可以由用于不同任務(wù)的不同工作流程描述60。所選的工作流程描述60確保了向用戶提供了正確的工作指令/指示，并且在正確的時(shí)間使用移動(dòng)計(jì)算機(jī)設(shè)備14而收集數(shù)據(jù)，用于在完成各個(gè)工作任務(wù)期間更新中央計(jì)算機(jī)12和系統(tǒng)10的記錄。進(jìn)一步參考圖3，系統(tǒng)10包括與多模態(tài)軟件應(yīng)用52的部分可操作通信的對(duì)話引擎62。對(duì)話引擎62也可以存儲(chǔ)在移動(dòng)計(jì)算機(jī)設(shè)備14的存儲(chǔ)器24中。對(duì)于給定任務(wù)，工作流程描述60將繼續(xù)執(zhí)行與工作者的對(duì)話，其可以包括輸出至工作者38的一系列消息或指令或問題。對(duì)話的這些元素通常稱為“提示”。工作流程描述60還將包括一系列情況或結(jié)合點(diǎn)，其中預(yù)期將相應(yīng)于提示而接收輸入。即，由用戶回答或解決提示。在具有多個(gè)輸入部件和多個(gè)輸出部件的多模態(tài)系統(tǒng)10中，工作流程描述60可以指導(dǎo)對(duì)話引擎62提供不同的形式的輸入或輸出。本文所使用的提示并非限制性的，并且可以是例如通過語音或者必須由用戶填充的數(shù)據(jù)段而詢問的問題。因而，提示可以采取各種形式。同樣地，也可以以各種方式回答或處理提示。為此目的，一些輸入和輸出接口部件適于一些提示，而其他輸入/輸出部件可能不適于某些提示。類似地，用于回答或處理提示的部件和模式可以改變。在這些情況下，工作流程描述60的每個(gè)工作流程對(duì)象可以包括對(duì)關(guān)于該工作流程對(duì)象將使用的模式或部件的指定。例如，根據(jù)本發(fā)明，詢問貨物數(shù)量的提示可以指定在顯示屏42上顯示文本“多少數(shù)量？ ”或者指定由揚(yáng)聲器50向用戶提供語音提示或問題。該提示還可以包括信息，指示適于捕獲或接收用于回答或處理提示的任何輸入的數(shù)據(jù)的輸入模式或部件。因此，工作流程描述60將就對(duì)于任意給定提示將使用的模式或部件而指導(dǎo)對(duì)話引擎62。如圖3中所示，對(duì)話引擎62通過管理多個(gè)輸出部件和多個(gè)輸入部件，而控制工作流程描述60的執(zhí)行。例如，對(duì)話引擎62可以通過使得具有文本-語音(TTS)功能的語音合成器64產(chǎn)生由揚(yáng)聲器50播放的正確語音提示，而提供輸出提示。作為選擇地，對(duì)話引擎62可以在顯示屏42上提供輸出提示。以類似的方式，為了處理提示，對(duì)話引擎62經(jīng)由可操作地連接至擴(kuò)音器46的語音識(shí)別模塊66或者經(jīng)由觸摸控制屏42、掃描儀44或鍵盤40，而接收來自用戶的語音信息。應(yīng)當(dāng)意識(shí)到，在對(duì)話引擎62和多個(gè)輸入和輸出部件之間提供本領(lǐng)域中已知合適的軟件/硬件，并且可以根據(jù)需要添加附加輸入/輸出模式和部件，而不脫離本發(fā)明的范圍。在一個(gè)多模態(tài)系統(tǒng)中，如上所述，由于多種可能的模式，通常難以提高效率。例如，由于缺乏任務(wù)的重復(fù)性或者僅是由于經(jīng)驗(yàn)不足，工作者38可能不熟悉正進(jìn)行的任務(wù)的工作流程描述60或?qū)υ挕Ｔ谶@些情況下，可能不清楚的是，哪個(gè)輸入模式部件適于處理給定的提示。根據(jù)本發(fā)明的一方面，本發(fā)明的處理系統(tǒng)和多模態(tài)軟件應(yīng)用52使用特殊的提示或輸入欄而提供了通知或指示，所述提示或輸入欄的輸入部件或模式有效地輸入數(shù)據(jù)或者輸入用于該提示或欄的相應(yīng)，以處理提示。通過合適的輸出模式提供指示，用于指示用戶可用何種輸入模式/部件以處理提示。本發(fā)明利用一種模式中的指示以告知用戶，特定模式能夠或適于對(duì)提示的響應(yīng)或?qū)εc提示相關(guān)的欄的數(shù)據(jù)的輸入。例如，如果來自工作流程描述60的提示將使用揚(yáng)聲器50語音地提示，諸如在語音指導(dǎo)/協(xié)助的工作環(huán)境中，該指示可以通過語音地列出可用于響應(yīng)或處理語音提示的輸入部件或模式而遵循提示。作為選擇地，如果來自工作流程描述60的提示，其形式是可視地顯示在顯示屏42上，諸如開放的數(shù)據(jù)欄，那么對(duì)話引擎62也可以在顯示屏42上在提示或欄附近提供可視的提示，以指示可用的用于響應(yīng)的輸入部件或模式。也可以通過不同模式提供指示。因而，正如用于向用戶提供提示所使用的，可以通過相同的輸出模式部件或不同的輸出模式部件，而提供向用戶指示可用用于處理提示的何種輸入模式部件的指示。在圖4A-4C中示出了本發(fā)明的實(shí)施例的一個(gè)實(shí)例。圖4A-4C包括一系列顯示器或顯示屏42的屏幕截圖，其例如可以實(shí)施在移動(dòng)設(shè)備14中。屏幕42示出了采取數(shù)據(jù)欄的形式的一系列提示，用于提供受損貨物的報(bào)告，諸如在庫存系統(tǒng)中。在本文的該實(shí)例和其他實(shí)例中，由多模態(tài)軟件應(yīng)用52管理用于受損貨物報(bào)告的數(shù)據(jù)錄入。正如可從圖4A中可見的，通過在產(chǎn)品ID欄周圍設(shè)置粗高亮框而高亮顯示第一提示/欄100。伴隨第一提示100的是與高亮提示100相鄰的一對(duì)可視圖標(biāo)102、104?？梢晥D標(biāo)102、104對(duì)應(yīng)于用于對(duì)提示的輸入或響應(yīng)的模式，分別諸如條形碼掃描102或者語音錄入104。因而，工作者38知曉通過從頭戴式耳機(jī)48的麥克風(fēng)46中說出ID或者使用合適的掃描儀44掃描條形碼，可以處理或填充產(chǎn)品ID提示/欄100。用戶不需要記住或知曉用于處理提示100的所有合適的輸入模式。相反地，在圖4A-4C的所示實(shí)施例中，顯示器42提供可視圖標(biāo)，指示用于處理該提示/欄的合適輸入模式。一旦提供了對(duì)提示的響應(yīng)，諸如通過口述的意見或掃描，用輸入數(shù)據(jù)或信息視覺地填充了該欄。作為選擇地，或者作為添加地，可以使用語音以指示“掃描”或“語音”是合適的輸入模式，以及圖標(biāo)102、104。參見圖4，已經(jīng)處理了產(chǎn)品ID100和訂購單105提示，并且已經(jīng)填充了該欄，而且由損壞類型提不或欄106周圍的另一聞売框指不另一提不。此外，由接近受:損類型提不欄106的一組可視圖標(biāo)108、110而伴隨提示欄106。在該情況下，圖標(biāo)108指示條形碼掃描并非合適的模式。因而，根據(jù)本發(fā)明一個(gè)方面，圖標(biāo)還可以提供關(guān)于特定模式的負(fù)標(biāo)記，以向用戶指示該模式不可用于輸入數(shù)據(jù)。當(dāng)然，僅使得該模式不出現(xiàn)在所提供的圖標(biāo)列表中也可用于指示不可用的模式，如圖4A中所示。圖標(biāo)110指示對(duì)于語音模式，工作者38可以向麥克風(fēng)46說出數(shù)據(jù)，而圖標(biāo)112指示作為另一種模式，工作者可以使用鍵盤40輸出數(shù)據(jù)。提示和指示的該處理繼續(xù)，直到處理了所有提示，并且已經(jīng)完成了輸入欄，或者回答提示，如圖4C的最后狀態(tài)所不。在圖5A-5D中示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的具有每個(gè)提示的通知的另一實(shí)例。如在前一操作中，在圖5A中，通過高亮顯示提示/欄100，諸如產(chǎn)品ID欄，而提供了第一提示100?，F(xiàn)在由顯示與可視提示和圖標(biāo)102、104相鄰的文字或文本114、116，而提供有效輸入模式或部件的通知。如前所述，指示可以使用掃描儀44的文本114，可以伴隨可視掃描儀圖標(biāo)102。同樣地，如前所述，指示可以使用語音的文本116可以伴隨語音可視圖標(biāo)104。作為選擇地，可以僅使用文本114、116，而無圖標(biāo)102、104。雖然如圖4A-4C和5A-5D中所示，本發(fā)明的實(shí)施例示出了與特定提示或欄相關(guān)的數(shù)據(jù)錄入的合適模式的圖形指示，但是在本發(fā)明另一實(shí)施例中，可以由多模態(tài)系統(tǒng)的其他輸出模式、而非使用顯示屏42而可視地提供合適輸入模式的這些指示。例如，可以提供語音指示以指示合適的輸入模式。參考圖5A作為實(shí)例，如前所述，可以向用戶說出詞語“SCAN”114，并且由揚(yáng)聲器50播放，而非圖形所示。作為選擇地，可以說出詞匯，并且圖形地示出，從而用戶可以知曉合適的輸入模式，而無需切實(shí)地查看屏幕42。類似地，可以語音地提供“V0ICE”116語音指示，諸如通過頭戴式耳機(jī)48的揚(yáng)聲器。除了語音之外，音調(diào)可以提供合適輸入模式的非語音指不O例如,用于語音的輸入模式可能具有一種音調(diào)，而掃描儀或鍵盤的輸入模式可能具有其自身的音調(diào)。正如可以是到的，可以對(duì)每種可能的輸入模式使用音調(diào)?？梢哉J(rèn)為這種語音指示“耳聽信號(hào)”，而非“圖標(biāo)”。在任意情況下，可以通過使用文本-語音(TTS)功能的語音或者使用這種“耳聽信號(hào)”而提供合適輸入模式的語音提示?？梢詥为?dú)使用語音指示，而不具有任何可視指示。根據(jù)本發(fā)明另一方面，可以對(duì)于每個(gè)合適的輸入模式提供多個(gè)指示。例如，如圖5A中所示，可以在圖形文本114、116或者語音指示之外,提供圖標(biāo)102或104。作為選擇地，如圖4A中所示，可以單獨(dú)使用圖標(biāo)102、104。進(jìn)一步地，可以僅在屏幕42上顯示文本114、116，而不具有任何相應(yīng)的圖標(biāo)102、104。作為選擇地，可以使用這種圖形和文本指示的任何其他指示，具有或者不具有語音指示(語音或耳聽信號(hào))。因而，本發(fā)明不局限于就特定提示或數(shù)據(jù)欄的合適輸入模式而建議用戶的指示或指示組合的特定類型。再參考圖5B,再使用加粗或聞売顯不的框而不出提不106,其中具有使用對(duì)應(yīng)于圖4B中在先描述的圖標(biāo)108、110、112的文本118、120、122而現(xiàn)實(shí)的有效輸入模式或部件的通知。因而，工作者38立即知曉可以通過語音或麥克風(fēng)46或小鍵盤或鍵盤40、而非通過掃描儀44而回答提示106。一旦已經(jīng)回答或處理了來自工作流程描述60的所有提示，如圖5C所示，將完成多模態(tài)應(yīng)用52和工作流程對(duì)話。在另一實(shí)施例中，可以使用適當(dāng)?shù)念伾珜?duì)提示進(jìn)行顏色編碼。例如，如圖中所示，可以使用具有合適顏色的框架包圍每個(gè)提示或欄，其中顏色可以指示可選擇的輸入模式，用于處理提示或者將數(shù)據(jù)輸入提供至欄。如圖中所示，為了指示顏色，使用所示的合適輸入模式示出了特殊的框架圖案。例如，提示100可以具有與之相關(guān)的顏色130和132，其中顏色130指示語音是合適的輸入模式，而顏色132指示了掃描或者來自掃描儀的輸入是合適的輸入模式。作為選擇地，提示106可以是使用顏色130或顏色134進(jìn)行適當(dāng)?shù)念伾幋a的提示106，其指示鍵盤或小鍵盤輸入以及語音是合適的模式。這樣，一旦用戶熟悉了特定顏色，他們可以容易地進(jìn)行提示并且知曉合適的輸入模式。在本發(fā)明的另一備選實(shí)施例中，各種可視圖標(biāo)和文本、諸如圖標(biāo)102、104或文本114、116，還可以進(jìn)行適當(dāng)?shù)念伾幋a，用于進(jìn)一步視覺指示用于該特定提示或欄的合適輸入模式。還可以在當(dāng)前提示窗內(nèi)而非窗周圍使用顏色。因而，本發(fā)明不局限于僅將提示附近的顏色特定關(guān)聯(lián)到提示，以指示合適的輸入模式，并且將覆蓋顏色實(shí)際是提示窗一部分以及接近提示窗的情況。不考慮提供的可視指示提示或者語音指示，工作者38由于立刻知曉如何響應(yīng)于提示序列而通過工作流程描述60的提示，而更有效地工作。即使有經(jīng)驗(yàn)的工作者，通過學(xué)習(xí)可以處理或回答提示的新方法，可以獲益于系統(tǒng)10，因?yàn)槎嗄B(tài)軟件應(yīng)用52改變以包括更多的輸入模式和部件以及更多的輸出模式和部件。因而，本發(fā)明減少多模態(tài)系統(tǒng)中的復(fù)雜性并且減少了訓(xùn)練時(shí)間，因而增加了工作或效率，并且可能減小技術(shù)支持的工作量。用戶在特定輸入提示或欄上被通知哪個(gè)有效和合適的輸入模式或機(jī)構(gòu)用于處理該提示/欄。隨后，用戶可以選擇他們提供給日常任務(wù)的最有效模式或方法。這樣，用戶無需就每個(gè)提示可用何種有效的輸入模式或機(jī)構(gòu)而特別進(jìn)行培訓(xùn)，并且無需記住對(duì)于每個(gè)提示何種模式或機(jī)構(gòu)有效。這對(duì)于未以高重復(fù)率而在工作流程中實(shí)施的任務(wù)而言，可能尤為有利，并且將允許用戶快速地完成可能并不常遇見的大量任務(wù)。根據(jù)本發(fā)明另一實(shí)施例，通過向提示命令或未來提示的用戶提供視覺指示，增強(qiáng)了語音系統(tǒng)的提前說話特征，以便于利用提前說話功能。在一個(gè)實(shí)施例中，本發(fā)明向用戶或工作者提供了通知，指示將處理的當(dāng)前提示以及工作流程的序列中的下一個(gè)隨后提示。這允許工作者38使用提前說話語音特征用于這些合適的語音提示。提前說話功能允許工作者38通過提供多個(gè)意見用于序列中的多個(gè)提示，從而在提出提示用于響應(yīng)之前，提供輸入。例如，代替需要兩個(gè)不同的提示，諸如“性別？ ”以及“頭發(fā)顏色？ ”，用戶可以在聽到第一個(gè)提示后直接回答“男性一棕色”。因而，已經(jīng)處理了第二個(gè)提示，從而變得不再必要，并且由對(duì)話引擎62跳過。對(duì)話引擎62還將錄入的輸入數(shù)據(jù)分成適于提示序列的響應(yīng)或欄。然而，這種提前說話功能需要工作者38必須知曉提示序列，以便于使用提前說話，從而變得更有效。這并不總是可行的，諸如對(duì)于不常遇到的那些工作任務(wù)。用戶從未以足以有效的重復(fù)率執(zhí)行任務(wù)。
然而，本發(fā)明的多模態(tài)系統(tǒng)允許即使對(duì)于不常發(fā)生的任務(wù)，對(duì)于工作流程描述60以及任務(wù)的提示可能并不熟練的工作者38知曉即將發(fā)生的提示序列，因而對(duì)提前說話進(jìn)行整合，從而變得更有效。本發(fā)明通過向每個(gè)提示提供可視通知而允許這樣進(jìn)行，從而指示當(dāng)前提示以及至少序列中的下一提示。正如下面兩個(gè)例子中將說明的，可以在移動(dòng)計(jì)算機(jī)設(shè)備14的顯示屏42上提供通知。圖6A-6D示出了本發(fā)明另一實(shí)施例的顯示屏42的一系列屏幕截圖。如圖6A中所示，如在先討論的本文另一實(shí)例，顯示用于受損貨物報(bào)告的相同系列的提示和欄。本發(fā)明通過多模態(tài)軟件應(yīng)用52而在顯示屏42上提供鄰近工作流程對(duì)話中后三個(gè)提示的每個(gè)的可視提示124、126、128，以示出用于提供的任意輸入的提示序列，諸如來自用戶的語音意見。用于第一或當(dāng)前提示的視覺指示124可以包括圖標(biāo)，其具有數(shù)字1，諸如圓形的特定形狀或者特定顏色(由圖6A中的線型所指示)。如果使用顏色作為對(duì)序列提示順序的指示，可視提示124還可以包括對(duì)提示/數(shù)據(jù)欄以及用于該提示的邊界的色彩編碼的高亮顯示。以類似的方式，用于第二或下一提示的視覺提示126可以包括圖標(biāo)，其具有數(shù)字2、諸如方形的特定形狀或者應(yīng)用于該圖標(biāo)或數(shù)據(jù)欄或邊界的特定顏色。用于下一或第三提示的視覺提示128通過使用不同的數(shù)字、形狀、圖標(biāo)或顏色而使其自身與先前的視覺提示124、126有所區(qū)別。因而，在圖6A中，工作者38將從顯示屏42中知曉接下來三個(gè)提示將按序是產(chǎn)品ID、訂購單和受損類型。如圖6B中所示，如果工作者38分別地輸入產(chǎn)品ID，多模態(tài)應(yīng)用52再安排提示并且引導(dǎo)顯示屏42上的提示和通知轉(zhuǎn)換或改變?，F(xiàn)在，指示訂購單為第一提示，而指示受損類型和受損量為第二和第三即將發(fā)生的提示。如圖6C中所示，如果工作者38再處理提示105并且其自身提供訂購單錄入或數(shù)據(jù)，那么多模態(tài)應(yīng)用轉(zhuǎn)換顯示屏上的提示和提示順序。在該狀態(tài)下，顯示屏42清楚地指示接下來的順序提示為受損類型、受損量和數(shù)量類型。在提示順序中的任何時(shí)候，提供提前說話功能。視覺指示或通知將用戶引導(dǎo)至正確的提前說話順序，從而能以正確的方式通過語音錄入數(shù)據(jù)。在提示處理中的該點(diǎn)時(shí)，如圖6C中所示，工作者38可以通過按序發(fā)聲或說出“322而選擇錄入多個(gè)響應(yīng)和數(shù)據(jù)，用于處理即將發(fā)生的提示。隨后，如圖6D所 示，對(duì)話引擎62將來自意見的輸入數(shù)據(jù)的三個(gè)分離片段應(yīng)用至接下來三個(gè)順序提示，而完成詢問。雖然所示的指示124、126、128示出了定位、編號(hào)、顏色和形狀作為提示順序的可能指示，但是這種視覺指示并非限制性的。例如，可以使用視覺指示的尺寸，從而視覺指示尺寸按序變得更大或更小。而且，指示可以以一定圖案而在屏幕42上閃爍，其向用戶提供了關(guān)于提不的順序的 目息。雖然圖6A-6D示出了視覺指示與提示(例如100、105、106)相鄰，但是本發(fā)明的視覺指示也可以是提示的一部分。即，當(dāng)前提示和數(shù)據(jù)欄100、105、106之間的色差可以指示提示序列。提示的部分也可以不同地閃爍，以示出提示的順序。各個(gè)不同的視覺圖標(biāo)24、126、128可以具有合適的數(shù)量、顏色、形狀和其他指示的任意組合，如上所述，以便于正確地告知用戶提示的序列，從而可以正確和準(zhǔn)確地實(shí)施多模態(tài)系統(tǒng)的語音模式的提前說話特征，用于對(duì)話。這允許即使在工作流程不可預(yù)知或者本質(zhì)上是部分時(shí)間，從而用戶可能在記憶提示順序上存在困難時(shí)，也可以利用提前說話特征。利用本發(fā)明，提供了語音模式的提前說話或過后說話的優(yōu)點(diǎn)，而無需用戶記住提示順序。使用基于屏幕的提示、圖標(biāo)或者關(guān)于未來提示的其他視覺提示以及必須的提示順序，用戶在工作任務(wù)和對(duì)話中能夠提前說話。圖7A-7D示出了根據(jù)本發(fā)明另一實(shí)施例的顯示屏42的一系列屏幕截圖。與前一操作相同，處理系統(tǒng)、尤其是多模態(tài)軟件應(yīng)用52，通過在顯示屏42上輸出視覺提示，而按序提供了對(duì)當(dāng)前提示和即將發(fā)生的提示的指示。代替使用圖標(biāo)，在備選實(shí)施例中，多模態(tài)應(yīng)用52將提示定位在顯示屏42上的順序?yàn)樗鼈儗⒈惶幚淼捻樞?。從圖7A開始，工作者38將知曉即將發(fā)生的提示是產(chǎn)品ID，隨后按序?yàn)橛嗁弳魏褪軗p類型，因?yàn)檫@是提示如何在顯示屏42的上半部從頂?shù)降锥ㄎ惶崾?。還可以使用可以包括如前所述的顏色的加粗高亮顯示框，而指示當(dāng)前提示。隨著工作者38錄入產(chǎn)品ID,或者處理或響應(yīng)提示140,顯示錄入并且將提示移動(dòng)至顯示屏42的右手側(cè)，如圖7B中所示。現(xiàn)在訂購單提示142已經(jīng)移動(dòng)至左手側(cè)的頂部，以指示其作為當(dāng)前提示，其后是受損類型144和受損數(shù)量146。如果使用響應(yīng)而處理訂購單提示142，多模態(tài)應(yīng)用52進(jìn)行至圖7C所示的狀態(tài)，其中在顯示屏42的右手側(cè)上填充訂購單或欄提示142。那么，如果工作者38確定錄入“322”以回答顯示屏42的左手側(cè)上的接下來三個(gè)提示，那么對(duì)話引擎62將識(shí)別多個(gè)錄入，并且將其與各個(gè)序列提示144、146、148而相關(guān)，如圖7D的最終狀態(tài)所示。隨后，如圖7D所示，當(dāng)回答了所有提示時(shí)，在最終屏幕上可以重新安排屏幕和提示。雖然已經(jīng)通過描述本發(fā)明的多個(gè)實(shí)施例而說明了本發(fā)明，并且雖然已經(jīng)相當(dāng)詳細(xì)地描述了這些實(shí)施例，但是申請(qǐng)人的意圖并不是將隨附權(quán)利要求的范圍限制于這樣的細(xì)節(jié)。對(duì)于本領(lǐng)域技術(shù)人員，其他優(yōu)點(diǎn)和修改方案將是顯然的。例如，多模態(tài)軟件應(yīng)用52可以對(duì)每個(gè)提示具有對(duì)即將發(fā)生的提示的通知，以及多個(gè)輸入界面部件的中哪個(gè)部件是對(duì)于各個(gè)提示的有效接收器的通知。因而，本發(fā)明在更寬泛的方面不局限于所示和所述的特定細(xì)節(jié)、示意性裝置和方法以及示意性實(shí)例。因此，可以對(duì)這種細(xì)節(jié)進(jìn)行改變，而不脫離申請(qǐng)人基本發(fā)明概念的精神和范圍。
權(quán)利要求
1.一種用于處理信息的多模態(tài)系統(tǒng)，包括: 計(jì)算機(jī)設(shè)備； 與計(jì)算機(jī)設(shè)備耦合的多個(gè)輸入模式部件和多個(gè)輸出模式部件，所述多個(gè)輸入模式部件用于向計(jì)算機(jī)設(shè)備提供輸入數(shù)據(jù)，并處理來自計(jì)算機(jī)設(shè)備的輸出數(shù)據(jù)； 計(jì)算機(jī)設(shè)備的處理系統(tǒng)，配置以從所述多個(gè)輸入模式部件中的至少之一接收數(shù)據(jù)，并且將數(shù)據(jù)輸出至所述多個(gè)輸出模式部件中至少之一，該處理系統(tǒng)配置以執(zhí)行通過輸出模式部件向用戶提供至少一個(gè)提示的對(duì)話； 該處理系統(tǒng)提供與提示相關(guān)的指示，該指示是通過輸出模式部件提供的，以用于向用戶指示哪些輸入模式部件能夠處理提示。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中至少一個(gè)輸入模式部件是計(jì)算機(jī)設(shè)備的一部分。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中至少一個(gè)輸出模式部件是計(jì)算機(jī)設(shè)備的一部分。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)輸出模式部件包括揚(yáng)聲器，而至少一個(gè)提示包括由揚(yáng)聲器傳遞的語音提示。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)輸出模式部件包括揚(yáng)聲器，并且其中可用的輸入模式部件的指示是由揚(yáng)聲器傳遞的語音指示。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)輸出模式部件包括顯示器，而至少一個(gè)提示包括在顯示器上示出的視覺提示。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)輸出模式部件包括顯示器，并且其中可用的輸入模式部件的指示是在顯示器上示出的視覺指示。
8.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中語音指示包括語音和耳聽信號(hào)中至少之一，以用于向用戶指示哪些輸入模式部件能夠處理提示。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中視覺指示包括圖標(biāo)、文本和顏色中至少之一，以用于向用戶指示哪些輸入模式部件能夠處理提示。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中通過向用戶提供至少一個(gè)提示的相同輸出模式部件提供用于向用戶指示哪些輸入模式部件能夠處理提示的指示。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中通過向用戶提供至少一個(gè)提示的不同輸出模式部件提供用于向用戶指示哪些輸入模式部件能夠處理提示的指示。
12.一種使用包括與計(jì)算機(jī)設(shè)備耦合的多個(gè)輸入模式部件和多個(gè)輸出模式部件的計(jì)算機(jī)設(shè)備執(zhí)行多模態(tài)應(yīng)用的方法，該方法包括: 從多個(gè)輸入模式部件中至少之一接收數(shù)據(jù)，并且將數(shù)據(jù)輸出至所述多個(gè)輸出模式部件中至少之一； 執(zhí)行對(duì)話并使用所述多個(gè)輸出模式部件中所選的一個(gè)提示用戶輸入數(shù)據(jù)并且根據(jù)對(duì)話處理提示； 通過輸出模式部件提供與提示相關(guān)的指示，以用于向用戶指示哪些輸入模式部件能夠接收數(shù)據(jù)以處理提示。
13.根據(jù)權(quán)利要求12所述的方法，還包括以揚(yáng)聲器傳遞的語音提示而提示用戶。
14.根據(jù)權(quán)利要求12所述的方法，還包括使用揚(yáng)聲器傳遞的語音指示而提供與提示相關(guān)的指不。
15.根據(jù)權(quán)利要求12所述的方法，還包括以顯示器上示出的視覺提示而提示用戶。
16.根據(jù)權(quán)利要求12所述的方法，還包括使用顯示器上示出的視覺指示而提供與提示相關(guān)的指不。
17.根據(jù)權(quán)利要求14所述的方法，其中語音指示包括語音和耳聽信號(hào)中至少之一，以用于向用戶指示哪些輸入模式部件能夠處理提示。
18.根據(jù)權(quán)利要求16所述的方法，其中視覺指示包括圖標(biāo)、文本和顏色中至少之一，以用于向用戶指示哪些輸入模式部件能夠處理提示。
19.一種用于處理信息的多模態(tài)系統(tǒng),包括: 計(jì)算機(jī)設(shè)備； 與計(jì)算機(jī)設(shè)備耦合的多個(gè)輸入模式部件和多個(gè)輸出模式部件，所述多個(gè)輸入模式部件用于向計(jì)算機(jī)設(shè)備提供輸入數(shù)據(jù)并處理來自計(jì)算機(jī)設(shè)備的輸出數(shù)據(jù)； 計(jì)算機(jī)的處理系統(tǒng)，配置以從多個(gè)輸入模式部件中的至少之一接收數(shù)據(jù)并且將數(shù)據(jù)輸出至所述多個(gè)輸出模式部件中之一，該處理系統(tǒng)配置以執(zhí)行通過輸出模式部件向用戶提供一系列提不的對(duì)話； 處理系統(tǒng)提供了與提示相關(guān)的反映了一系列提示的順序的指示，所述指示是通過輸出模式部件提供的，以用于向用戶指示當(dāng)前提示以及按順序至少下一個(gè)提示，以使得用戶能夠按順序處理提示。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述多個(gè)輸出模式部件包括顯示器，并且指示是在顯示器上示出的視覺指示。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中視覺指示是與顯示器上的提示相鄰的圖標(biāo)。
22.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中視覺指示是顯示器上提示的一部分。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中視覺指示使用下列中至少之一反映一系列提示的順序:提示的尺寸、提示的位置以及提示的閃爍部分。
24.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中對(duì)圖標(biāo)進(jìn)行區(qū)分以反映一系列提示的順序，其中圖標(biāo)由下列中至少之一來區(qū)分:形狀、顏色和編號(hào)。
25.一種使用包括與計(jì)算機(jī)設(shè)備耦合的多個(gè)輸入模式部件和多個(gè)輸出模式部件的計(jì)算機(jī)設(shè)備執(zhí)行多模態(tài)應(yīng)用的方法，該方法包括: 從多個(gè)輸入模式部件中至少之一接收數(shù)據(jù)，并且將數(shù)據(jù)輸出至所述多個(gè)輸出模式部件中至少之一； 執(zhí)行對(duì)話并且使用所述多個(gè)輸出模式部件中所選的一個(gè)提示用戶輸入數(shù)據(jù)并且根據(jù)對(duì)話回答一系列提示； 通過輸出模式部件提供與提示相關(guān)的反映了一系列提示的順序的指示，以用于向用戶指示當(dāng)前提示以及按順序至少下一個(gè)提示，以使得用戶能夠按順序處理提示。
26.根據(jù)權(quán)利要求25所述的方法，還包括對(duì)于接收的輸入數(shù)據(jù)，確定輸入數(shù)據(jù)是否應(yīng)當(dāng)與一系列提示中的單個(gè)提示或多個(gè)提示相關(guān)聯(lián)。
27.根據(jù)權(quán)利要求25所述的方法，其中指示包括在顯示器上示出的視覺指示。
28.根據(jù)權(quán)利要求27所述的方法，其中視覺指示是與顯示器上的提示相鄰的圖標(biāo)。
29.根據(jù)權(quán)利要求27所述的方法，其中視覺指示是顯示器上的提示的一部分。
30.根據(jù)權(quán)利要求29所述的方法，其中視覺指示使用下列中至少之一反映一系列提示的順序:提示的尺寸、提示的位置以及提示的閃爍部分。
31.根據(jù)權(quán)利要求28所述的方法，其中對(duì)圖標(biāo)進(jìn)行區(qū)分以反映一系列提示的順序，其中圖標(biāo)由下列中至少之一來區(qū)分:形狀、顏色和編號(hào)。
32.根據(jù)權(quán)利要求25所述的方法，還包括: 通過輸出模式部件提供與提示相關(guān)的指示， 以用于向用戶指示哪些輸入模式部件能夠接收數(shù)據(jù)以處理提示。
全文摘要
一種用于執(zhí)行多模態(tài)軟件應(yīng)用52的系統(tǒng)，包括具有多個(gè)輸入接口部件的移動(dòng)計(jì)算機(jī)設(shè)備14、多模態(tài)軟件應(yīng)用52和與多模態(tài)軟件應(yīng)用52操作通信的對(duì)話引起62。多模態(tài)軟件應(yīng)用52配置以從多個(gè)輸入接口部件接收第一數(shù)據(jù)。對(duì)話引擎62通過向輸出接口部件提供提示而執(zhí)行來自多模態(tài)軟件應(yīng)用52的工作流程描述60。這些提示中每一個(gè)包括通知，指示哪個(gè)輸入接口部件是對(duì)于各個(gè)提示的有效接收器。而且，通知可以指示當(dāng)前提示以及序列中的至少下一個(gè)提示。
文檔編號(hào)G10L15/26GK103189826SQ201180052500
公開日2013年7月3日 申請(qǐng)日期2011年7月21日 優(yōu)先權(quán)日2010年9月10日
發(fā)明者S·尼克爾 申請(qǐng)人:沃科萊特有限公司