背景技術(shù):
如本領(lǐng)域所已知的,在一些系統(tǒng)中,單個(gè)語(yǔ)音識(shí)別ui系統(tǒng)可以處理用于多個(gè)應(yīng)用的用戶話語(yǔ)。仲裁模塊可以選擇應(yīng)用中的一個(gè)來(lái)響應(yīng)用戶話語(yǔ)。在常規(guī)系統(tǒng)中,多類分類器執(zhí)行針對(duì)各種應(yīng)用的仲裁。然而,這種多類分類器是針對(duì)已知的應(yīng)用而訓(xùn)練的。因此,多類分類器不容易擴(kuò)展用于獨(dú)立開發(fā)的應(yīng)用。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的實(shí)施例提供了用于具有多個(gè)模塊的單個(gè)用戶界面(ui)系統(tǒng)的方法和裝置,其中每個(gè)模塊實(shí)現(xiàn)完整系統(tǒng)的ui功能的子集。模塊典型地對(duì)應(yīng)于由系統(tǒng)所支持的應(yīng)用。在運(yùn)行時(shí),由一個(gè)仲裁系統(tǒng)應(yīng)用仲裁,該仲裁系統(tǒng)對(duì)由用戶傳遞到ui系統(tǒng)的請(qǐng)求進(jìn)行分析,并且取決于所請(qǐng)求的功能,ui系統(tǒng)將控制傳遞到相關(guān)模塊。本發(fā)明的實(shí)施例涉及基于語(yǔ)音識(shí)別的ui系統(tǒng),其中用戶輸入是語(yǔ)音命令,但是本發(fā)明的實(shí)施例也可以用于處理可能不明確的輸入的其他ui系統(tǒng)。
一般來(lái)說,模塊彼此獨(dú)立地操作并可以被彼此獨(dú)立地開發(fā),從而可以容易地與其他模塊對(duì)框架進(jìn)行擴(kuò)展,而不需要改變現(xiàn)有模塊或改變仲裁系統(tǒng)。本發(fā)明的實(shí)施例根據(jù)未定義數(shù)量的獨(dú)立開發(fā)的ui模塊(可以向其給予控制的ui模塊)提供了ui系統(tǒng)。
在說明性的實(shí)施例中,可能在一些第一處理(例如,對(duì)音頻話語(yǔ)應(yīng)用自動(dòng)的語(yǔ)音識(shí)別)之后,將到ui系統(tǒng)的用戶輸入傳遞到相應(yīng)的模塊。每個(gè)模塊輸出概率以表示輸入具有的與相應(yīng)模塊的功能的相關(guān)性等級(jí)。模塊獨(dú)立操作并向仲裁模塊提供輸入,仲裁模塊可以處理來(lái)自任何實(shí)際數(shù)量的模塊的輸入。仲裁模塊的作用是采集相應(yīng)模塊的輸出,并將它們中的一個(gè)或多個(gè)提出為應(yīng)該被允許處理用戶的命令的模塊。
本發(fā)明的實(shí)施例適用于其中期望可擴(kuò)展的框架的各種應(yīng)用,舉例來(lái)說,例如將包括一個(gè)或多個(gè)支持語(yǔ)音的應(yīng)用的不同設(shè)備連接到汽車中的頭部單元,和/或允許不同的asr/nlu技術(shù)在系統(tǒng)中共享單個(gè)麥克風(fēng)的集成系統(tǒng)。進(jìn)一步的應(yīng)用包括提供asr/nlu系統(tǒng)的可擴(kuò)展系統(tǒng),其可以與在不同設(shè)備上下載和執(zhí)行的其他模塊一起擴(kuò)展。應(yīng)當(dāng)理解,模塊不一定必須存在于不同的設(shè)備上。也可以在單個(gè)設(shè)備上(具有所提供的靈活性),可以在不同的時(shí)間點(diǎn)由獨(dú)立的團(tuán)隊(duì)來(lái)開發(fā)模塊,可以由用戶對(duì)它們進(jìn)行自由選擇和組合等。
在本發(fā)明的一個(gè)方面中,一種方法包括:響應(yīng)于用戶話語(yǔ)而從第一應(yīng)用的第一分類器接收第一輸入,第一輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第一應(yīng)用的域內(nèi)的概率,其中在針對(duì)第一應(yīng)用的域內(nèi)表示第一應(yīng)用包括響應(yīng)話語(yǔ)所需要的功能;響應(yīng)于用戶話語(yǔ)而從第二應(yīng)用的第二分類器接收第二輸入,第二輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第二應(yīng)用的域內(nèi)的概率;以及使用第一和第二輸入來(lái)對(duì)用戶話語(yǔ)執(zhí)行仲裁,以使得第一應(yīng)用和第二應(yīng)用中的第一個(gè)優(yōu)先化以用于響應(yīng)用戶話語(yǔ)。
該方法還可以包括以下特征中的一個(gè)或多個(gè):由特定于第一應(yīng)用的第一應(yīng)用中的asr模塊對(duì)用戶話語(yǔ)執(zhí)行自動(dòng)語(yǔ)音識(shí)別(asr),并生成針對(duì)用戶話語(yǔ)的第一n-最佳列表,由第一應(yīng)用中的第一分類器處理第一n-最佳列表,由車輛的頭部單元上的仲裁模塊執(zhí)行仲裁,第一應(yīng)用位于車輛上并且第二應(yīng)用位于無(wú)線連接到頭部單元的移動(dòng)電話上,使用參考數(shù)據(jù)集來(lái)訓(xùn)練第一分類器和第二分類器,第一分類器包括域內(nèi)/域外分類器,其中針對(duì)域內(nèi)數(shù)據(jù)使用與第一應(yīng)用相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器,而針對(duì)域外數(shù)據(jù)使用與第一應(yīng)用不相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器,其中后者是從參考數(shù)據(jù)集中提取的,第一應(yīng)用和第二應(yīng)用是獨(dú)立開發(fā)的,但是使用相同的參考數(shù)據(jù)集來(lái)獲得用于訓(xùn)練的域外數(shù)據(jù),和/或第一分類器接收特征集作為從用戶話語(yǔ)得到的輸入。
在本發(fā)明的另一方面中,一種產(chǎn)品包括:具有存儲(chǔ)的指令的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),該存儲(chǔ)的指令使得機(jī)器能夠:響應(yīng)于用戶話語(yǔ)而從第一應(yīng)用的第一分類器接收第一輸入,第一輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第一應(yīng)用的域內(nèi)的概率,其中在針對(duì)第一應(yīng)用的域內(nèi)指示由第一應(yīng)用提供的功能;響應(yīng)于用戶話語(yǔ)而從第二應(yīng)用的第二分類器接收第二輸入,第二輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第二應(yīng)用的域內(nèi)的概率;以及使用第一輸入和第二輸入來(lái)對(duì)用戶話語(yǔ)執(zhí)行仲裁,以使得第一應(yīng)用和第二應(yīng)用中的第一個(gè)優(yōu)先化以用于響應(yīng)用戶話語(yǔ)。
該產(chǎn)品還可以包括以下特征中的一個(gè)或多個(gè):由特定于第一應(yīng)用的第一應(yīng)用中的asr模塊對(duì)用戶話語(yǔ)執(zhí)行自動(dòng)語(yǔ)音識(shí)別(asr),并生成針對(duì)用戶話語(yǔ)的第一n-最佳列表,由第一應(yīng)用中的第一分類器處理第一n-最佳列表,由車輛的頭部單元上的仲裁模塊執(zhí)行仲裁,第一應(yīng)用位于車輛上并且第二應(yīng)用位于無(wú)線連接到頭部單元的移動(dòng)電話上,使用參考數(shù)據(jù)集來(lái)訓(xùn)練第一分類器和第二分類器,第一分類器包括域內(nèi)/域外分類器,針對(duì)域內(nèi)數(shù)據(jù)而使用與第一應(yīng)用相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器并且針對(duì)域外數(shù)據(jù)而使用與第一應(yīng)用不相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器,其中后者是從參考數(shù)據(jù)集中提取的,第一應(yīng)用和第二應(yīng)用是獨(dú)立開發(fā)的,但是使用相同的參考數(shù)據(jù)集來(lái)獲得域外數(shù)據(jù),和/或第一分類器接收特征集作為從用戶話語(yǔ)得到的輸入。
在本發(fā)明的另外的方面中,一種系統(tǒng)包括:與第一應(yīng)用和第二應(yīng)用通信的接口;耦合到該接口的仲裁模塊,該仲裁模塊基于響應(yīng)于用戶話語(yǔ)的來(lái)自第一應(yīng)用的第一輸入和響應(yīng)于用戶話語(yǔ)的來(lái)自第二應(yīng)用的第二輸入,對(duì)用戶的用戶話語(yǔ)進(jìn)行仲裁,其中從第一應(yīng)用的第一分類器來(lái)接收第一輸入,第一輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第一應(yīng)用的域內(nèi)的概率,其中在針對(duì)第一應(yīng)用的域內(nèi)對(duì)應(yīng)于由第一應(yīng)用提供的功能,并且其中從第二應(yīng)用的第二分類器來(lái)接收第二輸入,第二輸入包括用戶話語(yǔ)的至少一部分在針對(duì)第二應(yīng)用的域內(nèi)的概率,仲裁模塊使第一應(yīng)用和第二應(yīng)用中的第一個(gè)優(yōu)先化以用于響應(yīng)用戶話語(yǔ)。
該系統(tǒng)還可以包括以下特征中的一個(gè)或多個(gè):由特定于第一應(yīng)用的第一應(yīng)用中的asr模塊對(duì)用戶話語(yǔ)執(zhí)行自動(dòng)語(yǔ)音識(shí)別(asr),并生成針對(duì)用戶話語(yǔ)的第一n-最佳列表,由第一應(yīng)用中的第一分類器處理第一n-最佳列表,由車輛的頭部單元上的仲裁模塊執(zhí)行仲裁,第一應(yīng)用位于車輛上并且所第二應(yīng)用位于無(wú)線連接到頭部單元的移動(dòng)電話上,使用參考數(shù)據(jù)集來(lái)訓(xùn)練第一分類器和第二分類器,第一分類器包括域內(nèi)/域外分類器,針對(duì)域內(nèi)數(shù)據(jù)使用與第一應(yīng)用相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器并且針對(duì)域外數(shù)據(jù)使用與第一應(yīng)用不相關(guān)的輸入數(shù)據(jù)來(lái)訓(xùn)練域內(nèi)/域外分類器,其中后者是從參考數(shù)據(jù)集中提取的,第一應(yīng)用和第二應(yīng)用是獨(dú)立開發(fā)的,但是使用相同的參考數(shù)據(jù)集來(lái)獲得域外數(shù)據(jù),和/或第一分類器接收特征集作為從用戶話語(yǔ)得到的輸入。
附圖說明
根據(jù)以下附圖描述,可以更全面地理解本發(fā)明的前述特征,以及本發(fā)明自身,其中:
圖1是具有模塊可擴(kuò)展仲裁的系統(tǒng)的示意性表示;
圖2是示出具有模塊可擴(kuò)展仲裁的系統(tǒng)的進(jìn)一步細(xì)節(jié)的示意性表示;
圖3是示出用于模塊可擴(kuò)展仲裁的步驟的說明性順序的流程圖;
圖4是能夠執(zhí)行本文所描述的處理的至少一部分的說明性計(jì)算機(jī)的示意性表示。
具體實(shí)施方式
圖1示出了包括與多個(gè)設(shè)備104a-n通信的汽車頭部單元102的系統(tǒng)100。頭部單元102包括多個(gè)應(yīng)用106a-m,例如電話應(yīng)用106a、導(dǎo)航應(yīng)用106b以及娛樂應(yīng)用106n。應(yīng)當(dāng)理解,可以在汽車頭部單元102上提供各種各樣的應(yīng)用106。應(yīng)用106耦合到包括仲裁模塊110的交互模塊108。
諸如移動(dòng)電話的第一設(shè)備104a包括耦合到交互模塊114的應(yīng)用112,例如,社交媒體應(yīng)用。諸如平板計(jì)算機(jī)的第二設(shè)備104n包括耦合到交互模塊118的多個(gè)應(yīng)用116a-o,例如,導(dǎo)航應(yīng)用和sms應(yīng)用。
如下面更全面地描述的,仲裁模塊110確定頭部單元102或設(shè)備104上的哪個(gè)應(yīng)用應(yīng)當(dāng)響應(yīng)例如來(lái)自車輛中的乘客的用戶語(yǔ)音命令。仲裁還可以確定多個(gè)應(yīng)用能夠響應(yīng)用戶語(yǔ)音命令。在這種情況下,其作用是確定每個(gè)應(yīng)用的相對(duì)相關(guān)性。
盡管結(jié)合汽車頭部單元示出并描述了本發(fā)明的說明性實(shí)施例,但是應(yīng)當(dāng)理解,本發(fā)明的實(shí)施例適用于具有期望仲裁的各種應(yīng)用的任何系統(tǒng)。
圖2示出了具有實(shí)現(xiàn)用戶界面(ui)功能的子集的多個(gè)模塊202a-n的系統(tǒng)200。在實(shí)施例中,模塊202中的每一個(gè)都對(duì)應(yīng)于系統(tǒng)所支持的應(yīng)用。示例可以是支持導(dǎo)航功能(語(yǔ)音控制的導(dǎo)航)的模塊、支持電話功能(語(yǔ)音輔助的撥號(hào))的模塊以及支持控制音樂播放器的模塊。模塊202可以設(shè)置在車輛頭部單元或連接的設(shè)備上。在運(yùn)行時(shí),由單個(gè)仲裁模塊204提供仲裁,該單個(gè)仲裁模塊204對(duì)由用戶傳遞到ui系統(tǒng)的請(qǐng)求進(jìn)行分析。根據(jù)所請(qǐng)求的功能,仲裁模塊204將控制傳遞到相關(guān)模塊。
應(yīng)用202中的每一個(gè)從車輛頭部單元或連接的(或未連接的)設(shè)備提供不同功能,例如,移動(dòng)電話、導(dǎo)航、天氣、音樂。應(yīng)當(dāng)理解,設(shè)備可以使用任何合適的通信協(xié)議(例如,藍(lán)牙)來(lái)耦合到車輛頭部單元。一般來(lái)說,頭部單元和連接的應(yīng)用使用車輛的麥克風(fēng)和揚(yáng)聲器。在實(shí)施例中,仲裁模塊204駐留于車輛前端上,但是可以位于任何實(shí)際的本地或遠(yuǎn)程位置處。
在實(shí)施例中,模塊202彼此獨(dú)立地操作。一般來(lái)說,可以彼此獨(dú)立地開發(fā)模塊202,以提供容易擴(kuò)展的框架,而不改變現(xiàn)有模塊或仲裁系統(tǒng)204。如下文更全面地描述的,本發(fā)明的實(shí)施例根據(jù)未定義數(shù)量的獨(dú)立開發(fā)的ui模塊提供了ui系統(tǒng),并將控制指派給“正確的”模塊。
模塊202中的每一個(gè)都采用相同的共同定義的格式的輸入。典型地,在語(yǔ)音ui系統(tǒng)中,這將是用戶對(duì)系統(tǒng)的音頻命令(例如,“播放歌曲x”)。然而,它也可以是不同的格式。例如,本領(lǐng)域的技術(shù)人員可以首先放置asr模塊然后將其用作不同模塊的輸入,該asr模塊將音頻命令轉(zhuǎn)換為文本命令,并且對(duì)于所有模塊是公共的。
模塊202中的每一個(gè)都包括向仲裁模塊204提供輸出的功能。該輸出格式是單個(gè)數(shù)字,其指示接收到的輸入與當(dāng)前模塊相關(guān)的概率,例如,模塊具有用于響應(yīng)接收到的ui命令的所需要的功能。如下文更全面地解釋的,該概率對(duì)不同的模塊是可比較的。這種可比性使得仲裁模塊204能夠進(jìn)行操作。
在一個(gè)實(shí)施例中,每個(gè)模塊202中存在的功能包括相應(yīng)的輸入處理模塊210a-n和相應(yīng)的id-vs-ood分類器模塊241a-n。輸入處理210對(duì)輸入進(jìn)行分析并從其導(dǎo)出特征集212a-n。在輸入是以音頻命令形式的情況下,這種輸入處理通常會(huì)采用asr系統(tǒng)的形式。形成這種系統(tǒng)的輸出的特征集可以包括例如指示以下操作的數(shù)字向量或布爾值:
-在音頻信號(hào)中是否識(shí)別出了與模塊相關(guān)的某些關(guān)鍵字(例如,對(duì)于導(dǎo)航模塊來(lái)說,輸入處理器可以搜索諸如“駕駛”、“導(dǎo)航”等詞語(yǔ))。
-asr系統(tǒng)給予該識(shí)別的置信度分?jǐn)?shù)是多少(有多確定已經(jīng)成功地識(shí)別了語(yǔ)句)。
-由asr系統(tǒng)所識(shí)別的命令的語(yǔ)言模型分?jǐn)?shù)是多少(該命令包括以該順序的這些詞語(yǔ)的概率是多少)。
術(shù)語(yǔ)識(shí)別置信度、語(yǔ)言模型分?jǐn)?shù)以及特征集在本領(lǐng)域中是公知的。基于輸入信號(hào)來(lái)計(jì)算特征集以作為分類器的輸入的實(shí)踐在本領(lǐng)域中也是公知的。
id-vs-ood分類器214采用特征集212作為輸入,并得出所接收的輸入信號(hào)(其被處理以獲得特征集合)與當(dāng)前模塊相關(guān)的概率。我們將該概率稱為p(appa│s),其中,appa是當(dāng)前模塊,而s是輸入信號(hào)。注意,在說明性實(shí)施例中使用產(chǎn)生后驗(yàn)概率估計(jì)作為輸出的分類器。本領(lǐng)域所已知的示例是邏輯回歸或神經(jīng)網(wǎng)絡(luò)??梢栽谂c本領(lǐng)域相關(guān)的文獻(xiàn)中找到其他的這樣的分類器,并且其他的這樣的分類器容易被本領(lǐng)域的普通技術(shù)人員理解。取決于具體應(yīng)用的需要,由分類器接受的輸入格式可以是相當(dāng)自由的。應(yīng)當(dāng)注意,由輸入處理產(chǎn)生的輸出(特征集)符合分類器所期望的輸入的類型。
本發(fā)明的實(shí)施例的一個(gè)方面是每個(gè)模塊202的分類器214的輸出(概率)與其他分類器的輸出直接可比較。這通過對(duì)分類器214的訓(xùn)練來(lái)獲得。訓(xùn)練是其中通過使用訓(xùn)練過程和訓(xùn)練數(shù)據(jù)集來(lái)使得分類器214適應(yīng)特定使用情況的過程。訓(xùn)練過程取決于所選定的分類器的種類;可以使用本領(lǐng)域已知的任何合適的技術(shù)。另一方面,訓(xùn)練數(shù)據(jù)集使得分類器214的輸出可比較。
要用于訓(xùn)練模塊202a的id-vs-ood分類器214a的訓(xùn)練數(shù)據(jù)集應(yīng)當(dāng)包括與模塊相關(guān)的輸入數(shù)據(jù)和與模塊不相關(guān)的輸入數(shù)據(jù)的示例,我們將與模塊相關(guān)的輸入數(shù)據(jù)稱為域內(nèi)(id)數(shù)據(jù),而將與模塊不相關(guān)的輸入數(shù)據(jù)稱為域外(ood)數(shù)據(jù)。如果我們假設(shè)模塊202a支持音樂功能,則id數(shù)據(jù)指示與由該模塊支持的音樂功能相關(guān)的命令,例如,“播放歌曲x”或“關(guān)閉收音機(jī)”,而ood數(shù)據(jù)可以是從“導(dǎo)航到la”到“明天天氣如何”的任何事物。在實(shí)施例中,每個(gè)模塊202應(yīng)當(dāng)與id數(shù)據(jù)的集合(與模塊相關(guān)的輸入的示例的廣泛且一般的集合)相關(guān)聯(lián)。
為了解釋我們?nèi)绾问沟妹總€(gè)分類器的輸出概率可比較,我們首先考慮不是模塊化的常規(guī)的集成系統(tǒng)(其中模塊不一定可以被單獨(dú)開發(fā)并自由組合)。在這種情況下,將訓(xùn)練具有n個(gè)輸出(每個(gè)模塊一個(gè)輸出)的單個(gè)多類分類器,其中每個(gè)輸出將對(duì)應(yīng)于一個(gè)模塊的后驗(yàn)概率,例如p(appa│s)。用于這種多類分類的分類器和針對(duì)它們的訓(xùn)練的在本領(lǐng)域中是已知的。這種分類器的訓(xùn)練數(shù)據(jù)集將對(duì)應(yīng)于所有n個(gè)模塊的id數(shù)據(jù)的結(jié)合。
作為根據(jù)本發(fā)明的實(shí)施例的朝向模塊化的第一步驟,我們可以將該方法改變?yōu)橛?xùn)練具有單個(gè)輸出p(appa│s)的n個(gè)分類器(每類一個(gè))。該分類器214a的輸出指示一個(gè)模塊202a的后驗(yàn)概率。我們將這樣的單輸出分類器214a稱為二進(jìn)制分類器。在這種情況下,用標(biāo)記為id的它自己的id數(shù)據(jù)來(lái)訓(xùn)練二進(jìn)制分類器214a,并且所有其他模塊202b-n的數(shù)據(jù)作為ood。
現(xiàn)在我們考慮本發(fā)明所針對(duì)的全模塊化系統(tǒng),其中模塊是獨(dú)立開發(fā)并自由組合的。在開發(fā)模塊appa的期間,本領(lǐng)域的技術(shù)人員不容易用id數(shù)據(jù)和ood數(shù)據(jù)構(gòu)成良好訓(xùn)練數(shù)據(jù)集,其中ood數(shù)據(jù)是所有其他模塊的所有id數(shù)據(jù)的結(jié)合。雖然appa的id是已知的,但是所有其他模塊的id數(shù)據(jù)通常不是已知的。這是因?yàn)槟K是獨(dú)立開發(fā)的,并且在運(yùn)行時(shí)還將把模塊獨(dú)立地放在一起。這表示我們不了解數(shù)據(jù)集的ood部分,我們也不了解其大小。為了解決這個(gè)問題,說明性實(shí)施例包括以下操作:
-我們使用參考數(shù)據(jù)集(206)。該數(shù)據(jù)集包括輸入數(shù)據(jù)的各種各樣的示例。該數(shù)據(jù)集應(yīng)當(dāng)盡可能地廣泛,并且一般表示可以給予系統(tǒng)的輸入。每當(dāng)我們訓(xùn)練用于新模塊appa的分類器時(shí),我們使用與模塊appa不相關(guān)的參考數(shù)據(jù)集的任何語(yǔ)句作為ood數(shù)據(jù)。該參考數(shù)據(jù)集是將不同模塊的訓(xùn)練過程聯(lián)系在一起的公共參考點(diǎn)。
-我們用固定比例的id數(shù)據(jù)和ood數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練??梢宰杂蛇x擇該比例,但是對(duì)于所有模塊該比例應(yīng)當(dāng)是相同的,例如,25%的id數(shù)據(jù)。
仲裁模塊204通過對(duì)由每個(gè)模塊202計(jì)算的包括二進(jìn)制id-vs-ood概率和id概率的概率進(jìn)行比較來(lái)做出仲裁決定。因?yàn)樾履K的分類器可以以與其他模塊可比較的格式生成輸出,所以可以容易地添加新的應(yīng)用。
一般來(lái)說,仲裁模塊204可以從任何實(shí)際數(shù)量的應(yīng)用模塊202接收輸入。另外,可以生成權(quán)重來(lái)調(diào)整仲裁模塊204的行為,例如,相比于非其他模塊而偏愛某些模塊。這樣的權(quán)重可以反映單獨(dú)或組合采用的用戶偏好、學(xué)習(xí)成果、訓(xùn)練等等。
在仲裁之后,選定的模塊202還可以執(zhí)行特定于該模塊的其他分類任務(wù),例如,“播放franksinatra的myway”可以涉及播放(主題)特定藝術(shù)家(字段(slot))的特定歌曲(字段)的主題/字段提取220。該任務(wù)特定于每個(gè)模塊,并獨(dú)立于仲裁。這表示可以僅使用id數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練,在獨(dú)立開發(fā)單個(gè)模塊appa的期間該id數(shù)據(jù)是可用的。在這一點(diǎn)上可以使用本領(lǐng)域已知的用于主題/字段提取的任何算法。
如果使用估計(jì)后驗(yàn)概率的分類器(如針對(duì)idvsood分類所描述的)來(lái)進(jìn)行主題/字段提取,則我們可以將其輸出稱為p(i│appa,s),其中i指的是主題和字段的組合。因?yàn)橹黝}/字段提取特定于模塊,所以該概率取決于輸入信號(hào)s和模塊appa。在這種情況下,本領(lǐng)域的技術(shù)人員可以計(jì)算對(duì)所有模塊可比較的主題/字段組合的概率,如p(i│appa,s)p(appa│s)(其中我們假設(shè)給定的主題/字段只可能在一個(gè)模塊內(nèi))。
圖3示出了用于提供獨(dú)立可插拔模塊之間的仲裁的說明性步驟順序。在步驟300中,接收到諸如用戶話語(yǔ)的輸入。在步驟302中,第一模塊和第二模塊使用asr對(duì)用戶話語(yǔ)進(jìn)行處理來(lái)生成相應(yīng)的n-最佳輸出,其形成用作到其各自分類器的輸入的特征集。在步驟304中,第一模塊的第一分類器處理第一n-最佳列表,而第二模塊中的第二分類器處理第二n-最佳列表。分類器輸出概率。在步驟306中,仲裁模塊處理來(lái)自第一分類器和第二分類器的輸出。在步驟308中,仲裁模塊指派第一模塊和第二模塊中的一個(gè)來(lái)響應(yīng)用戶話語(yǔ)。
應(yīng)當(dāng)理解,上文所描述的說明性步驟可以包括各種類型的輸入,根據(jù)各種類型的輸入可以由id-ood分類器生成并使用特征集。
應(yīng)當(dāng)理解,本文所使用的術(shù)語(yǔ)應(yīng)用指的是功能的集合。通常,這樣的功能集合將以某種方式相關(guān),例如,因?yàn)樗鼈冎傅氖窍嗤奈锢碓O(shè)備(例如,“電話”應(yīng)用),或者因?yàn)樗鼈冎傅氖钦Z(yǔ)義相關(guān)的概念。然而,原則上,它們還可以指代功能的更隨機(jī)的組合(例如,覆蓋“電話”和“導(dǎo)航”相關(guān)功能二者的應(yīng)用)。此外,應(yīng)用程序不一定必須是相互排斥的:在它們支持的功能方面可以有重疊。術(shù)語(yǔ)應(yīng)用程序的這種靈活定義確保了該系統(tǒng)的廣泛適用性。
圖4示出了可以執(zhí)行本文所描述的處理的至少一部分的示例性計(jì)算機(jī)400。計(jì)算機(jī)400包括處理器402、易失性存儲(chǔ)器404、非易失性存儲(chǔ)器406(例如,硬盤)、輸出設(shè)備407以及圖形用戶界面(gui)408(舉例來(lái)說,例如,鼠標(biāo)、鍵盤、顯示器)。非易失性存儲(chǔ)器406存儲(chǔ)計(jì)算機(jī)指令412、操作系統(tǒng)416以及數(shù)據(jù)418。在一個(gè)示例中,由處理器402出自易失性存儲(chǔ)器404執(zhí)行計(jì)算機(jī)指令412。在一個(gè)實(shí)施例中,產(chǎn)品420包括非暫時(shí)性計(jì)算機(jī)可讀指令。
可以以硬件、軟件或二者的組合來(lái)實(shí)現(xiàn)處理??梢栽诳删幊逃?jì)算機(jī)/機(jī)器上執(zhí)行的計(jì)算機(jī)程序中實(shí)現(xiàn)處理,可編程計(jì)算機(jī)/機(jī)器各自包括處理器、存儲(chǔ)介質(zhì)或可由處理器(包括易失性存儲(chǔ)器和非易失性存儲(chǔ)器和/或存儲(chǔ)元件)讀取的其他制造產(chǎn)品、至少一個(gè)輸入設(shè)備,以及一個(gè)或多個(gè)輸出設(shè)備。程序代碼可以應(yīng)用于使用輸入設(shè)備而輸入的數(shù)據(jù),以執(zhí)行處理并生成輸出信息。
系統(tǒng)可以至少部分地經(jīng)由計(jì)算機(jī)程序產(chǎn)品(例如,在機(jī)器可讀存儲(chǔ)設(shè)備中)執(zhí)行處理,以用于由數(shù)據(jù)處理裝置(例如,可編程處理器、計(jì)算機(jī)、或多個(gè)計(jì)算等)來(lái)執(zhí)行或控制數(shù)據(jù)處理裝置的操作。可以以高級(jí)過程或面向?qū)ο蟮木幊陶Z(yǔ)言來(lái)實(shí)現(xiàn)每個(gè)這樣的程序以與計(jì)算機(jī)系統(tǒng)通信。然而,可以以匯編語(yǔ)言或機(jī)器語(yǔ)言來(lái)實(shí)現(xiàn)程序。語(yǔ)言可以是編譯語(yǔ)言或解釋語(yǔ)言,并且可以以任何形式部署該語(yǔ)言,包括作為獨(dú)立程序或作為模塊、組件、子例程或適合在計(jì)算環(huán)境中使用的其他單元。計(jì)算機(jī)程序可以被部署為在一個(gè)計(jì)算機(jī)上或多個(gè)計(jì)算機(jī)上執(zhí)行,多個(gè)計(jì)算機(jī)在一個(gè)站點(diǎn)處或者分布在多個(gè)站點(diǎn)之間并通過通信網(wǎng)絡(luò)互連。計(jì)算機(jī)程序可以存儲(chǔ)在存儲(chǔ)介質(zhì)或者可以由通用或?qū)S每删幊逃?jì)算機(jī)讀取的設(shè)備(例如,cd-rom、硬盤、或磁盤)上,以用于當(dāng)存儲(chǔ)介質(zhì)或設(shè)備由計(jì)算機(jī)讀取時(shí)對(duì)計(jì)算機(jī)進(jìn)行配置和操作。處理還可以被實(shí)現(xiàn)為配置有計(jì)算機(jī)程序的機(jī)器可讀存儲(chǔ)介質(zhì),其中在執(zhí)行時(shí),計(jì)算機(jī)程序中的指令使得計(jì)算機(jī)進(jìn)行操作。
處理可以由執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序以執(zhí)行系統(tǒng)的功能的一個(gè)或多個(gè)可編程處理器來(lái)執(zhí)行。系統(tǒng)的全部或部分可以被實(shí)現(xiàn)為專用邏輯電路(例如,fpga(現(xiàn)場(chǎng)可編程門陣列)和/或asic(專用集成電路))。
可以對(duì)本文所描述的不同實(shí)施例的元件進(jìn)行組合以形成上文沒有具體闡述的其他實(shí)施例。在單個(gè)實(shí)施例的上下文中描述的各種元件也可以單獨(dú)地提供或者以任何合適的子組合的形式來(lái)提供。本文沒有具體描述的其他實(shí)施例也在所附權(quán)利要求的范圍內(nèi)。
已經(jīng)描述了本發(fā)明的示例性實(shí)施例,現(xiàn)在對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說變得顯而易見的是,也可以使用包括其概念的其他實(shí)施例。本文所包括的實(shí)施例不應(yīng)被限于所公開的實(shí)施例,而是僅應(yīng)由所附權(quán)利要求的精神和范圍來(lái)限制。本文所引用的所有出版物和參考文獻(xiàn)通過整個(gè)地引用明確地并入本文中。