決策。依賴于應(yīng)用，可W將闊值預(yù)定為相對(duì)高或相對(duì)低。雖然在圖5中僅公開了兩個(gè)正 確的輸出決策，但是要理解的是，皿S機(jī)器學(xué)習(xí)模型或MOR機(jī)器學(xué)習(xí)模型或兩者的結(jié)合可W 生成多于兩個(gè)正確的輸出決策。
[0084] 已經(jīng)參照?qǐng)D3至圖7描述了采用IWL機(jī)器學(xué)習(xí)模型來預(yù)測(cè)M孤輸出決策的多個(gè)相 互依賴的輸出分量的示例方法，將參照?qǐng)D8至圖IOB來描述使得代理能夠訪問并且實(shí)現(xiàn)所 產(chǎn)生的輸出決策的示例系統(tǒng)和用戶界面。要理解的是，該些特定系統(tǒng)和用戶界面僅為其中 可W采用示例實(shí)施例的無數(shù)系統(tǒng)和用戶界面中的一些。并非意在將示例實(shí)施例的范圍限于 任何特定系統(tǒng)或用戶界面。
[00財(cái)圖8示出了示例客戶關(guān)系管理（CRM)系統(tǒng)的用戶界面600的示例計(jì)算機(jī)畫面圖 像。用戶界面600包括使代理能夠管理客戶關(guān)系并且特別地管理由CM系統(tǒng)提供的潛在客 戶的各種控件?？蒞由網(wǎng)絡(luò)服務(wù)器170在例如圖1的工作站128上或在本地代理工作站192 上向代理呈現(xiàn)用戶界面600。代理可W使用用戶界面600來響應(yīng)之前已經(jīng)存儲(chǔ)在圖1的潛 在客戶數(shù)據(jù)服務(wù)器190上的潛在客戶。特別地，如下面結(jié)合圖IOA和圖IOB所討論地，潛在 客戶顧問顯示800可W使代理能夠W使聯(lián)系率或資格鑒定率最優(yōu)化的方式來響應(yīng)潛在客 戶。
[0086] 圖9示出了示例LRM系統(tǒng)諸如圖1的LRM系統(tǒng)的用戶界面700的示例計(jì)算機(jī)畫面 圖像。如圖8的用戶界面600,用戶界面700包括使代理能夠響應(yīng)潛在客戶的各種控件。可 WW與用戶界面600相似的方式向代理呈現(xiàn)用戶界面700。用戶界面還包括潛在客戶顧問 顯示800。
[0087] 圖IOA示出了在代理選擇潛在客戶之前的示例潛在客戶顧問顯示800的示例計(jì)算 機(jī)畫面圖像，而圖IOB示出了在代理選擇潛在客戶之后的示例潛在客戶顧問顯示800的示 例計(jì)算機(jī)畫面圖像。如圖IOA中所公開地，潛在客戶顧問顯示800列出了五個(gè)潛在客戶。 每個(gè)潛在客戶包括名稱802、成功可能性計(jì)量表804W及成功可能性類別指示符806。如圖 IOA中所公開地，按照從最高的成功可能性至最低的成功可能性列出了潛在客戶。在由代理 進(jìn)行查詢時(shí)，通過將鼠標(biāo)指針移至例如潛在客戶上，如圖IOA中所示，潛在客戶可W展開為 潛在客戶"MarkLittlefield"。在展開時(shí)，潛在客戶可W向代理呈現(xiàn)另外的選項(xiàng)，諸如確認(rèn) 按鈕808、刪除按鈕810和"更多信息"鏈接812。
[008引在代理選擇"更多信息"鏈接812時(shí)，通過利用例如鼠標(biāo)指針點(diǎn)擊更多信息鏈接 812，如圖IOB中所公開地，可W向代理呈現(xiàn)彈出式顯示814。彈出式顯示814可W向代理呈 現(xiàn)與潛在客戶相關(guān)聯(lián)的LRM方案?？蒞通過本文中所公開的示例方法來生成該LRM方案， 并且該LRM方案可W反映具有最高或最高之一的潛在客戶的輸出值的輸出決策。如圖IOB 中所公開地，針對(duì)名稱為"MarkLittlefield"的潛在客戶的LRM方案可W包括；雇傭銷售 經(jīng)理來W短的時(shí)間帖發(fā)送具有消息類型MTl的電子郵件，其與圖7的輸出決策502相對(duì)應(yīng)。 然后代理可W僅點(diǎn)擊彈出式顯示814來使?jié)撛诳蛻纛檰栵@示800自動(dòng)地生成將由銷售經(jīng)理 立即發(fā)送至潛在客戶的具有消息類型MTl的電子郵件。替選地，代理可W手動(dòng)地改寫響應(yīng) 方案并且手動(dòng)地執(zhí)行不同的響應(yīng)。
[0089] 如下面更詳細(xì)地討論的，本文中所描述的實(shí)施例可W包括；使用包括各種計(jì)算機(jī) 硬件或軟件模塊的專用或通用計(jì)算機(jī)。
[0090] 可W使用用于攜載或者具有存儲(chǔ)在其上的計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的計(jì)算 機(jī)可讀介質(zhì)來實(shí)現(xiàn)本文中所描述的實(shí)施例。該樣的計(jì)算機(jī)可讀介質(zhì)可W為通用或?qū)Ｓ糜?jì)算 機(jī)可W訪問的任何可用介質(zhì)。W示例的方式，并且非限制性的，該樣的計(jì)算機(jī)可讀介質(zhì)可W 包括非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)一一包括RAM、ROM、EEPR0M、CD-ROM或其他光盤存儲(chǔ)裝置、 磁盤存儲(chǔ)裝置或其他磁性存儲(chǔ)設(shè)備，或者可W包括可W用于攜載或存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令 或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并且可W由通用計(jì)算機(jī)或?qū)Ｓ糜?jì)算機(jī)訪問的任何其他 存儲(chǔ)介質(zhì)。W上的組合也可W包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
[0091] 計(jì)算機(jī)可執(zhí)行指令包括例如使通用計(jì)算機(jī)、專用計(jì)算機(jī)或?qū)Ｓ锰幚硌b置執(zhí)行一定 功能或功能組的指令和數(shù)據(jù)。雖然已經(jīng)W特定于結(jié)構(gòu)性特征和/或方法動(dòng)作的語言描述了 本主題，但是要理解的是，在所附權(quán)利要求中限定的主題不一定限于上述特定特征或動(dòng)作。 而是，將上述特定特征和動(dòng)作公開為實(shí)現(xiàn)權(quán)利要求的示例形式。
[0092] 如本文中所使用的，術(shù)語"模塊"可W指代在計(jì)算系統(tǒng)上執(zhí)行的軟件對(duì)象或例程。 可W將本文中所描述的不同模塊實(shí)現(xiàn)為在計(jì)算系統(tǒng)上執(zhí)行的對(duì)象或過程（例如，作為獨(dú)立 的線程）。雖然優(yōu)選地W軟件來實(shí)現(xiàn)本文中所描述的系統(tǒng)和方法，但是W硬件或者軟件和硬 件的組合的實(shí)現(xiàn)也是可W的并且被設(shè)想的。
[0093] 本文中所闡述的所有示例和條件性語言意在用于幫助讀者理解示例實(shí)施例W及 理解由發(fā)明人提出W深化現(xiàn)有技術(shù)的概念的示范目的，并且其應(yīng)被解釋為不是對(duì)于該樣的 特定地闡述的示例和條件的限制。
【主權(quán)項(xiàng)】
1. 一種采用實(shí)例加權(quán)學(xué)習(xí)IWL機(jī)器學(xué)習(xí)模型的方法，所述方法包括： 將質(zhì)量值與強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合中的每個(gè)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)，所 述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)包括狀態(tài)-動(dòng)作對(duì)；以及 使用強(qiáng)化學(xué)習(xí)，使用所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)來訓(xùn)練分類器，在訓(xùn)練期間基于 所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)的所關(guān)聯(lián)的質(zhì)量值對(duì)所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn) 行加權(quán)。2. 根據(jù)權(quán)利要求1所述的方法，其中，所述分類器從具有較高質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練 實(shí)例比從具有較低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。3. 根據(jù)權(quán)利要求2所述的方法，其中，在所述訓(xùn)練期間基于所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中 的每個(gè)的所關(guān)聯(lián)的質(zhì)量值，使用對(duì)不同質(zhì)量值不同地進(jìn)行加權(quán)的加權(quán)因子來對(duì)所述機(jī)器學(xué) 習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)。4. 根據(jù)權(quán)利要求2所述的方法，其中，所述分類器包括：多層感知MLP神經(jīng)網(wǎng)絡(luò)、另外 的多層神經(jīng)網(wǎng)絡(luò)、決策樹或支持向量機(jī)。5. 根據(jù)權(quán)利要求1所述的方法，還包括：確定應(yīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的所述 質(zhì)量值。6. 根據(jù)權(quán)利要求5所述的方法，其中： 所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合包括機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時(shí)間序列；以及 確定應(yīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)關(guān)聯(lián)的所述質(zhì)量值包括：確定所述時(shí)間序列 中的當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎(jiǎng)勵(lì)，以及確定應(yīng)與所述時(shí)間序列中的之前的機(jī)器學(xué)習(xí)訓(xùn) 練實(shí)例中的每個(gè)關(guān)聯(lián)的獎(jiǎng)勵(lì)的折算部分。7. -種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)被配置成使處理器執(zhí)行根據(jù)權(quán)利要求1所述的方 法的程序。8. -種采用實(shí)例加權(quán)學(xué)習(xí)IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的方法，所述方法包括： 使用強(qiáng)化學(xué)習(xí)，使用強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合來訓(xùn)練分類器，所述機(jī)器學(xué)習(xí)訓(xùn) 練實(shí)例中的每個(gè)包括狀態(tài)-動(dòng)作對(duì)，以及在訓(xùn)練期間基于已經(jīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān) 聯(lián)的質(zhì)量值對(duì)所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)，使得所述分類器從具有較高質(zhì)量 值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。9. 根據(jù)權(quán)利要求8所述的方法，其中，在所述訓(xùn)練期間基于所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中 的每個(gè)的所關(guān)聯(lián)的質(zhì)量值，使用對(duì)不同質(zhì)量值不同地進(jìn)行加權(quán)的加權(quán)因子來對(duì)所述機(jī)器學(xué) 習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)。10. 根據(jù)權(quán)利要求8所述的方法，還包括： 確定應(yīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的所述質(zhì)量值；以及 將所確定的質(zhì)量值與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)。11. 根據(jù)權(quán)利要求10所述的方法，其中： 所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合包括機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時(shí)間序列； 確定應(yīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的所述質(zhì)量值包括：確定所述時(shí)間序列中的當(dāng)前 的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎(jiǎng)勵(lì)，以及確定應(yīng)與所述時(shí)間序列中的之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中 的每個(gè)關(guān)聯(lián)的獎(jiǎng)勵(lì)的折算部分；以及 在所述時(shí)間序列中的之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)距離當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí) 例越遠(yuǎn)，則應(yīng)與之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)關(guān)聯(lián)的獎(jiǎng)勵(lì)的折算部分越減小。12. 根據(jù)權(quán)利要求8所述的方法，其中，所述質(zhì)量值中的每個(gè)可以是正的或負(fù)的，正的 質(zhì)量值傾向于鼓勵(lì)對(duì)支持與所關(guān)聯(lián)的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例類似的實(shí)例進(jìn)行學(xué)習(xí)，而負(fù)的質(zhì)量 值傾向于阻止對(duì)支持與所對(duì)應(yīng)的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例類似的實(shí)例進(jìn)行學(xué)習(xí)。13. -種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)被配置成使處理器執(zhí)行根據(jù)權(quán)利要求8所述的 方法的程序。14. 一種采用實(shí)例加權(quán)學(xué)習(xí)IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的方法，所述方法包括： 確定應(yīng)與強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時(shí)間序列中的每個(gè)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的 質(zhì)量值，所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)包括狀態(tài)-動(dòng)作對(duì)； 將對(duì)應(yīng)的所確定的質(zhì)量值與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行關(guān)聯(lián)；以及 使用強(qiáng)化學(xué)習(xí)，使用所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)來訓(xùn)練分類器，在訓(xùn)練期間基于 所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)的所關(guān)聯(lián)的質(zhì)量值，使用對(duì)不同質(zhì)量值不同地進(jìn)行加權(quán)的 加權(quán)因子來對(duì)所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)，使得所述分類器從具有較高質(zhì)量 值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。15. 根據(jù)權(quán)利要求14所述的方法，其中，在所述訓(xùn)練期間基于所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例 中的每個(gè)的所關(guān)聯(lián)的質(zhì)量值，使用根據(jù)下面的公式對(duì)不同質(zhì)量值不同地進(jìn)行加權(quán)的加權(quán)因 子來對(duì)所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)，所述公式為： u (q) = (a+b ? q)，其中： q是所關(guān)聯(lián)的質(zhì)量值； u (q)是所述加權(quán)因子； a是第一經(jīng)驗(yàn)參數(shù)；以及 b是第二經(jīng)驗(yàn)參數(shù)。16. 根據(jù)權(quán)利要求14所述的方法，其中： 確定應(yīng)與所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)關(guān)聯(lián)的所述質(zhì)量值包括：確定所述時(shí)間序列 中的當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎(jiǎng)勵(lì)，以及確定應(yīng)與所述時(shí)間序列中的之前的機(jī)器學(xué)習(xí)訓(xùn) 練實(shí)例中的每個(gè)關(guān)聯(lián)的獎(jiǎng)勵(lì)的折算部分；以及 在所述時(shí)間序列中的每個(gè)之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例距離所述當(dāng)前機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例 越遠(yuǎn)，則應(yīng)與之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)關(guān)聯(lián)的獎(jiǎng)勵(lì)的折算部分越減小。17. -種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)被配置成使處理器執(zhí)行根據(jù)權(quán)利要求14所述的 方法的程序。18. 根據(jù)權(quán)利要求14所述的方法，其中， 所述機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)是多輸出依賴MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例，所述MOD機(jī)器 學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)包括多個(gè)相互依賴的輸出分量；以及 使用所述強(qiáng)化學(xué)習(xí)，使用所述MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)來訓(xùn)練所述分類器包 括：在所述訓(xùn)練中采用基于分層的排序HBS機(jī)器學(xué)習(xí)模型或多輸出松弛MOR機(jī)器學(xué)習(xí)模型。19. 根據(jù)權(quán)利要求18所述的方法，其中，所述MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)是潛在客 戶響應(yīng)管理LRM MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例。
【專利摘要】一種實(shí)例加權(quán)學(xué)習(xí)(IWL)機(jī)器學(xué)習(xí)模型。在一個(gè)示例實(shí)施例中，采用IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的方法可以包括：確定應(yīng)與強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時(shí)間序列中的每個(gè)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值，將對(duì)應(yīng)的所確定的質(zhì)量值與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行關(guān)聯(lián)，以及使用機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)訓(xùn)練實(shí)例來訓(xùn)練分類器。機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)包括狀態(tài)-動(dòng)作對(duì)，以及在訓(xùn)練期間基于機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)所關(guān)聯(lián)的質(zhì)量值使用對(duì)不同質(zhì)量值不同地加權(quán)的加權(quán)因子來對(duì)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個(gè)進(jìn)行加權(quán)，使得分類器從具有較高質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。
【IPC分類】G06F15/18
【公開號(hào)】CN104956359
【申請(qǐng)?zhí)枴緾N201380071899
【發(fā)明人】托尼·拉蒙·馬丁內(nèi)斯, 曾信川
【申請(qǐng)人】?jī)?nèi)部銷售公司
【公開日】2015年9月30日
【申請(qǐng)日】2013年12月20日
【公告號(hào)】CA2896089A1, EP2936334A1, US8788439, US20140180975, US20140180978, WO2014100738A1