實(shí)例加權(quán)學(xué)習(xí)機(jī)器學(xué)習(xí)模型的制作方法
【技術(shù)領(lǐng)域】
[0001] 在本文中所討論的實(shí)施例設(shè)及一種實(shí)例加權(quán)學(xué)習(xí)（IWL)機(jī)器學(xué)習(xí)模型。
【背景技術(shù)】
[0002] 機(jī)器學(xué)習(xí)是人工智能的一種形式，其用于使得計算機(jī)能夠基于經(jīng)驗數(shù)據(jù)來使行為 進(jìn)化。機(jī)器學(xué)習(xí)可W使用訓(xùn)練示例W捕獲該些示例的未知的隱含的概率分布的關(guān)注的特 征。訓(xùn)練數(shù)據(jù)可W被視為示出了所觀測變量之間的關(guān)系的示例。機(jī)器學(xué)習(xí)研究的主要焦點(diǎn) 在于；基于數(shù)據(jù)來自動地學(xué)習(xí)W識別復(fù)雜的模式并且做出智能的決策。
[0003] 機(jī)器學(xué)習(xí)的一個示例是監(jiān)督式學(xué)習(xí)（SL)。化的目標(biāo)是根據(jù)所標(biāo)記的訓(xùn)練實(shí)例集 合T= {(Xi,yi), (X2,72)，. . .，（X。，y。)}來學(xué)習(xí)準(zhǔn)確的映射函數(shù)g:X-Y;其中XfGX是來 自輸入空間X的樣本，W及Y是來自輸出空間YQG(1，2，...，n})的標(biāo)記。映射函數(shù) g是假設(shè)空間G中的可能的映射函數(shù)的元素。在傳統(tǒng)的化中，基于所有的訓(xùn)練實(shí)例對映射 函數(shù)g應(yīng)具有相同的影響的假定來將所有實(shí)例視為同等地相關(guān)。
[0004] 然而，在現(xiàn)實(shí)應(yīng)用中，并非所有的訓(xùn)練實(shí)例都具有相同的相關(guān)性，并且訓(xùn)練實(shí)例 (X^Yi)的輸入Xi和標(biāo)記Yi二者的相關(guān)性可能會有變化。例如，當(dāng)對天氣預(yù)報使用SL時， 訓(xùn)練數(shù)據(jù)可W包括氣象數(shù)據(jù)諸如對溫度、風(fēng)、濕度等的測量的歷史樣本。然而，該樣的測量 可能具有變化，包括根據(jù)一天的時間、位置、采用的設(shè)備等的變化。例如，如果訓(xùn)練數(shù)據(jù)從不 同的源來收集，則來自一個源（例如，具有較好的測量方法、較好的設(shè)備等的源）的訓(xùn)練實(shí) 例會比來自另一源（例如，具有較差的測量方法、較差的設(shè)備等的源）的訓(xùn)練實(shí)例具有更高 的相關(guān)性。在該示例中，傳統(tǒng)的化會將來自不同源的訓(xùn)練示例考慮為同等地相關(guān)。結(jié)果， 較高相關(guān)性的訓(xùn)練實(shí)例和較低相關(guān)性的訓(xùn)練實(shí)例在化期間將會具有相同的影響，因此，SL 可能不能夠根據(jù)訓(xùn)練數(shù)據(jù)生成準(zhǔn)確的映射函數(shù)g。
[0005] 在另一示例中，訓(xùn)練集合可W包含具有未知輸入值的一些訓(xùn)練實(shí)例。如果訓(xùn)練實(shí) 例具有大量的未知輸入值，則訓(xùn)練實(shí)例將會變得不可靠（例如，訓(xùn)練實(shí)例可能具有更高的 被誤標(biāo)記的可能性），因此，具有大量的未知輸入值的訓(xùn)練實(shí)例與具有已知輸入值的訓(xùn)練實(shí) 例相比具有較低的相關(guān)性。如果訓(xùn)練集合包含相當(dāng)數(shù)量的具有未知輸入值的訓(xùn)練實(shí)例，貝U 因為低相關(guān)性實(shí)例的潛在的負(fù)面影響，傳統(tǒng)的化算法可能不能夠?qū)W習(xí)到準(zhǔn)確的映射函數(shù) g。
[0006] 本文中要求保護(hù)的主題不限于解決如上所述的任何缺點(diǎn)或僅在如上所述的環(huán)境 下工作的實(shí)施例。而是，本【背景技術(shù)】僅被提供W示出可W實(shí)踐本文中描述的一些實(shí)施例的 一個示例技術(shù)領(lǐng)域。

【發(fā)明內(nèi)容】

[0007] 總體上，本文中所描述的示例實(shí)施例設(shè)及采用實(shí)例加權(quán)學(xué)習(xí)（IWL)機(jī)器學(xué)習(xí)模型 來訓(xùn)練分類器的方法。本文中所公開的示例方法可W將質(zhì)量值與強(qiáng)化學(xué)習(xí)訓(xùn)練實(shí)例集合中 的每個訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)，W反映不同訓(xùn)練實(shí)例之間的質(zhì)量差異。然后，在使用訓(xùn)練實(shí)例集 合訓(xùn)練分類器期間，可W采用每個質(zhì)量值來對對應(yīng)的訓(xùn)練實(shí)例進(jìn)行加權(quán)使得分類器從具有 較高質(zhì)量值的訓(xùn)練實(shí)例比從具有較低質(zhì)量值的訓(xùn)練實(shí)例更多地學(xué)習(xí)。
[000引在一個示例實(shí)施例中，用于采用IWL機(jī)器學(xué)習(xí)模型的方法可W包括；將質(zhì)量值與 強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合中的每個機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)，W及使用強(qiáng)化學(xué) 習(xí)，使用機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例對分類器進(jìn)行訓(xùn)練。在該示例中，機(jī)器學(xué)習(xí)訓(xùn) 練實(shí)例中的每個訓(xùn)練實(shí)例可W包括狀態(tài)-動作對，W及在訓(xùn)練期間可W基于機(jī)器學(xué)習(xí)訓(xùn)練 實(shí)例中的每個訓(xùn)練實(shí)例所關(guān)聯(lián)的質(zhì)量值來對機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行加 權(quán)。此外，在該示例中，分類器可W從具有較高質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較低質(zhì) 量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。此外，在該示例中，在訓(xùn)練期間可W基于機(jī)器學(xué)習(xí)訓(xùn) 練實(shí)例中的每個訓(xùn)練實(shí)例所關(guān)聯(lián)的質(zhì)量值使用對不同質(zhì)量值不同地加權(quán)的加權(quán)因子來對 機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行加權(quán)。另外，在該示例中，分類器可W是多層感知 (ML巧神經(jīng)網(wǎng)絡(luò)、另外的多層神經(jīng)網(wǎng)絡(luò)、決策樹或支持向量機(jī)。此外，在該示例中，該方法還 可W包括；確定應(yīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值。此外，在該示例中，機(jī)器學(xué)習(xí)訓(xùn)練實(shí) 例集合可W包括機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時間序列，W及確定應(yīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個 訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值可W包括；確定時間序列中的當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎勵化及 確定應(yīng)與時間序列中的之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的獎勵的折扣部 分。
[0009] 在另一示例實(shí)施例中，采用IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的方法可W包括；使 用強(qiáng)化學(xué)習(xí)，使用強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合對分類器進(jìn)行訓(xùn)練。機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例 中的每個訓(xùn)練實(shí)例包括狀態(tài)-動作對，W及在訓(xùn)練期間，基于已經(jīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān) 聯(lián)的質(zhì)量值來對機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行加權(quán)，使得分類器從具有較高質(zhì) 量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。在該示例 中，在訓(xùn)練期間，可W基于機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例所關(guān)聯(lián)的質(zhì)量值，使用對不 同質(zhì)量值不同地加權(quán)的加權(quán)因子來對機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行加權(quán)。另 夕F，在該示例中，該方法還可W包括；確定應(yīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值并且將所確 定的質(zhì)量值與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)。此外，在該示例中，機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例集合可W 包括機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時間序列，確定應(yīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值可W包括： 確定時間序列中的當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎勵W及確定應(yīng)與時間序列中的之前的機(jī) 器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的獎勵的折扣部分，并且在時間序列中之前的機(jī)器 學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例離當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例越遠(yuǎn)，則可W減小應(yīng)與之前的 機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的獎勵的折算部分。另外，在該示例中，質(zhì)量值中 的每個質(zhì)量值可W是正的或負(fù)的，正的質(zhì)量值傾向于鼓勵對支持與所關(guān)聯(lián)的機(jī)器學(xué)習(xí)訓(xùn)練 實(shí)例類似的實(shí)例進(jìn)行學(xué)習(xí)，而負(fù)的質(zhì)量值傾向于阻止對支持與所對應(yīng)的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例 類似的實(shí)例進(jìn)行學(xué)習(xí)。
[0010] 在又一實(shí)施例中，采用IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的方法可W包括；確定應(yīng) 與強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的時間序列中的每個機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量值，將對 應(yīng)的所確定的質(zhì)量值與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行關(guān)聯(lián)，W及使用強(qiáng)化學(xué) 習(xí)，使用機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例對分類器進(jìn)行訓(xùn)練。機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的 每個訓(xùn)練實(shí)例包括狀態(tài)-動作對，W及在訓(xùn)練期間，基于機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練 實(shí)例所關(guān)聯(lián)的質(zhì)量值，使用對不同質(zhì)量值不同地加權(quán)的加權(quán)因子來對機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中 的每個訓(xùn)練實(shí)例進(jìn)行加權(quán)，使得分類器從具有較高質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例比從具有較 低質(zhì)量值的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例更多地學(xué)習(xí)。在該示例實(shí)施例中，在訓(xùn)練期間，基于機(jī)器學(xué) 習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例所關(guān)聯(lián)的質(zhì)量值，使用根據(jù)下面的公式對不同質(zhì)量值不同地 加權(quán)的加權(quán)因子來對機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例進(jìn)行加權(quán)，上述公式為；u(q)= (a+b?q)，其中；q是所關(guān)聯(lián)的質(zhì)量值，U(q)是加權(quán)因子，a是第一經(jīng)驗參數(shù)，W及b是第二 經(jīng)驗參數(shù)。另外，在該實(shí)施例中，確定應(yīng)與機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的質(zhì)量 值可W包括；確定時間序列中的當(dāng)前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例的獎勵W及確定應(yīng)在時間序列中 的之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的獎勵的折算部分，并且在時間序列中 每個之前的機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例離當(dāng)前機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例越遠(yuǎn)，則可W減小應(yīng)與之前的機(jī)器 學(xué)習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例關(guān)聯(lián)的獎勵的折算部分。此外，在該實(shí)施例中，機(jī)器學(xué)習(xí) 訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例是多輸出依賴（MOD)機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例，MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí) 例中的每個訓(xùn)練實(shí)例包括多個相互依賴的輸出分量，W及使用強(qiáng)化學(xué)習(xí)，使用MOD機(jī)器學(xué) 習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例對分類器進(jìn)行訓(xùn)練可W包括；在訓(xùn)練中采用基于分層的排序 化B巧機(jī)器學(xué)習(xí)模型或多輸出松弛（MOR)機(jī)器學(xué)習(xí)模型。另外，在該實(shí)施例中，MOD機(jī)器學(xué) 習(xí)訓(xùn)練實(shí)例中的每個訓(xùn)練實(shí)例可W是潛在客戶響應(yīng)管理（LRM)MOD機(jī)器學(xué)習(xí)訓(xùn)練實(shí)例。
[0011] 要理解的是，前面的總體描述和下面的詳細(xì)描述二者是示例性的和解釋性的，并 且對如要求保護(hù)的本發(fā)明不是限制性的。
【附圖說明】
[0012] 將通過使用附圖來更加明確且詳細(xì)地描述和說明示例實(shí)施例，在附圖中：
[001引圖1是示出了包括示例聯(lián)系服務(wù)器的示例潛在客戶響應(yīng)管理（LRM)系統(tǒng)的示意性 框圖；
[0014] 圖2是示出了圖1的示例聯(lián)系服務(wù)器的另外的細(xì)節(jié)的示意性框圖；
[0015] 圖3是示出了通過傳播折算獎勵來導(dǎo)出訓(xùn)練實(shí)例的質(zhì)量的示例方法的示意性流 程圖；
[0016] 圖4是示出了在示例多層感知（ML巧神經(jīng)網(wǎng)絡(luò)分類器的訓(xùn)練中采用的示例實(shí)例加 權(quán)學(xué)習(xí)（IWL)機(jī)器學(xué)習(xí)模型的示意性流程圖；
[0017] 圖5是采用IWL機(jī)器學(xué)習(xí)模型來訓(xùn)練分類器的示例方法的示意性流程圖；
[0018] 圖6是示出了示例輸入特征向量的文本圖；
[0019] 圖7是多個正確的MOD輸出決策的示意性流程圖；
[0020] 圖8示出了示例客戶關(guān)系管理（CRM)系統(tǒng)的用戶界面的示例計算機(jī)畫面圖像；
[0021] 圖9示出了示例LRM系統(tǒng)的用戶界面的示例計算機(jī)畫面圖像；
[0022] 圖IOA示出了在代理選擇潛在客戶之前的示例潛在客戶顧問顯示的示例計算機(jī) 畫面圖像；W及
[0023] 圖IOB示出了在代理已經(jīng)選擇潛在客戶之后的圖IOA的示例潛在客戶顧問顯示的 示例計算機(jī)畫面圖像。
【具體實(shí)施方式】
[0024] 本文中描述的一些實(shí)施例包括采用實(shí)例加權(quán)學(xué)習(xí)（IWL)機(jī)器學(xué)習(xí)模型來訓(xùn)練分 類器的方法。本文中所公開的示例方法可W將質(zhì)量值與在強(qiáng)化學(xué)習(xí)訓(xùn)練實(shí)例集合中的每個 訓(xùn)練實(shí)例關(guān)聯(lián)W反映不同訓(xùn)練實(shí)例之間的質(zhì)量差異。然后，在使用訓(xùn)練實(shí)例集合訓(xùn)練分類 器期間，可W采用每個質(zhì)量值來對對應(yīng)的訓(xùn)練實(shí)例進(jìn)行加權(quán)使得分類器從具有較高質(zhì)量值 的訓(xùn)練實(shí)例比從具有較低質(zhì)量值的訓(xùn)練實(shí)例更多地學(xué)習(xí)。
[0025] 如本文中所使用的，術(shù)語"多輸出依賴性"或"MOD"指代包括相互依賴的多個輸出 分量的輸出決策或者具有該樣的輸出決策的問題，相互依賴在于每個分量不僅取決于輸入 而且還取決于其他分量。一些示例MOD問題包括但不限于；1)給定當(dāng)前的股票市場條件，要 購買W平衡共有基金的股票的組合；2)給定對方團(tuán)隊的當(dāng)前的陣容，要替換進(jìn)入運(yùn)動隊的 陣容的隊員的組合；W及3)給定當(dāng)前的天氣條件，要穿戴的襯衫、褲子、腰帶和鞋的組合。 在該些示例中的每個示例中，輸出決策的每個分量取決于輸入（當(dāng)前的股票市場條件、對 方團(tuán)隊陣容或當(dāng)前的天氣條件）和其他分量（所購買的其他股票、所替換的其他隊員或所 選擇的其他衣物）二者。MOD問題的其他示例可W設(shè)及人質(zhì)談判、零售、網(wǎng)上購物系統(tǒng)、網(wǎng)絡(luò) 內(nèi)容管理系統(tǒng)、客戶服務(wù)、合同談判或危機(jī)管理或者需要具有多個相互依賴的輸出分量的 輸出決策的任何其他情況。
[0026] 另一示例MOD問題為潛在客戶響應(yīng)管理（LRM)。LRM是W使聯(lián)系率或資格鑒定率 最優(yōu)化的方式來響應(yīng)潛在客戶的過程。潛在客戶可W來自各種源，包括但不限于網(wǎng)絡(luò)表單、 推薦W及從潛在客戶供應(yīng)商所購買的列表。當(dāng)潛在客戶進(jìn)入組織時，如何響應(yīng)該潛在客戶 的輸出決策可W包括多個相互依賴的分量，諸如但不限于：誰應(yīng)響應(yīng)該潛在客戶；應(yīng)采用 何種方法來響應(yīng)該潛在客戶；應(yīng)將何種內(nèi)容包括在響應(yīng)消息中；W及何時應(yīng)發(fā)生響應(yīng)。輸 出決策的該些分量中的每個分量依賴于輸入（潛在客戶信息）和其他分量二者。例如，響 應(yīng)的定時可W依賴于被選擇來響應(yīng)的人的可用性。另外，消息的內(nèi)容可W取決于響應(yīng)的方 法（例如，由于電子郵件消息的長度不限于如文