分類器的評價方法
【專利摘要】本發(fā)明涉及分類器的評價方法，其包括：獲取分類器輸出的數(shù)據(jù)，以形成評估數(shù)據(jù)集；根據(jù)以下公式一對評估數(shù)據(jù)集進行處理，以得到第一評價值；公式一：輸出所述第一評價值。本發(fā)明采用基于ROC曲線下的AUC評價方法可以更加直觀展現(xiàn)評價結(jié)果，甚至用肉眼就能判斷分類器的性能好壞。
【專利說明】分類器的評價方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及計算機程序，具體設(shè)及分類器的評價方法。

【背景技術(shù)】
[0002] 目前，一些電子商務(wù)網(wǎng)站或移動端具有個性化推薦系統(tǒng)，個性化推薦是根據(jù)用戶 的興趣特點和購買行為，向用戶推薦用戶感興趣的信息和商品。隨著電子商務(wù)網(wǎng)站或移動 端的注冊用戶規(guī)模的不斷擴大，商品個數(shù)和種類快速增長，顧客需要花費大量的時間才能 找到自己想買的商品。該種瀏覽大量無關(guān)的信息和產(chǎn)品過程會使淹沒在信息過載問題中的 消費者不斷流失。為了解決該些問題，個性化推薦系統(tǒng)應(yīng)運而生。它是建立在海量數(shù)據(jù)挖 掘基礎(chǔ)上，W幫助顧客購物提供完全個性化的決策支持和信息服務(wù)，它為客戶推薦商品，自 動完成個性化選擇商品的過程，滿足客戶的個性化需求。
[0003] 實現(xiàn)個性化推薦的功能，底層技術(shù)中除了應(yīng)用大量的規(guī)則外，模型也扮演著十分 關(guān)鍵，它能對用戶的訂單數(shù)據(jù)或銷售額數(shù)據(jù)等原始數(shù)據(jù)進行特征提取、目標(biāo)函數(shù)設(shè)計和訓(xùn) 練，產(chǎn)出最終能最大程度反映特定用戶的愛好、屯、理、購買習(xí)慣及行為的排序模型（即采用 分類器實現(xiàn)）。在訓(xùn)練過程中，如何評判一個模型的好壞至關(guān)重要，即模型可解釋性。好的 排序模型能帶給用戶方便舒適及愉悅感，相反，壞的排序模型往往給用戶很差的體驗導(dǎo)致 用戶的粘性不足，在充滿競爭的電商行業(yè)里排序模型的好壞帶來的結(jié)果更是明顯。那如何 更好評估一個模型的好壞呢？
[0004] 目前的評估方法有W下幾種：
[0005] 在機器學(xué)習(xí)及檢索領(lǐng)域中對分類器的分類效果的評估，常見有準(zhǔn)確率 (precision),召回率巧ecall),精確度（ac州racy)，PR(precision-recall)W及F值 (F-Measure)等評價指標(biāo)。
[0006] 1、準(zhǔn)確率與召回率（Precision&Recall)
[0007] 準(zhǔn)確率和召回率是廣泛用于信息檢索和統(tǒng)計學(xué)分類領(lǐng)域的兩個度量值，用來評價 結(jié)果的質(zhì)量。其中準(zhǔn)確率是檢索出相關(guān)文檔數(shù)與檢索出的文檔總數(shù)的比率，衡量的是檢索 系統(tǒng)的查準(zhǔn)率；召回率是指檢索出的相關(guān)文檔數(shù)和文檔庫中所有的相關(guān)文檔數(shù)的比率，衡 量的是檢索系統(tǒng)的查全率。
[000引一般來說，Precision就是檢索出來的條目（比如：文檔、網(wǎng)頁等）有多少是準(zhǔn)確 的，Recall就是所有準(zhǔn)確的條目有多少被檢索出來了。
[0009] 正確率和召回率定義如下；
[0010] 1.正確率=提取出的正確信息條數(shù)/提取出的信息條數(shù)。
[0011] 2.召回率=提取出的正確信息條數(shù)/樣本中的信息條數(shù)。
[0012] 兩者取值在0和1之間，數(shù)值越接近1，查準(zhǔn)率或查全率就越高。
[0013] 注意；準(zhǔn)確率和召回率是互相影響的，理想情況下肯定是做到兩者都高，但是一般 情況下準(zhǔn)確率高、召回率就低，召回率低、準(zhǔn)確率高，當(dāng)然如果兩者都低，那是什么地方出問 題了。一般情況，用不同的閥值，統(tǒng)計出一組不同閥值下的精確率和召回率。
[0014] 2、綜合評價指標(biāo)（F-Measure)
[0015] Precision (巧和Recall (R)指標(biāo)有時候會出現(xiàn)矛盾的情況，該樣就需要綜合考慮 他們，最常見的方法就是F-Measure (又稱為F-Score)。
[0016] F-Measure 是 Precision 和 Recall 加權(quán)調(diào)和平均； 「 1 。（。] + 1)尸 *巧 0017] P = ~--， a-{P+R)
[001引當(dāng)參數(shù)a = 1時，就是最常見的F1，也即： 2中戶:i:/? 0019] Fl =-， 尸+巧
[0020] 可知F1綜合了 P和R的結(jié)果，當(dāng)F1較高時則能說明試驗方法比較有效。
[0021] 3、分類器的精確度（accuracy)是反映了分類器統(tǒng)對整個樣本的判定能力，在某 些如推薦或信息獲取領(lǐng)域還會組合使用precision-recall作為評價指標(biāo)。
[0022] 現(xiàn)實中樣本在不同類別上的不均衡分布klass distribution imbalance problem)，使得準(zhǔn)確率、精確率該樣的傳統(tǒng)的度量標(biāo)準(zhǔn)不能恰當(dāng)?shù)姆磻?yīng)分類器的性能。舉個 例子；測試樣本中有A類樣本95個，B類樣本5個。若某個分類器簡單的將所有樣本都劃 分成A類，那么在該個測試樣本中，它的準(zhǔn)確率仍為95%，該是不合理的，該時的評價結(jié)果 是不具有參考價值的。此外，現(xiàn)代分類器很多都不是簡單地給出一個0或1的分類判定，而 是給出一個分類的傾向程度，比如貝葉斯分類器輸出的分類概率。
[0023] 上述評估方法（如準(zhǔn)確率）對正負(fù)樣本不均勻的數(shù)據(jù)集敏感性強、不穩(wěn)定，甚至有 的評估方法（如precision-recall)不便于并行計算且沒有量綱不好度量。


【發(fā)明內(nèi)容】

[0024] 本發(fā)明的目的在于提出一種分類器的評價方法，其能解決數(shù)據(jù)不平衡的問題。
[002引為了達到上述目的，本發(fā)明所采用的技術(shù)方案如下：
[0026] 分類器的評價方法，其包括W下步驟：
[0027] 步驟1、獲取分類器輸出的數(shù)據(jù)，W形成評估數(shù)據(jù)集；
[002引步驟2、根據(jù)W下公式對評估數(shù)據(jù)集進行處理，W得到第一評價值；
[0029]

【權(quán)利要求】
1. 分類器的評價方法，其特征在于，包括以下步驟： 步驟1、獲取分類器輸出的數(shù)據(jù)，以形成評估數(shù)據(jù)集； 步驟2、根據(jù)以下公式對評估數(shù)據(jù)集進行處理，以得到第一評價值；
其中，auc為第一評價值； nl為評估數(shù)據(jù)集的數(shù)據(jù)記錄的總條數(shù)； Ixiyi為第i條數(shù)據(jù)記錄的商品的購買數(shù)； OlcLbuy^umi為第i條數(shù)據(jù)記錄之前的所有商品的購買數(shù)之和； Iic^buyi=total_showi-buyi，totalshoWi為第i條數(shù)據(jù)記錄的商品的曝光數(shù)； 步驟3、輸出所述第一評價值。
2. 如權(quán)利要求1所述的評價方法，其特征在于，所述步驟2還根據(jù)以下公式對評估數(shù)據(jù) 集進行處理，以得到第二評價值和第三評價值；
其中，wq_auc為第二評價值；q_auc為第三評價值； n2為評估數(shù)據(jù)集中某個子樣本的數(shù)據(jù)記錄的總條數(shù)；total_showqid為子樣本的第qid條數(shù)據(jù)記錄的商品的曝光數(shù)；
qid條數(shù)據(jù)記錄的商品的購買數(shù)；old_buy_sumqid為所述某個子樣本中的第qid條數(shù)據(jù)記錄 之前的所有商品的購買數(shù)之和；no_buyqid=total_showMd-Ixiytlid,total_showqidS所述某 個子樣本中的第qid條數(shù)據(jù)記錄的商品的曝光數(shù)； 所述步驟3還包括以下步驟：輸出所述第二評價值和第三評價值。
3. 如權(quán)利要求1所述的評價方法，其特征在于，所述步驟2還根據(jù)以下公式對評估數(shù)據(jù) 集進行處理，以得到第四評價值；
Predicti為第i條數(shù)據(jù)記錄的商品的預(yù)測值，所述預(yù)測值用于對評估數(shù)據(jù)集中所有的數(shù)據(jù) 記錄進行排序； 所述步驟3還包括以下步驟：輸出所述第四評價值。
4. 如權(quán)利要求3所述的評價方法，其特征在于，predictpKT15,且l-predictpKT15。
5.如權(quán)利要求1所述的評價方法，其特征在于，分類器的輸入數(shù)據(jù)包括訓(xùn)練數(shù)據(jù)和測 試數(shù)據(jù)，并且訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間不存在交叉的數(shù)據(jù)。
【文檔編號】G06Q30/02GK104504583SQ201410823063
【公開日】2015年4月8日 申請日期:2014年12月22日 優(yōu)先權(quán)日:2014年12月22日
【發(fā)明者】徐誠浪, 武鵬程 申請人:廣州唯品會網(wǎng)絡(luò)技術(shù)有限公司