一種機器學習中的分類器集成方法
【專利摘要】本發(fā)明提供了一種機器學習中的分類器集成方法，它使用RandomForest算法產生的基分類器作為新的算法的基分類器。使用L1_Magic算法對這些原始分類器的權值進行優(yōu)化，充分利用了各個基分類器之間的差異性，使得集合分類器對訓練集中的每一個樣本分類正確的可能性一致。使用新的集成分類器采用帶權值的投票方式對測試集進行分類，進而提高了分類的正確率。與RandomForest算法相比，該發(fā)明的最大的優(yōu)點在于充分利用了各個基分類器之間的差異性，使得集合分類器對樣本數(shù)據(jù)的分類正確率有了提高。同時也完善了對人工智能領域中如何使用多樣性/差異性提高集成分類器效果。
【專利說明】一種機器學習中的分類器集成方法
【技術領域】
[0001]本發(fā)明屬于人工智能與模式識別【技術領域】，是一種新的應用在機器學習中的分類器集成方法。
【背景技術】
[0002]分類在人工智能與模式識別領域中是一項非常重要的任務，分類的目的是學會一種分類函數(shù)或分類模型(也常常稱作分類器)，該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個類別。分類具有廣泛的應用，例如醫(yī)療診斷、欺詐檢測、信用卡系統(tǒng)的信用分級、圖像模式識別等。以信用卡系統(tǒng)的信用分級為例來說明分類的應用，當銀行需要根據(jù)用戶的特征信息(比如年齡、職業(yè)、收入、教育背景等)來預測用戶的信用等級時，可以通過對已知信用等級的用戶特征信息數(shù)據(jù)集的分析和學習來建立用戶信用等級分類的模型。當有新的用戶需要進行信用等級的預測時，可以采用分類的方法將新用戶劃分到與其具有相似特征信息的用戶一類中去，從而預測出該用戶的信用等級。分類器的構造方法有統(tǒng)計方法、機器學習方法、神經網絡方法等?，F(xiàn)有的機器學習分類器構造方法有很多種，而其中最重要的一種方法是集成分類器學習方法，如Bagging算法、RandomForest算法、Boosting算法
坐寸ο
[0003]大量的研究者通過實驗和分析證明集成分類器中的單個分類器的正確率和基分類器與基分類器之間的差異性是決定集成分類器優(yōu)劣的兩個重要指標。現(xiàn)有的衡量分類器之間的差異性的指標有很多種，如Q statistics, Kohav1-Wolpert variance, entropymeasure E等，但是被廣泛采用的標準還沒有統(tǒng)一。并且如何使用分類器之間的多樣性這一衡量指標去引導設計更好的多分類器集成算法的問題還沒有解決。

【發(fā)明內容】

[0004]本發(fā)明公開的機器學習中的分類器集成方法，主要用在字符識別、人臉識別、圖像分析等方面。該發(fā)明與現(xiàn)有的單分類器的差別在于整合了一組不同的分類器，獲得了比單分類器更好的學習效果，與現(xiàn)有的集成分類器方法的差別主要在于創(chuàng)造了一種將一組分類器整合在一起且充分的利用分類器間的差異性的策略，從而使得新的集合分類器對樣本的分類正確率有了提高。本發(fā)明重點是解決機器學習領域中如何使用分類器的差異性從而設計出性能更好的分類器集成算法這一問題。
[0005]本發(fā)明的目的在于解決上述現(xiàn)有方法中存在的難題，提供一種新的分類器集成方法，提高對數(shù)據(jù)分類的正確率。
[0006]為實現(xiàn)上述目的，本發(fā)明公開了如下的技術內容:
一種機器學習中的分類器集成方法，所述分類器集成方法包括基分類器的產生、給予基分類器優(yōu)化后的權重、采用帶權值的投票方法對數(shù)據(jù)進行分類；利用RandomForest算法生成的不同的多棵決策樹分類器作為新的算法的基分類器，采用Ll_Magic算法對基分類器的權重進行優(yōu)化，充分利用基分類器之間的差異性，使得集成分類器。[0007]其中所述方案包括以下步驟:
(1)第一步:對給定的數(shù)據(jù)樣本集進行分割；將給定的含有N個樣本的數(shù)據(jù)集按9:1分割比例隨機的劃分成兩份，分別作為訓練集和測試集，其樣本數(shù)目分別標記為
Τ"】和2 ；
(2)第二步:在訓練集上進行模型的學習，得到不同的分類器；使用RandomForest算法在訓練集上進行分類模型的學習，從而可以生成M個基分類器；
(3)第三步:給予第二步學習得到的分類器相應的權重系數(shù)。分別使用第二步中得到
的M個分類器對第一步中得到的訓練集中的73個樣本進行分類，其分類結果標記為(其中i GZ且Ki在34,iEZ且T1),如果分類正確，則= I，否則ay = 0，從而可以得到M X T1階矩陣A ;分別使用第二步中得到的M個分類器對第一步中得到的訓練集中的Fi個樣本進行分類，可以得到每一個分類器在訓練集上分類的正確率^ (其中iGZl.l<i< Μ)組成的集合，記為向量(f ；假設H個具有特定正確率a的分類器相互獨立，則它們組成的集合對訓練數(shù)據(jù)進行分類正確的結果X服從于二項分布，BPx-B (n, a)
，那么這η個分類器組成的集合對樣本分類正確的概率P = F(X > pj)，從而可以求得
與正確率為a的分類器等價的正確率為b的分類器的個數(shù)，以M個分類器中在訓練集上分類的正確率最大的分類器為基準，從而可以求得每一個與之等價的分類器的數(shù)目ξ (其中
iGZl.l<i< Μ)組成的集合，記為向量中的每一項進行標準化得到新的向

t t


I
量，標準化的過程為氏=;M個分類器的權重系數(shù)(其中；c 7 Fl 1 -K M )組0H/ I fc i ?.1 < I < M
成的集合記為向量;為了使得這M個分類器組成的集合具有多樣性，進而提高集成分類


N M
器的正確率，可以對權重系數(shù)進行優(yōu)化，即求得最優(yōu)的^吏得工Σ (α?~ x 值


If* |=:L ?=1
最小，其中需要滿足的條件是Σ =]且O S Wi S氏;采用Ll_Magic算法可以求得近似最優(yōu)的^ ；
(4)第四步:集成第二步得到的分類器，對測試集進行分類；將給定數(shù)據(jù)樣本的類標號的數(shù)目記為L ;依次使用第二步中得到的M個分類器對第一步中得到的測試集中的1~2個樣本進行分類，可以得到對每一個樣本都有M個分類結果，采用帶權值的投票方法決定最終的分類結果，即將得票權值最高的分類結果1 (其中kGZ且K i)作為這M個分
類器組成的集成分類器對該樣本分類的最終結果。
[0008]本發(fā)明更加詳細的方法如下:
第一步:對給定的數(shù)據(jù)樣本集進行分割。將給定的含有N個樣本的數(shù)據(jù)集按9:1分割
比例隨機的劃分成兩份，分別作為訓練集和測試集，其樣本數(shù)目分別標記為乃和!^。
[0009]第二步:在訓練集上進行模型的學習，得到不同的分類器。使用RandomForest算法(算法見圖1)在訓練集上進行分類模型的學習，從而可以生成M個基分類器。
[0010]第三步:給予第二步學習得到的分類器相應的權重系數(shù)。
[0011](I)分別使用第二步中得到的M個分類器對第一步中得到的訓練集中的1~3個樣本進行分類，其分類結果標記為Gy (其中i G Z且I S ?《《，i G Z且I < j < I；)，如果分類正確，則Cty = I，否則Ciy = O,從而可以得到Mx F1階矩陣A。
[0012](2)分別使用第二步中得到的M個分類器對第一步中得到的訓練集中的F3個樣本進行分類，可以得到每一個分類器在訓練集上分類的正確率￡(其中? € Z且K ? S Μ)組成的集合，記為向量if。
[0013](3)假設η個具有特定正確率a的分類器相互獨立，則它們組成的集合對訓練數(shù)據(jù)進行分類正確的結果X服從于二項分布，即X~B(n,a),那么這Π個分類器組成的集合對樣
本分類正確的概率
【權利要求】
1.一種機器學習中的分類器集成方法，所述分類器集成方法包括基分類器的產生、給予基分類器優(yōu)化后的權重、采用帶權值的投票方法對數(shù)據(jù)進行分類；利用RandomForest算法生成的不同的多棵決策樹分類器作為新的算法的基分類器，采用Ll_Magic算法對基分類器的權重進行優(yōu)化，充分利用基分類器之間的差異性，使得集成分類器。
2.權利要求1所述的方法，其特征在于所述方案包括以下步驟: (1)第一步:對給定的數(shù)據(jù)樣本集進行分割；將給定的含有N個樣本的數(shù)據(jù)集按9:1分割比例隨機的劃分成兩份，分別作為訓練集和測試集，其樣本數(shù)目分別標記為驟2 ； (2)第二步:在訓練集上進行模型的學習，得到不同的分類器；使用RandomForest算法在訓練集上進行分類模型的學習，從而可以生成M個基分類器； (3)第三步:給予第二步學習得到的分類器相應的權重系數(shù)； 分別使用第二步中得到的M個分類器對第一步中得到的訓練集中的F3個樣本進行分類，其分類結果標記為
【文檔編號】G06K9/62GK103632168SQ201310655891
【公開日】2014年3月12日 申請日期:2013年12月9日 優(yōu)先權日:2013年12月9日
【發(fā)明者】陳科, 朱波 申請人:天津工業(yè)大學