一種基于ELM的多類Adaboost集成學習方法
【專利說明】一種基于ELM的多類Adaboost集成學習方法 【技術領域】
[0001] 本發(fā)明涉及集成學習技術領域，特別是一種基于ELM的多類Adaboost集成學習方 法的技術領域。 【【背景技術】】
[0002] 針對前饋神經網絡，許多研宄已表明，人工神經網絡不僅具有較好的非線性逼近 能力，也可以應用于一些自然和人為的問題作為基本模型。而這些往往是其他經典方法力 所不及的。近年來有人提出了一種新的基于多隱層的前饋神經網絡的簡單方法，稱為極限 學習機。該方法無需梯度下降的迭代調整，而只需隨機設定輸入層權值和隱含層前饋神經 元閾值，直接利用廣義逆快速求解。相比傳統(tǒng)的神經網絡方法理論簡單，大大提高了學習速 度，泛化能力強，收斂速度快，精確度高，穩(wěn)定性好。 【
【發(fā)明內容】
】
[0003] 本發(fā)明的目的就是解決現(xiàn)有技術中的問題，提出了一種基于ELM的多類Adaboost 集成學習方法，可以直接應用于多分類的問題，本方法可以使預測的分類結果更加穩(wěn)定，還 具有良好的泛化性能。
[0004] 為實現(xiàn)上述目的，本發(fā)明提出的方法主要包括以下幾個步驟：
[0005] &#111方法：對于1^個任樣本匕，1^)4=|^1，叉 12，...，叉』1^1?<1，1^=[1:11，1^ 2，... ，tiK]Te RK，帶L個隱層節(jié)點且激活函數(shù)為h(x)的標準單隱藏層前饋神經網絡的數(shù)學模型 ^ : (?') = Xj + bi) = Oj-,
[0006] 其中j = 1，2, *··，Ν，Wi= [wn，wi2，…，wid]T表示連接第i個隱層節(jié)點和輸入節(jié)點 的權重向量，而I^i= [β η，···，β 表示連接第i個隱藏節(jié)點和輸出節(jié)點的權重向量， Oj= [0 p 0j2，…0jK]τ表示該單隱藏層前饋神經網絡的第i個輸出向量，b i則是第i個隱藏 節(jié)點的閾值，（·）則表示兩個向量的內積，隱層節(jié)點數(shù)為L的單隱層前饋神經網絡的激活 函數(shù)h(x)可以簡寫表示為Ηβ = T;
[0007] b)主成分分析方法：
[0008] PCA方法的主要過程如下：
[0009]
[0010] (bl)計算數(shù)煙圯件A的T刃、力左圯件V ;
【主權項】
1. 一種基于ELM的多類Ad油oost集成學習方法，其特征在于：包括W下幾個步驟： a 化 LM方法；對于 N個任樣本（X。ti)，Xi= [Xii, X 口，…，xJTg Rd，ti= [til, t口，…，tj Tg rk，帶L個隱層節(jié)點且激活函數(shù)為h(x)的標準單隱藏層前饋神經網絡的數(shù)學模型為： 沒*=iAhi(X/)=巧Wi貨-與 + =巧； 其中j = 1，2,…，N，Wi= [Wii，Wi2,…，wjT表示連接第i個隱層節(jié)點和輸入節(jié)點的權 重向量，而0i= [0 ii，"，，0JT則表示連接第i個隱藏節(jié)點和輸出節(jié)點的權重向量，〇j = bj'i，〇町...OjjT表示該單隱藏層前饋神經網絡的第1個輸出向量，b i則是第1個隱藏節(jié)點 的闊值，（?）則表示兩個向量的內積，隱層節(jié)點數(shù)為L的單隱層前饋神經網絡的激活函數(shù) h(x)可W簡寫表示為H0 = T; b)主成分分析方法： PCA方法的主要過程如下；
化1)計算數(shù)據(jù)矩陣X的協(xié)方差矩陣V ; 化。通過公式IV-入E I = 0計算矩陣V的特征值入，其中A 入P; 化如通過（V-A E) P =0計算相應的特征向量，其中P為6。@2,…，0p; 化4)算出最后的主成分矩陣Yf= 0 ' fX(r = 1，2,…，P); 其中E是一個單位矩陣，E的維度同矩陣V，矩陣Y由n行向量組成，每一個向量是矩陣 X特征值所對應的特征向量； C)多類Ad油oost方法；預先定義函數(shù)I (X)為；
，首先給定訓練數(shù)據(jù){(Xi，yi),(又2, 72)，…，（％，Yn)}，其中XiE Rd 表示維度為d的第i個輸入特征向量，相對的y,則表示第i個特征向量所屬的類別標簽， 該里令yiG 分為兩類，通過使用Tj.(x)函數(shù)來表示第i個若分類器，同時假定一共 含有M個若分類器，執(zhí)行W下步驟： (cl)初始化每個節(jié)點的觀測權值《1為1/N，i = 1，2,…，N ; (c2)對于每一個分類器m，m = 1:M，執(zhí)行如下： 通過使用權值在分類器Tm(x)下訓練相應的數(shù)據(jù)； 計算對應的分類誤差
用W上求得的誤差來計算相應的第m個分類器的權重am = 對所有i = 1，2,…，N，更新數(shù)據(jù)樣本的權值；"1= ? i ? exp( a m ? I如聲T m(Xi))); 對所有i = 1，2,…，N重新標準化權值《 i; (c^輸出C (X)，由分類器進行投票得到最后的結果C(x) = arg max;, S裝=1 am l〇m = k).; d) LBP方法；將一幅圖劃分成3*3的窗口，每個窗口含一個像素灰度值，將周圍點的值

分別于中屯、點的值做比較，如果大于中屯、點的值就標注是1，否則就標為0 ;最終經過對比 得到一串8位的二進制數(shù)，對應的就可W計算該值，即LBP值； 對應的公式可記為；
，其中（Xt，y。）是中屯、像素，i。對應 的灰度值；而ip則是相鄰像素點的灰度值，S是一個符號函數(shù)
2.如權利要求1中所述的一種基于多類Ad油oost的集成學習方法，其特征在于所述步 驟a)中
，則有0 = H+T，其中 H+是廣義逆矩陣，+ 廠1，矩陣I表示單位矩陣，I的相應維度是根據(jù)矩陣hht 而定的，C是一個常量，用含C的表達式是為了處理Htf是奇異矩陣時的特殊情況。

【專利摘要】本發(fā)明公開了一種基于ELM的多類Adaboost集成學習方法，具體包括以下幾個步驟：ELM方法、多類Adaboost方法、LBP方法，此外還通過使用PCA方法來局部替換做測試。本發(fā)明將ELM方法作為基礎分類器，由于其運算簡便快速以及良好的性能，與現(xiàn)有的經典方法相比，本申請的方法可以直接應用于多分類問題。通過人臉數(shù)據(jù)集的對比實驗，實驗結果表明，本方法可以使預測的分類結果更加穩(wěn)定，還具有良好的泛化性能。
【IPC分類】G06K9-62
【公開號】CN104598925
【申請?zhí)枴緾N201510036010
【發(fā)明人】蔣云良, 沈葉峰, 劉勇, 范婧
【申請人】湖州師范學院
【公開日】2015年5月6日
【申請日】2015年1月23日